Процесс аналитики. Отсутствие общепризнанного стандарта Стандарт CRISP-DM 1.Средства предварительной обработки информации на местах её хранения 2.Возможность. - презентация

1 Процесс аналитики

2 Отсутствие общепризнанного стандарта Стандарт CRISP-DM 1. Средства предварительной обработки информации на местах её хранения 2. Возможность запуска алгоритмов анализа прямо на этих местах 2

3 Data BUSINESS UNDERSTANDING DATA UNDERSTANDING DATA PREPARATION MODELING EVALUATION DEPLOYMENT CRISP- DM

4 Принципы аналитики Формулирование и проверка гипотез Численные критерии качества решений Эффективность время/качество 4

5 5

6 Кейс: противодействие мошенничеству В течение года (2011) мошенники нанесли ущерб 34% компаний и организаций, попавших в поле зрение агентства (PricewaterhouseCoopers). В России этот показатель ещё выше 37%, причём в 60% случаев убытки превышали $100 тыс. Финансовая индустрия теряет на мошеннических транзакциях около $80 млрд в год Visa анализирует до 50 петабайтов данных. До 500 особенностей каждой транзакции. За год система останавливает мошеннические платежи на сумму примерно $2 млрд в год.

7 Кейс: выборы Обамы 2012 На предвыборную кампанию Б. Обамы в течение 1,5 лет вплоть до дня выборов в ноябре 2012 было собрано и потрачено $ 1.5 млрд. Более 1000 оплачиваемых сотрудников работали над кампанией, более волонтёров и более 100 аналитиков по данным, которые запускали более компьютерных экспериментов каждый день. По словам Джима Мессина, целью кампании было измерить всё. Идея было в том, чтобы запрашивать данные обо всём, что происходит во время кампании для того, чтобы измерить всё и быть уверенным, что всё делается "по уму".

8 компетенции программирование скрипты (Python, Ruby) UNIX функциональное программирование базы данных сложные и долговременные запросы Google Big Table key-value databases понимание проблем бизнеса кибер-безопасность юридические аспекты методы искусственного интеллекта алгоритмы нейронные сети теории модели математика теор. вер. и мат.стат. Data Science & Engineering кандидаты и доктора физ-мат и тех наук максимум $300 тыс. в год не руководя никем в Томске предлагают $5000 в месяц в НГУ открывается магистратура по подготовке на английском языке планируется открывать доп.образование и отдельные 2-4 недельные курсы

9 Что делают Data Scientists? что делают? как достичь озарения разрабатывают методы используют тер.вер., мат.стат придумывают алгоритмы используют методы машинного обучения искусственный интеллект нейронные сети Байесовские сети обработка формализованных знаний хранение использование описание проблем бизнеса бизнес-моделирование среды исполнения бизнес-процессов методы визуализации

10 Мнения о Data Scientists "Учёные по данным превращают большие данные в большую ценность, поставляя продукты, которые радуют пользователей и озарения, которые наполняют смыслом принятые бизнес-решения. Высокие аналитические компетенции заключаются прежде всего в том, чтобы обладать способностью получать надёжные выводы из данных. Но ученые по данным также должны обладать творческим потенциалом и сильными коммуникативными навыками". Daniel Tunkelang, Principal Data Scientist, LinkedIn "Учёный по данным – это тот, кто может получить, очистить, исследовать, смоделировать и проинтерпретировать данные, совмещая хакерские, статистические методы и методы машинного обучения. Учёные по данным не только знатоки в работе с данными, они также ценят и сами данные как первоклассный продукт". Hilary Mason, Chief Scientist at bitly

11 Big Data проекты сбор данных (CAPEX) Сервера Облака Инфраструктура очень много инвестиций в эту область извлечение пользы (value) (OPEX) команда Data Scientist Data Engineer Manager процесс сбор данных инвентаризация источников доступ к данным физический юридический мощности по обработке данных Hadoop - обрабатываем прямо там, где хранятся в облаках на локальных машинах аналитические инструменты Splunk PreCog BigML

12 Открытые данные Использовать Open Data Всего: 194 наборов данных от 34 органов исполнительной власти 14 приложений Дома Москвы Наш город массивов данных Архив сведений о поступлении и расходовании средств политических партий с 2007 по 2013 годы Поездки Президента по стране База всех официальных телеграмм Президента 2GIS API адреса, рабочее время Flamp API отзывы Профили пользователей Открытые научные данные (Linked Science) соединять данные, чтобы получать новые ценности

13 Зачем управленцам математика? - HBR подучите азы регрессионного анализа, статистического анализа и планирования экспериментов пройдите программу статистики для руководящих работников или онлайновый курс обучения или поучитесь у своих аналитиков, поработав с ними вместе над проектами обратиться к специалистам по планированию экспериментов (поучаствовать в исследовании) Сотрудничайте с аналитиками подходящей специализации гипотезы формулируйте гипотезы принимайте решения на данных эксперимент наладить контакты между аналитиками и всеми службами (матричная организация) - чтобы были коммуникации Сосредоточьтесь на начальной и конечной стадиях постановка задачи гипотезы донесение результатов до заинтересованных лиц Задавайте по ходу дела много вопросов больше деталей Создавайте культуру исследования, а не защиты поощрять идеи и критику исследовательский дух главное - докопаться до истины не мнения, а анализ и данные

14 Полезное чтение доклад ЦРУ про большие задачи и большие данные