ВВЕДЕНИЕ В BIG DATA Воробьев Даниил. ПЛАН ПРЕЗЕНТАЦИИ 1. Что такое Big Data 2. Принципы Big Data 3. Задачи решаемые в Big Data 4.Big Data со стороны IT. - презентация

1 ВВЕДЕНИЕ В BIG DATA Воробьев Даниил

2 ПЛАН ПРЕЗЕНТАЦИИ 1. Что такое Big Data 2. Принципы Big Data 3. Задачи решаемые в Big Data 4. Big Data со стороны IT 5. Big Data со стороны статистика 6. Локальный пример использования методов Big Data 7. Заключение

3 ЧТО ТАКОЕ BIG DATA Динамика запросов по Big Data

4 Big Data – это когда данных больше, чем 100 Гб (500 Гб, 1 ТБ ) · Big Data – это такие данные, которые невозможно обрабатывать в Excel · Big Data – это такие данные, которые невозможно обработать на одном компьютере · В ig Data – это вообще любые данные. · Big Data не существует, ее придумали маркетологи ЧТО ТАКОЕ BIG DATA

5 ОПРЕДЕЛЕНИЕ Большие данные ( англ. big data) серия подходов, инструментов и методов обработки структурированных неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов, эффективных в условиях непрерывного прироста, распределения по многочисленным узлам вычислительной сети, сформировавшихся в конце х годов, альтернативных традиционным системам управления базами данных и решениям класса Business Intelligence.Большие данные ( англ. big data) серия подходов, инструментов и методов обработки структурированных неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов, эффективных в условиях непрерывного прироста, распределения по многочисленным узлам вычислительной сети, сформировавшихся в конце х годов, альтернативных традиционным системам управления базами данных и решениям класса Business Intelligence.

6 ПРИНЦИПЫ BIG DATA 1. Горизонтальная масштабируемость 2. Отказоустойчивость 3. Локальность данных

7 ЗАДАЧИ BIG DATA 1. Хранение и управление 1. Хранение и управление Объем данных в сотни терабайт или петабайт не позволяет легко хранить и управлять ими с помощью традиционных реляционных баз данных. 2. Неструктурированная информация 2. Неструктурированная информация Большинство всех данных Big Data являются неструктурированными. Т. е. как можно организовать текст, видео, изображения, и т. д.? 3. Анализ Big Data 3. Анализ Big Data Как анализировать неструктурированную информацию ? Как на основе Big Data составлять простые отчеты, строить и внедрять углубленные прогностические модели ? IT Статистика

8 BIG DATA – ВЗГЛЯД СО СТОРОНЫ IT: MAPREDUCE И HADOOP Map-Reduce Map-Reduce

9 МЕТОДЫ АНАЛИЗА ИСПОЛЬЗУЕМЫЕ В BIG DATA Классификация Классификация Кластерный анализ Кластерный анализ Когнитивная графика и визуализация Когнитивная графика и визуализация Регрессионный анализ ( иногда )Регрессионный анализ ( иногда ) Рекомендательные системы ( нечеткая логика, системная динамика )Рекомендательные системы ( нечеткая логика, системная динамика ) Нейронные сети ( машинное обучение )Нейронные сети ( машинное обучение ) Сравнение выборок (A/B statistic)Сравнение выборок (A/B statistic)

10 нормы качества Природа неоднородности качества металлопродукции состав плавка разливка нагрев ковка термическая слитка обработка траектории процессов Пространство управляющих параметров ЛОКАЛЬНЫЙ ПРИМЕР ИСПОЛЬЗОВАНИЯ BIG DATA БЕЗ IT СОСТАВЛЯЮЩЕЙ

11 от 3,12 % до 3,45 % от 3,23 % до 3,45 % Содержание никеля в интервале: С ужение поля допуска управляющих параметров для повышения качества стали 38ХН3МФА-Ш (Управление разбросом ударной вязкости)

12 от 0,004 % до 0,01 % от 0,004 % до 0,006 % Содержание серы в интервале: С ужение поля допуска управляющих параметров для повышения качества стали 38ХН3МФА-Ш (Управление разбросом ударной вязкости)

13 ПОДГОТОВКА ДАННЫХ ДЛЯ АНАЛИЗА – MAPREDUCE ВРУЧНУЮ

14 П ОИСК ОБЛАСТЕЙ С ДОМИНИРУЮЩИМ ТИПОМ ЗАВИСИМОСТЕЙ

15

16 ИСПОЛЬЗОВАНИЕ КЛАСТЕРНОГО АНАЛИЗА ДЛЯ ГРУППИРОВКИ ТРАЕКТОРИЙ

17

18 18 Фрагмент траектории 1 Фрагмент траектории 2 Параметр МинМах МинМах T 1-ой зоны, °C T 2-ой зоны, °C T 3-ой зоны, °C T 4-ой зоны, °C Время подогрева, час 9,411,34,358,4 Время в зонах с 2 по 4, час 8,4158,29 T начала ковки, °C T конца ковки, °C Температура в ковше, °C Массовая доля Mn, % 0,150,20,250,3 Фрагмент траектории 1 Фрагмент траектории 2 Параметр МинМах МинМах T 1-ой зоны, °C T 2-ой зоны, °C T 3-ой зоны, °C T 4-ой зоны, °C Время подогрева, час 7,415,33,3511 Время в зонах с 2 по 4, час 7, T начала ковки, °C T конца ковки, °C Температура в ковше, °C Массовая доля Mn, % 0,150,20,250,3 Использование методов когнитивной графики для достижения предельного уровня качества металла

19 Выбор конечного фрагмента траектории – a/b методы

20 Результат работы алгоритмов: Ф рагмент спектра траекторий технологического процесса производства поковок из стали 38ХН3МФА-Ш

21 ЗАКЛЮЧЕНИЕ 1. Big data не имеет четкого определения и границ 2. Big data это две стороны: IT и Статистика 3. Для Big data не всегда нужны специальные инструменты 4. Big data это адаптация использования классических методов с большими массивами данных

22 СПАСИБО ЗА ВНИМАНИЕ