EC-лизинг 1 26 марта 2013 А.В. ШМИД Д.т.н., Профессор Председатель правления ЗАО «ЕС-лизинг» В ближайшие 5 лет все компании на рынке разделятся на победителей и побежденных в зависимости от качества их аналитики Вирджиния Рометти - IBM CEO 2 марта 2012 года Big Data: Революция в области философии и технологий принятия корпоративных решений

EC-лизинг 2 1. Стратегические угрозы XXI века в области ИТ: борьба за качество корпоративных решений- компьютеры против людей 2. Интеллектуальность решающего центра: экспертные системы и люди 3. Информированность решающего центра. Амнезия корпораций 4. Состав конструктора платформы IBM BigData и философия сборки из конструктора: что собираем? 5. Современная схема принятия решений и ее отличия от традиционной 6. Заключение: что делать нам? Содержание

EC-лизинг 3 Стратегические угрозы XXI века в области ИТ: борьба за качество корпоративных решений- компьютеры против людей

EC-лизинг 4 Единое информационное пространство (ЕИП) I Реальность Представление о реальности Разведчик (Поисковик) Аналитик Руководитель Хранение Обработка 1. Инфо-потребность 2. Решение II Инфо потребность должна удовлетворяться: БЫСТРО – информация об изменениях обстановки должна поступать к моменту принятия решения (быстрее, чем у конкурентов) ПОЛНО – необходимая и достаточная для принятия решений ДОСТОВЕРНО – исключение фальсификации Традиционная постановка задачи информационной поддержки принятия решений. (Удовлетворение информационной потребности Руководителя) Информируемость и интеллектуальность решающего центра

EC-лизинг 5 Интеллектуальность решающего центра: экспертные системы и люди

EC-лизинг 6

7

© 2013 IBM Corporation 8 Big Data Content Analytics Технологии IBM Business Analytics Databases / Data Warehouses 2880 Processing Cores 16 Terabytes Memory (RAM) – 20TB Disk Системные спецификации 90 IBM P750 Servers 80 Teraflops (80 trillion operations per second) Workload Optimized Systems Watson – взгляд изнутри Cores x = = On Oncology Task Интеллектуальность Информируемость

EC-лизинг 9 Информированность решающего центра. Амнезия корпораций

EC-лизинг 10 Сколько информации мы теряем? 10 1,800 1,600 1,400 1,200 1,000 0,800 0,600 0,400 0, Exabytes Available Storage Information Created Available Storage, 2007 Tape 21% Disk 56% Optical 22% Other 1% 264 EB Information Creation and Available Storage

EC-лизинг 11 «Амнезия корпорации» или объем воспринимаемых ИАС первичных данных Объем данных Время Что можно обработать Стандартным подходом Что можно обработать IBM Big Data Йоттабайт Качество ИАС: 1.Объем первичных данных 2.Глубина и скорость анализа (площадь анализа) 3.Кто готовит и кто принимает решение Стандарт: запомнил – обработал IBM Big Data: обработал - запомнил Потоковая обработка IBM Big Data кардинально повышает объем используемых данных для аналитической разведки Потеря памяти (амнезия) Все доступные данные Зеттабайт Терабайт Гигабайт Петабайт Лимит: скорость обработки Лимит: Объем базы

EC-лизинг 12 ПОТОКОВАЯ ОБРАБОТКА (streaming): преодоление проклятия размерности при хранении данных Идея BigData 1

EC-лизинг Любые виды источников 2. Любая скорость потока данных от источника 3. Принятие решения – в потоке (миллисекунды) IBM получает заказ на разработку технологии: 2002

EC-лизинг 14 Декларативный язык потоковой обработки SPL (streams processing language)

EC-лизинг 15 Изменение парадигмы при работе с данными ИТ Структурирует данные для ответа на вопрос ИТ Обеспечивает платформу для креативного анализа Бизнес Исследует что можно спросить Бизнес Определяет что спросить Месячная отчетность Анализ прибыльности Анализ анкет Отношение к бренду Стратегия продуктов Оптимизация ресурсов Большие данные Итеративность и исследование Традиционный подход Структурный и повторяемый анализ Запомнил - обработал Обработал - запомнил Ограничение: память Ограничение: производительность

EC-лизинг 16 Большие данные – горячая тема, потому что технологии сделали возможным анализ ВСЕХ доступных данных Эффективно с точки зрения затрат управлять и анализировать все доступные данные, в их первозданном виде – структурированные, неструктурированные, потоковые ERP CRM RFID Website Network Switches Social Media Billing

EC-лизинг 17 Leverage purpose-built connectors for multiple data sources Structured Unstructured Streaming Massive volume of structured data movement 2.38 TB / Hour load to data warehouse High-volume load to Hadoop file system Ingest unstructured data into Hadoop file system Integrate streaming data sources Connect any type of data through optimized connectors and information integration capabilities Big Data Platform Более умная аналитика!!! ЦБ Новые направления с 2012г. IBM Big Data Интеграция всех типов данных Более 95% аналитической инфо

EC-лизинг 18 Обучающиеся Системы реального времени Идея BigData 2

EC-лизинг 19 Фильтрация данных с обратной связью Adative Analytics Model Bootstrap Enrich Data Ingest Opportunity Cost Starts Here

EC-лизинг 20 Открыться цифровому миру Идея BigData 3

EC-лизинг 21 Какие объемы данных нужны для поддержки принятия решений? Размещение значимых данных предприятия: Внутренние данные - 33% Внешние данные - 67% User Generated Content* 1,234 Exabytes Enterprise Touch Content** 1,530 Exabytes Size of Digital Universe in ,773 Exabytes **Transported, Hosted, Managed or Secured **Consumers and Workers Creating, Capturing or Replicating Personal Information Overlap -1,000 Exabytes User Creation: Enterprise Worries

EC-лизинг 22 Состав конструктора платформы IBM BigData и философия сборки из конструктора: что собираем?

EC-лизинг 23 Требования к функциям платформы Больших Данных Подключение источников и анализ данных «в покое» Традиционные функции работы со структурированными данными Интеграция всех видов данных для комплексного анализа Поиск и навигация источников данных в киберпространстве Подключение источников и анализ данных «в движении» Автоматизация принятия решений и построение гипотез и прогнозов Hadoop File System и т.д. InfoSphere Data Explorer и т.д. InfoSphere Streams и т.д. Netezza и т.д. IBM Information Server IBM Change Data Capture IBM Cognos IBM SPSS

EC-лизинг 24 Более умная аналитика!!! Акселераторы : ускорители разработки прикладных задач Простой & Комплексный текст Текст (слушать, глагол), (радио, существительное) Добыча в микросекундах Геопространство Прогнозирование Фото & Видео Звук Комплексные математические модели Статистика

EC-лизинг 25 Streams Big Ins Big Ins DE NZ Декларативные языки Готовые средства разработки Инструменты Языки программирования 3-го поколения: Java, C/C++, Python, Perl Коннекторы SPSS ( Декларат ивный язык PMML) SPSS ( Декларат ивный язык PMML) Cognos BI Общая схема компонентов платформы Big Data

EC-лизинг 26 Инструменты Streams Обработка потоковой информации Декларативный язык : Stream Processing Language (SPL) Готовые средства разработки (акселераторы разработки): Анализ текстов Телекоммуникационные данные Гео-данные Видео Интеллектуальный анализ Предсказательные модели Статистика Анализ машинных журналов (СПО) Анализ данных из сетей (СПО) Готовые средства разработки (акселераторы разработки): Анализ текстов Телекоммуникационные данные Гео-данные Видео Интеллектуальный анализ Предсказательные модели Статистика Анализ машинных журналов (СПО) Анализ данных из сетей (СПО) Инструменты: Standard Toolkit Internet Toolkit Database Toolkit Financial Toolkit Data Mining Toolkit Big Data toolkit Text Toolkit Инструменты: Standard Toolkit Internet Toolkit Database Toolkit Financial Toolkit Data Mining Toolkit Big Data toolkit Text Toolkit Языки программирования 3-го поколения : Java, C/C++, Python, Perl, JavaScript, Ruby и т.д. Streams Коннекторы: Netezza Connector Hadoop Connector Коннекторы: Netezza Connector Hadoop Connector

EC-лизинг 27 Инструменты BigInsights Анализ «сырых» данных и сокращение затрат на хранение Декларативные языки: Annotation Query Language (AQL), JaQL (Query Language for JSON (JavaScript Object Notation)), Pig Latin, HiveQL, R Средства и инструменты обработки: Flume Hive Lucene Zookeeper Avro HBase HCatalog Sqoop Oozie Средства и инструменты обработки: Flume Hive Lucene Zookeeper Avro HBase HCatalog Sqoop Oozie Языки программирования 3-го поколения: Java, C/C++ BigInsights Коннекторы: Netezza Connector Streams Connector Коннекторы: Netezza Connector Streams Connector

EC-лизинг 28 IBM Data Explorer – функционально завершенная платформа работы с текстами

EC-лизинг 29 Современная схема принятия решений и ее отличия от традиционной Революция: решения принимают роботы, а не люди Эволюция: люди пока остаются, но их роли изменяются

EC-лизинг 30

EC-лизинг 31 Современная схема принятия решений: Что делают люди? Подтверждение решения Принятие решения Цифровая реальность CEO Область интересов Обсуждение области интересов Поиск в области интересов Креативная команда (П1 + П3) Обучение в области интересов Big Data Детализация области интересов Задания интегральной инфо потребности

EC-лизинг 32 Заключение: что делать нам?

EC-лизинг Цели: Освоение и демонстрация технологии IBM Big Data 2. Отраслевая кастомизация технологий 3. Оказание услуг по созданию прототипов корпоративных решений 4. Предоставление виртуальных стендов IBM Big Data Big для удаленного использования у заказчика 1. Цели: Освоение и демонстрация технологии IBM Big Data 2. Отраслевая кастомизация технологий 3. Оказание услуг по созданию прототипов корпоративных решений 4. Предоставление виртуальных стендов IBM Big Data Big для удаленного использования у заказчика Центр компетенции IBM Big Data ЕС-лизинг В декабре 2012 создан первый полнофункциональный виртуальный тестовый стенд IBM Big Data для ИПИ РАН с удаленным доступом к вычислительным ресурсам и инструментальным средствам

EC-лизинг 34 Сервера (mainframes): 1) IBM System z M05 2) IBM System z10 BC model 2098-E10 3) IBM zSeries z9 4) IBM zSeries z Операционные системы: 1) z/OS 2) Linux for System z (SuSE, Redhat) 3) ISX 4) z/VM Сервера: 1) IBM Power System BladeServers X(JS23) в стойке BladeCenter 7989-BCH Операционные системы: 1) AIX 2) Linux for System p (SuSE, Redhat) Сервера: 1)HP BL460cG6 двухпроцессорный четырехядерных блэйд-сервер (3 сервера) 2)IBM хSeries 460 четырехпроцессорных сервера (2 сервера) IBM Pure Data Netezza 3563-CCO IBM PureData System for Analytics N Appliance for System z Appliance Internet АРМ управление инфраструктурой ЛВС и SAN сети вычислительного центра IBM zSeries IBM xSeries и HP (Intel) IBM pSeries VPN Внутренний Firewall SSH, sFTP, HTTPs Инфраструктура ЦК ЕСЛ Базовые кафедры по аналитике(подготовка кадров) Программное обеспечение : Более 900 продуктов IBM и др. Intranet DMZ Внешний Firewall IBM Pure Data Netezza 3563-CCO IBM PureData System for Analytics N Appliance

EC-лизинг 35 Центр компетенции по IBM Big Data Приглашаем посетить центр компетенции, ознакомиться с технологиями IBM BigData, принять участие в создании виртуальных отраслевых стендов Тел.: (495) Факс: (495)

EC-лизинг 36 Спасибо за внимание!