GridGain – Java Grid Computing Made Simple Denis Kharlamov www.gridgain.org Kiev JUG Ukraine. - презентация

1 GridGain – Java Grid Computing Made Simple Denis Kharlamov Kiev JUG Ukraine

2 Содержание GridGain Что такое Грид? Почему Грид? Краткий обзор GridGain Ключевые понятия Примеры Грид приложение за 15 минут Slide 2 GridGain – Java Grid Computing Made Simple

3 Что такое грид? Вычислительный грид Параллельное выполнение кода Распределенный кеш данных Паралельный доступ к данным Грид = вычислительный грид + кеш данных. Выполнение кода там где находятся данные Slide 3GridGain – Java Grid Computing Made Simple

4 Почему Грид? Спросите Google, Amazon, eBay Решение проблем зачастую не имеющих другого решения У Google примерно нодов Универсальная парадигма программирования Масштабирование от 2 до компьютеров. Slide 4GridGain – Java Grid Computing Made Simple

5 Краткий обзор GridGain Open Source Java Grid Computing Грид Инновационный вычислительный грид Интеграция с лидирующими кешами данных Java Создан на Java и для Java Open Source LGPL и Apache 2.0 Уникальная простота и широчайшие возможности Slide 5GridGain – Java Grid Computing Made Simple

6 Профессиональный Open Source GridGain - Профессиональный Open Source Свободный и основан на Open Source лицензиях: LGPL and Apache 2.0 Профессиональная поддержка, обучение и консультации. Лучная бизнес модель для масштабируемых серверов Подобно JBoss, Spring Source, Mule Source… GridGain – Java Grid Computing Made SimpleSlide 6

7 Статистика GridGain За 9 месяцев с первого резина: Более 15,000 скачиваний Запуск новой ноды каждые 60 секунд Более 2000 различных организаций, проектов и частных лиц Наиболее быстро растущий Java Грид. GridGain – Java Grid Computing Made SimpleSlide 7

8 Ключевые понятия Map/Reduce Zero Deployment Масштабируемость Гарантированное выполнение Интеграция в стиле LEGO Выполнение без изменения кода Интеграция с ведущими кешами JMX мониторинг Product. Business. People.Slide 8

9 MapReduce Slide 9 1. Запрос на выполнение задачи 2. Разбиение на подзадачи 3. Результат выполнение подзадач 4. Сборка результата GridGain – Java Grid Computing Made Simple Особенности: API для Map/Reduce Рспределенная сессия Выполнение с аннотациями Асинхронное выполнение Избыточные подзадачи Частичная и асинхронная обработка результата Адаптивное разбиение на подзадачи Сохранение промежуточных результатов. Балансировка нагрузки на всех этапах выполнения Выполнение кода там где находятся данные

10 Zero Deployment Загрузка пользовательских классов по требованию Никаких скриптов Никаких установок по FTP Никаких перезапусков нодов Разработка ТОЧНО так же как обычно Изменяй->Компилируй->Выполняй на гриде Запускай несколько нод в Той же JVM – отлаживай код локально (!) Том же компьютере – Запускай грид на рабочей станции Slide 10GridGain – Java Grid Computing Made Simple

11 Масштабируемость Балансировка нагрузки на всех этапах выполнения: Оптимально при возникновении перегрузок на нодах. Load Balancing SPI «Ранняя» балансировка Collision SPI «Поздняя» балансировка => Максимальная поддержка масштабируемости Slide 11GridGain – Java Grid Computing Made Simple

12 Масштабируемость Slide 12GridGain – Java Grid Computing Made Simple

13 Гарантированное выполнение Ошибка тоже результат Продолжение выполнения в случае ошибки Решение о продолжении выполнения основанное на политиках Асинхронная обработка результата Checkpoint для задач длящихся долго Умное выполнение в случае ошибки => Всеобъемлющая обработка ошибок Slide 13GridGain – Java Grid Computing Made Simple

14 Гарантированное выполнение Slide 14GridGain – Java Grid Computing Made Simple

15 Интеграция в стиле LEGO Checkpoints Failover Collision Resolution Topology management Load balancing Deployment Service Provider Interface (SPI) архитектура Подключать и настраивать практически любую функциональность гряда так же просто как собрать LEGO. Следующая функциональность может быть изменена и сконфигурирована: Slide 15 Communication Discovery Tracing Startup Event storage Marshalling OnDemand GridGain – Java Grid Computing Made Simple

16 Интеграция в стиле LEGO Application Servers JBoss AS BEA Weblogic IBM Websphere Glassfish Tomcat Data Grids JBoss Cache Coherence GigaSpaces AOP JBoss AOP Spring AOP AspectJ Messaging Middleware Mule JMS ActiveMQ SunMQ Jgroups TCP, IP-Multicast Другое Spring Junit JXInsight Готовая интеграция с: Slide 16GridGain – Java Grid Computing Made Simple

17 Выполнение без изменения кода 01 class BizLogic { 03 public static Result process(String param) { } 06 } class Caller { 09 public static void Main(String[] args) { 10 GridFactory.start(); try { 13 BizLogic.process(args[0]); 14 } 15 finally { 16 GridFactory.stop(); 17 } 18 } 19 } Slide 17 Execution of process() method will be performed on the grid GridGain – Java Grid Computing Made Simple

18 Интеграция с кешами данных Интеграция с кешами – ключ к беспрецедентной масштабируемости Affinity Map/Reduce – возможность выполнить код там где находятся данные Минимизирует избыточный трафик Оптимальная балансировка и производительность Готовая поддержка: JBoss Cache Oracle Coherence GridGain – Java Grid Computing Made Simple

19 Интеграция с кешами данных Slide 19GridGain – Java Grid Computing Made Simple

20 JMX мониторинг JMX бины для Каждого SPI Ядра Публичных APIs Гибкий доступ Программный используя JMX API Из GUI JMX консоли Jboss Management Hyperic Jconsole/VisualVM Slide 20GridGain – Java Grid Computing Made Simple

21 Что же дальше? GridGain Июль 2007 GridGain Февраль 2008 GridGain Q109 Мобильный грид: Google Android Грид по требованию: Amazon EC2 Web 2.0 интеграция: REST + JSON Консоль для управления и мониторинга Slide 21GridGain – Java Grid Computing Made Simple

22 Пример Java 5/Eclipse 3.3/Linux GridGain 2.0 GridGain – Java Grid Computing Made SimpleSlide 22

23 Q & A Slide 23 Спасибо! Денис Харламов: GridGain: GridGain – Java Grid Computing Made Simple