GridGain – Java Grid Computing Made Simple Denis Kharlamov Kiev JUG Ukraine

Содержание GridGain Что такое Грид? Почему Грид? Краткий обзор GridGain Ключевые понятия Примеры Грид приложение за 15 минут Slide 2 GridGain – Java Grid Computing Made Simple

Что такое грид? Вычислительный грид Параллельное выполнение кода Распределенный кеш данных Паралельный доступ к данным Грид = вычислительный грид + кеш данных. Выполнение кода там где находятся данные Slide 3GridGain – Java Grid Computing Made Simple

Почему Грид? Спросите Google, Amazon, eBay Решение проблем зачастую не имеющих другого решения У Google примерно нодов Универсальная парадигма программирования Масштабирование от 2 до компьютеров. Slide 4GridGain – Java Grid Computing Made Simple

Краткий обзор GridGain Open Source Java Grid Computing Грид Инновационный вычислительный грид Интеграция с лидирующими кешами данных Java Создан на Java и для Java Open Source LGPL и Apache 2.0 Уникальная простота и широчайшие возможности Slide 5GridGain – Java Grid Computing Made Simple

Профессиональный Open Source GridGain - Профессиональный Open Source Свободный и основан на Open Source лицензиях: LGPL and Apache 2.0 Профессиональная поддержка, обучение и консультации. Лучная бизнес модель для масштабируемых серверов Подобно JBoss, Spring Source, Mule Source… GridGain – Java Grid Computing Made SimpleSlide 6

Статистика GridGain За 9 месяцев с первого резина: Более 15,000 скачиваний Запуск новой ноды каждые 60 секунд Более 2000 различных организаций, проектов и частных лиц Наиболее быстро растущий Java Грид. GridGain – Java Grid Computing Made SimpleSlide 7

Ключевые понятия Map/Reduce Zero Deployment Масштабируемость Гарантированное выполнение Интеграция в стиле LEGO Выполнение без изменения кода Интеграция с ведущими кешами JMX мониторинг Product. Business. People.Slide 8

MapReduce Slide 9 1. Запрос на выполнение задачи 2. Разбиение на подзадачи 3. Результат выполнение подзадач 4. Сборка результата GridGain – Java Grid Computing Made Simple Особенности: API для Map/Reduce Рспределенная сессия Выполнение с аннотациями Асинхронное выполнение Избыточные подзадачи Частичная и асинхронная обработка результата Адаптивное разбиение на подзадачи Сохранение промежуточных результатов. Балансировка нагрузки на всех этапах выполнения Выполнение кода там где находятся данные

Zero Deployment Загрузка пользовательских классов по требованию Никаких скриптов Никаких установок по FTP Никаких перезапусков нодов Разработка ТОЧНО так же как обычно Изменяй->Компилируй->Выполняй на гриде Запускай несколько нод в Той же JVM – отлаживай код локально (!) Том же компьютере – Запускай грид на рабочей станции Slide 10GridGain – Java Grid Computing Made Simple

Масштабируемость Балансировка нагрузки на всех этапах выполнения: Оптимально при возникновении перегрузок на нодах. Load Balancing SPI «Ранняя» балансировка Collision SPI «Поздняя» балансировка => Максимальная поддержка масштабируемости Slide 11GridGain – Java Grid Computing Made Simple

Масштабируемость Slide 12GridGain – Java Grid Computing Made Simple

Гарантированное выполнение Ошибка тоже результат Продолжение выполнения в случае ошибки Решение о продолжении выполнения основанное на политиках Асинхронная обработка результата Checkpoint для задач длящихся долго Умное выполнение в случае ошибки => Всеобъемлющая обработка ошибок Slide 13GridGain – Java Grid Computing Made Simple

Гарантированное выполнение Slide 14GridGain – Java Grid Computing Made Simple

Интеграция в стиле LEGO Checkpoints Failover Collision Resolution Topology management Load balancing Deployment Service Provider Interface (SPI) архитектура Подключать и настраивать практически любую функциональность гряда так же просто как собрать LEGO. Следующая функциональность может быть изменена и сконфигурирована: Slide 15 Communication Discovery Tracing Startup Event storage Marshalling OnDemand GridGain – Java Grid Computing Made Simple

Интеграция в стиле LEGO Application Servers JBoss AS BEA Weblogic IBM Websphere Glassfish Tomcat Data Grids JBoss Cache Coherence GigaSpaces AOP JBoss AOP Spring AOP AspectJ Messaging Middleware Mule JMS ActiveMQ SunMQ Jgroups TCP, IP-Multicast Другое Spring Junit JXInsight Готовая интеграция с: Slide 16GridGain – Java Grid Computing Made Simple

Выполнение без изменения кода 01 class BizLogic { 03 public static Result process(String param) { } 06 } class Caller { 09 public static void Main(String[] args) { 10 GridFactory.start(); try { 13 BizLogic.process(args[0]); 14 } 15 finally { 16 GridFactory.stop(); 17 } 18 } 19 } Slide 17 Execution of process() method will be performed on the grid GridGain – Java Grid Computing Made Simple

Интеграция с кешами данных Интеграция с кешами – ключ к беспрецедентной масштабируемости Affinity Map/Reduce – возможность выполнить код там где находятся данные Минимизирует избыточный трафик Оптимальная балансировка и производительность Готовая поддержка: JBoss Cache Oracle Coherence GridGain – Java Grid Computing Made Simple

Интеграция с кешами данных Slide 19GridGain – Java Grid Computing Made Simple

JMX мониторинг JMX бины для Каждого SPI Ядра Публичных APIs Гибкий доступ Программный используя JMX API Из GUI JMX консоли Jboss Management Hyperic Jconsole/VisualVM Slide 20GridGain – Java Grid Computing Made Simple

Что же дальше? GridGain Июль 2007 GridGain Февраль 2008 GridGain Q109 Мобильный грид: Google Android Грид по требованию: Amazon EC2 Web 2.0 интеграция: REST + JSON Консоль для управления и мониторинга Slide 21GridGain – Java Grid Computing Made Simple

Пример Java 5/Eclipse 3.3/Linux GridGain 2.0 GridGain – Java Grid Computing Made SimpleSlide 22

Q & A Slide 23 Спасибо! Денис Харламов: GridGain: GridGain – Java Grid Computing Made Simple