Кластеры Калинина Евгения 2010 г, ЦПСМИ СПбГУ

Понятие кластера Кластер (единица хранения данных) единица хранения данных на гибких и жёстких дисках компьютеров; Кластер (группа компьютеров) группа компьютеров, объединённых высокоскоростными каналами связи и представляющая с точки зрения пользователя единый аппаратный ресурс; также группа серверов, объединённых логически, способных обрабатывать идентичные запросы и использующихся как единый ресурс; Кластер (базы данных) объединение данных из различных таблиц для ускорения выполнения сложных запросов; Структура диска: (A) дорожка (B) геометрический сектор (C) сектор дорожки (D) кластер

Краткая история В начале 1970-х гг. группой разработчиков протокола TCP/IP и лабораторией Xerox PARC были закреплены стандарты сетевого взаимодействия. Появилась и операционная система Hydra («Гидра») для компьютеров PDP-11 производства DEC, созданный на этой основе кластер был назван C.mpp (Питтсбург, шт. Пенсильвания, США, 1971). Первым коммерческим проектом кластера стал ARCNet, созданный компанией Datapoint в 1977 г. В 1984 г. DEC построила свой VAXcluster на основе операционной системы VAX/VMS. Cпециалистами GSFC, научно-космического центра NASA, летом 1994 года был собран первый кластер, состоявший из 16 компьютеров 486DX4/100MHz/16Mb RAM и трех параллельно работавших 10Mbit сетевых адаптеров. Данный кластер, который был назван "Beowulf", создавался как вычислительный ресурс проекта Earth and Space Sciences Project (ESS). Два других ранних кластерных продукта включают Tandem Hymalaya (1994, класс HA) и IBM S/390 Parallel Sysplex (1994).

Преимущества кластерных систем высокая масштабируемость, гибкость, простота управления Кластерные системы должны обладать достаточной производительностью, устойчивостью к отказам аппаратуры и программного обеспечения и при этом легко наращиваться и модернизироваться при помощи универсальных средств. Типовая кластерная система

Архитектура кластерных систем вычислительные узлы на базе стандартных процессоров; высокоскоростная системная сеть (интер-коннект); вспомогательная и сервисная сети. Процессоры: Intel (Intel Xeon, Intel Xeon EM64T, Intel Itanium 2); Power и PowerPC компании IBM; Процессоры AMD Каждый узел работает под управлением своей копии стандартной операционной системы, в большинстве случаев Linux. В кластерных решениях применяются такие технологии интерконнекта, как Gigabit Ethernet, SCI, Myrinet, QsNet, InfiniBand.

Классификация кластерных систем Кластеры высокой доступности (отказоустойчивые кластеры) Типичное число узлов два, это минимальное количество, приводящее к повышению доступности. Кластеры распределения нагрузки. Принцип их действия строится на распределении запросов через один или несколько входных узлов, которые перенаправляют их на обработку в остальные, вычислительные узлы. Вычислительные кластеры. Одна из типичных конфигураций набор компьютеров, собранных из общедоступных компонентов, с установленной на них операционной системой Linux, и связанных сетью Ethernet, Myrinet, InfiniBand или другими относительно недорогими сетями. Системы распределенных вычислений (grid). Главное отличие низкая доступность каждого узла, то есть невозможность гарантировать его работу в заданный момент времени (узлы подключаются и отключаются в процессе работы), поэтому задача должна быть разбита на ряд независимых друг от друга процессов. Кластер серверов, организуемых программно - группа серверов, объединённых логически, способных обрабатывать идентичные запросы и использующихся как единый ресурс. Объединение серверов в один ресурс происходит на уровне программных протоколов.

Кластерные конфигурации

Самые производительные кластеры Самым быстрым кластером является IBM Roadrunner (Лос- Аламосская национальная лаборатория, США, созданный в 2008 году), его максимальная производительность (на июль 2008) составляет 1,026 Петафлопс. Самая быстрая система в Европе (на июль 2008) суперкомпьютер, BlueGene/P находится в Германии, в исследовательском центре города Юлих, земля Северный Рейн- Вестфалия, максимально достигнутая производительность 167,3 Терафлопс. На июль 2008 года на 7 месте рейтинга TOP500 находится кластер SGI Altix ICE 8200 (Chippewa Falls, Висконсин, США). Сравнительно дешёвую альтернативу суперкомпьютерам представляют кластеры, основанные на концепции Beowulf, которые строятся из обыкновенных недорогих компьютеров на основе бесплатного программного обеспечения. Один из практических примеров такой системы Stone Soupercomputer (Оак Ридж, Теннесси, США, 1997). Крупнейший кластер, принадлежащий частному лицу (из 1000 процессоров), был построен Джоном Коза (John Koza).

Область применения вычислительного кластера Выделяется три основных класса потребителей вычислительных кластерных решений: промышленные предприятия, занимающиеся разведкой и добычей полезных ископаемых, машиностроением, производством лекарственных препаратов; научные институты и университеты; пользователи кластерных баз данных.

Примеры областей применения: Вот как распределяются области применения 500 самых мощных компьютеров мира: 44,3% добывающая, электронная, автомобильная, авиационная и др. отрасли тяжелой промышленности и машиностроения, нефтегазовые компании; чуть более 20% наука и образование, суперкомпьютерные центры, аналитические центры обработки информации; более 18% приходится на погодные и климатические исследования, метеоанализ; 7% ядерные, космические, энергетические и военные государственные программы, атомная энергетика; 3,5% финансовые компании и банки. компании и организации, занимающиеся медициной, фармацевтикой и разработкой новых лекарств, компьютерной графикой, разработкой электронных компонентов, логистической обработкой данных; компании, занимающиеся перевозками, торговлей, производством продуктов питания, консалтингом и государственным управлением, конструкторские бюро, статистические управления.

Функциональная схема вычислительного кластера Компоненты решения Серверы (вычислительные узлы кластера и управляющий сервер) Системы хранения данных под управлением Open-E NAS Операционные системы SUSE Linux Enterprise, RedHat Linux Коммутаторы Infiniband Телекоммуникационные шкафы с консольными коммутаторами и дополнительными опциями Коммутаторы Ethernet Источники бесперебойного питания с программными утилитами управления

Кластерные проекты в России «Паритет», собранный в ИВВиБД и состоящий из восьми процессоров Pentium II, связанных сетью Myrinet. В 1999 году вариант кластерного решения на основе сети SCI был апробирован в НИЦЭВТ, который, по сути дела, и был пионером использования технологии SCI для построения параллельных систем в России. Высокопроизводительный кластер на базе коммуникационной сети SCI, установленный в Научно- исследовательском вычислительном центре Московского государственного университета( Кластер НИВЦ включает 12 двухпроцессорных серверов «Эксимер» на базе Intel Pentium III/500 МГц, в общей сложности 24 процессора с суммарной пиковой производительностью 12 млрд. операций в секунду. Общая стоимость системы - около 40 тыс. долл. или примерно 3,33 тыс. за 1 GFLOPS. Основная область применения вычислительного кластера НИВЦ МГУ - это поддержка фундаментальных научных исследований и учебного процесса.

Решение, реализованное в Санкт-Петербургском университете на базе технологии Fast Ethernet ( Неоднородный вычислительный кластер, в составе которого работают компьютеры на базе процессоров Alpha и Pentium III в Самарском научном центре. В Санкт-Петербургском техническом университете собирается установка на основе процессоров Alpha и сети Myrinet без использования локальных дисков на вычислительных узлах. В Уфимском государственном авиационном техническом университете проектируется кластер на базе двенадцати Alpha-станций, сети Fast Ethernet и ОС Linux.

Источники Server Раздел: Платформы и технологии

Спасибо за внимание !