Аппаратно-программные решения для ценра обработки и анализа данных ИПА РАН Лаборатория астрономического программирования Стэмпковский В.Г.

Содержание Введение Аппаратное обеспечение Программное обеспечение Технологии VMware, Inc. Архитектура ЦОАД Удаленный доступ Перспективы развития Вопросы

Введение Центр обработки и анализа данных (ЦОАД) предназначен для решения пяти основных задач лаборатории космической геодезии и вращения земли: – обработка РСДБ-наблюдений – обработка ГНСС-наблюдений – обработка ЛЛС-наблюденийи – прогноз ПВЗ – сбор и публикация наблюдений и результатов обработки В качестве аппаратной платформы ЦОАД было выбрано решение Sun Microsystems, Inc. для малого и среднего бизнеса – Sun Fire X4600 Server Цель доклада – представление стратегии эффективного использование аппаратного и программного обеспечения ЦОАД

Аппаратное обеспечение Состав аппаратных средств ЦОАД Sun Fire X4600 Server Sun Storage Tek 2500 Series Array Отказоустойчивость дисковых подсистем Конфигурация аппаратных средств ЦОАД

Состав аппаратных средств ЦОАД Аппаратное оснащение ЦАОД состоит сервера обработки данных и набора рабочих станций В свою очередь сервер обработки данных состоит из двух компонент, способных работать автономно: собственно многопроцессорный сервер Sun Fire X4600 Server и дисковый массив Sun Storage Tek 2500 Series Array

Sun Fire X4600 Server

Processor 4 x Dual-Core 2.8 GHz AMD Opteron x64 Memory 16 GB DDR2 667 Mass Storage 135 Gb SAS rpm Optical Drive 1 DVD-ROM Network 4 x 10/100/1000 Ethernet USB, Serial, PCI, PCI-X

Sun Storage Tek 2500 Series Array

Отказоустойчивость дисковых подсистем RAID - Redundant Array of Independent Disks (Избыточный Массив Независимых Дисков). В RAID массив объединяются несколько физических дисков, в результате чего эти диски управляются одним контроллером и рассматриваются системой как один массив, то есть, как один диск. В результате увеличивается либо производительность массива, либо надёжность по сравнению с одним диском, либо и то и другое. При объединении физических дисков в RAID массив, возможны различные конфигурации построения массива, в зависимости от того, по каким принципам контроллер будет работать с каждым диском. Различают несколько уровней RAID массивов: 0,1,2,3,4,5,6,7,10,30,50

Отказоустойчивость дисковых подсистем RAID 0 даёт пользователю наибольшую производительность, за которую приходится платить наименьшей надёжностью массива, даже меньшей, чем надёжность одного диска. RAID 1 наоборот увеличивает надёжность, но не даёт прироста в производительности и объём массива будет в два раза ниже, чем суммарный объём всех винчестеров, входящих в его состав. RAID 5 может претендовать на роль универсального способа по надёжности и использованию объёма входящих в его состав дисков, но использование этого способа снижает производительность дисковой подсистемы.

Отказоустойчивость дисковых подсистем RAID 5 - Этот тип массива распределяет информацию по нескольким физическим дискам, но при этом учитывает чётность. Индекс чётности хранится на каждом диске, входящем в массив. Проверка чётности немного снижает производительность RAID 5 массива в целом, но значительно увеличивает надёжность по сравнению с другими уровнями RAID. Если в массиве пятого уровня один из дисков выходит из строя, контроллер восстанавливает массив, используя индексы чётности, читаемые с других физических дисков. Объём массива RAID пятого уровня зависит от числа физических дисков, объединённых в логические. Объём индекса чётности в RAID 5 равен объёму одного из физических дисков. Чем больше винчестеров в массиве, тем меньше будет процентное соотношение объёма индексных файлов по отношению к объёму всего массива. При использовании четырёх винчестеров, объединённых в RAID 5, объём массива будет равен сумме объёмов трёх из них, так как на каждом из винчестеров 25% будет занято индексом чётности.

Конфигурация аппаратных средств ЦОАД Экземпляр дискового массива укомплектован 8-ю жесткими дисками по 300 GB. Один диск находится в горячем резерве. На 7-ми основных дисках сконфигурирован RAID 5. Для использования доступно ~ 6 x 300 GB. При отказе одного из основных дисков производится автоматическая подмена резервным. Все доступное дисковое пространство массива при загрузке операционой системы сервера автоматически монтируется как составная часть его файловой системы

Программное обеспечение Сертифицированные операционные системы для Sun Fire X4600 Server Red Hat Enterprise Linux 4 Средства разработки программ в стандартной поставке RHEL 4 Средства разработки программ Intel Corporation

Сертифицированные операционные системы для Sun Fire X4600 Server Sun Fire X4600 M2 Server Sun Solaris OS Red Hat Enterprise Linux SUSE Linux Enterprise Server SUSE Linux Enterprise Server Microsoft Windows Server VMware ESX Server Sun Fire X4600 Server Sun Solaris OS Red Hat Enterprise Linux SUSE Linux Enterprise Server SUSE Linux Enterprise Server Microsoft Windows Server VMware ESX Server

Red Hat Enterprise Linux 4

Средства разработки программ в стандартной поставке RHEL 4 GCC - GNU Compilers Collection включает компиляторы для C, C++, Objective C, Fortran, Java и др. Объектно-ориентированный API – библиотеки GTK и Qt (GTK+2.0 и Qt3)

Средства разработки программ Intel Corporation Intel® Compilers for Linux Intel® C++ Compiler 10.1 for Linux Intel® Fortran Compiler 10.1 for Linux Intel ® Math Kernel Library 10.0 Update 4 for Linux

Средства разработки программ Intel Corporation

Технологии VMware, Inc. Концепция виртуальных машин Платформа VMware, Inc для виртуализации ресурсов вычислительных систем VMware Workstation VMware Server VMware ESX Server VMware Infrastructure VMware Server или VMware ESX Server?

Концепция виртуальных машин Под виртуализацией операционных систем понимается создание виртуальных машин – абстракций, заключающих в себе собственную виртуальную аппаратно-программную среду, позволяющую на одной физической платформе установить и запускать одновременно несколько экземпляров операционных систем. Для чего это нужно? Прежде всего, для того, чтобы отделить представление операционной системы от аппаратуры и разместить несколько работающих виртуальных серверов на одном физическом с возможностью быстрой миграции и восстановления операционных сред. Также такой подход обеспечивает максимальную гибкость в отношении развертывания серверов, поддержания их жизнеспособности и управления.

Платформа VMware, Inc для виртуализации ресурсов вычислительных систем VMware предлагает целый набор средств виртуализации: VMware Workstation – платформа, ориентированная на Desktop- пользователей и предназначенная для использования разработчиками ПО. VMware Player – бесплатный «проигрыватель» виртуальных машин, предназначенный для запуска уже готовых шаблонов виртуальных машин, выполняющих конкретную задачу, VMware Server, носивший ранее название VMware GSX Server, направленный на использование в инфраструктуре малых предприятий для поддержания виртуальных серверов VMware Ace – продукт для создания защищенных политиками безопасности виртуальных машин, VMware ESX Server – мощная платформа виртуализации для среднего и крупного бизнеса, ориентированная в первую очередь на поддержание целостной и масштабируемой IT инфраструктуры, VMware Virtual Center – мощное средство для управления платформами виртуализации VMware ESX Server и VMware Server, обладающее широкими возможностями по консолидации серверов, их настройке и управлению.

VMware Workstation VMware Workstation – Desktop-приложение, распространяемое на коммерческой основе. Незаменимый инструмент для разработчика программного обеспечения, ведущего одновременно несколько проектов для различных платформ (Windows, Linux, Sun Solaris, Novell Netware, FreeBSD, MS DOS и д.р.) При достаточных ресурса один компьютер пользователя позволяет моделировать сложную локальную сеть с доменной или иной структурой.

VMware Workstation

VMware Server VMware Server – бесплатная и мощная платформа виртуализации для малого бизнеса Бесплатный продукт VMware Server является мощной платформой виртуализации, которая может быть запущена на серверах под управлением хостовых операционных систем Windows и Linux. Основное предназначение VMware Server – поддержка малых и средних виртуальных инфраструктур небольших предприятий.

VMware Server поддержка нескольких виртуальных серверов на одном физическом запуск готовых к использованию виртуальных машин (Virtual Appliances), выполняющих определенную серверную функцию обеспечение высокой доступности виртуальных серверов (виртуальные машины могут легко переноситься между физическими серверами) создание удобных к восстановлению резервных копий виртуальных серверов за счет получения мгновенных снимков текущего состояния системы («снапшотов») широкие возможности по работе с виртуальными машинами:

VMware Server VMware Server обладает широкими возможностями по работе с виртуальными машинами: – поддержку любой стандартной архитектуры x86 – поддержку двунаправленного виртуального SMP (symmetric multi-processing) – поддержку большого числа хостовых и гостевых операционных систем – поддержку 64-битных хостовых и гостевых операционных систем – поддержку IntelVT (Intel Virtualization Technology)

VMware ESX Server VMware ESX Server – платформа виртуализации корпоративного класса и средство построения виртуальной инфраструктуры предприятия Среди множества решений для виртуализации, предлагаемых компанией VMware, продукт VMware ESX Server занимает особое место. Являясь флагманской разработкой компании, VMware ESX Server представляет собой основу для построения больших виртуальных инфраструктур, в которые интегрируются другие продукты VMware.

VMware ESX Server VMware ESX Server является платформой виртуализации класса «Bare Metal» («голое железо») и устанавливается на «чистый» сервер, не имеющий операционной системы и другого программного обеспечения. VMware ESX Server построен на основе операционной системы Linux Red Hat, в которой инженеры компании VMware произвели значительные изменения, добавив множество возможностей для поддержки виртуализации. Такая реализация этой платформы позволяет максимально эффективно использовать аппаратные ресурсы серверов и обеспечивать наилучшее взаимодействие между гостевыми системами и «железом». Помимо ESX сервера в виртуальной инфраструктуре предприятия присутствуют также такие компоненты, как сети хранения данных SAN (Storage Area Network), системы хранения (Storages), высокоскоростные соединения (Fibre Channel) и виртуальные сети (VLAN). Виртуальная инфраструктура на основе VMware ESX Server позволяет централизованно управлять всеми этими ресурсами и обеспечивать бесперебойную работу виртуальных серверов.

VMware Infrastructure

Собственно ESX Server. Файловая система VMware VMFS (Virtual Machine File System), оптимизированная для быстродействия виртуальных машин и обеспечения их высокой доступности. VMware SMP (Symmetric Multi-Processing) - технология, позволяющая виртуальным машинам использовать все процессоры хоста, имея при этом несколько виртуальных процессоров. Virtual Infrastructure Client – мощное средство по удаленному администрированию и настройке VMware ESX Server, запускаемое на рабочих станциях Windows и имеющее дружественный интерфейс. Virtual Center – средство для централизованного управления множеством ESX-серверов. Virtual Infrastructure Web Access – возможность управления виртуальными машинами из внешней сети по защищенному каналу. VMware VMotion – технология, позволяющая осуществлять «живую» миграцию запущенного виртуального сервера на другой физический сервер, без необходимости выключения виртуальной машины и обеспечением ее бесперебойной работы во время миграции. VMware High Availability (HA) – возможность, позволяющая в случае аппаратного или программного сбоя физического сервера, автоматически перезапустить нужные зеркала виртуальных машин на другом сервере. VMware Distributed Resource Scheduler (DRS) – компонент, позволяющий осуществлять динамическое выделение ресурсов виртуальным машинам. VMware Consolidated Backup (VCB) – простое и мощное средство для создания резервных копий виртуальных машин. VMware Infrastructure SDK – пакет для разработки приложений для виртуальной инфраструктуры сторонними разработчиками.

VMware Server или VMware ESX Server? Виртуальная инфраструктура на основе VMware Server может быть построена в основном из серверов, выполняющих повседневные задачи в организации, для которых не требуется высокая степень доступности, быстродействия и гибкости. VMware ESX Server – это полноценная платформа для поддержки жизненно важной IT- инфраструктуры предприятия в условиях бесперебойной работы виртуальных серверов и поддержки их в режиме 24x7x365.

VMware Server или VMware ESX Server? Использование инфраструктуры на основе VMware Server целесообразно для решения задач: – поддержка и обслуживание внутренних серверов организации, – выполнение задач по тестированию отдельных приложений, – моделирование небольших виртуальных сетей в целях проверки рабочих связок серверов, – запуск готовых к использованию шаблонов виртуальных машин, выполняющих роли внутренних серверов организации, – получение готовых к быстрой миграции отдельных серверов. VMware ESX Server необходимо использовать при решении следующих задач: – потоковое тестирование приложений в крупных организациях, занимающихся разработкой программного обеспечения, – поддержание внешних серверов организации, обладающих высокой степенью доступности, гибкости и управляемости, – моделирование больших виртуальных сетей, – уменьшение затрат на оборудование, обслуживание и электроэнергию в крупных организациях и датацентрах.

Архитектура ЦОАД Состав задач ЦОАД и их особенности Прием и передача внешним данных IP-адресное пространство Конфигурация виртуальной машины для работы под управлением VMware Server Доступ к данным и управление программно-аппаратным комплексом

Состав задач ЦОАД и их особенности Основные задачи ЦОАД: – обработка РСДБ-наблюдений – обработка ГНСС-наблюдений – обработка ЛЛС-наблюденийи – прогноз ПВЗ – сбор и публикация наблюдений и результатов обработки Все задачи решаются в режиме «очень мягкого реального времени» т.е. по строгому регламенту в т.ч. суточному, почасовому

Прием и передача внешних данных Для приема наблюдений с обсерваторий осуществляет выделенная виртуальная машина с операционной системой FreeBSD называемая коммуникационным сервером Коммуникационный сервер осуществляет загрузку данных с внешних источников по заданному расписанию с помощью штатного средства WGET Все данные размещаются непосредственно на сервере SUN и доступны всем обработчикам наблюдений по протоколу SMB (Samba) Передача результатов обработки получателям выполняется копированием на внешний ftp-сервер

IP-адресное пространство Адресное пространство ЦОАД (IP-адреса виртуальных машин и сервера SUN) организовано по принципу минимальной достаточности т.е. виртуальные машины могут взаимодействовать друг с другом и с сервером SUN. Во внешний мир (internet) выход осуществляется через IP-адрес сервера Из локальной сети ИПА доступ к виртуальным машинам осуществляеся через IP-адрес сервера – с помощью приложения VMware Server Console Для использования Remote Desktop Connection компьютер пользователя должен иметь дополнительный локальный IP-адрес вида 10.**.**.**/ , предоставляемый пользователю администратором ЦОАД

Конфигурация виртуальной машины для работы под управлением VMware Server По результатам опытной эксплуатации VMware Server были выработаны рекомендации по составу оборудования типовой виртуальной машины, работающей под управлением VMware Server: – виртуальная машина подготавливается с помощью приложения VMware Workstation 5 или 6, а затем портируется на сервер SUN – виртуальная машина имеет версию Workstation 5 – у виртуальной машины должны быть доступны только: Processor (1-2), HDD (1,

Доступ к данным и управление программно-аппаратным комплексом Управление ЦОАД и его элементами осуществляется дистанционно с использованием методов удаленного доступа Доступ к базе данных наблюдений и результатов обработки наблюдений имеют пользователи виртуальных машин и зарегистрированные пользователи сервера SUN по протоколу SMB (Windows Explorer) или по протоколу SSH (FAR Manager + Plug In, WinSCP и др.)

Удаленный доступ WEB-мониторинг состояния экземпляра VMware Server Удаленный доступ к экземпляру VMware Server с помощью приложения VMware Server Console Удаленный доступ к экземплярам виртуальных машин средствами операционной системы Windows XP

WEB-мониторинг состояния экземпляра VMware Server

Удаленный доступ к экземпляру VMware Server с помощью VMware Server Console

Удаленный доступ к экземплярам виртуальных машин средствами операционной системы Windows XP

Перспективы развития Развитие аппаратного обеспечения (доукомплектация дискового массива и др.) Развитие программного обеспечение приобретением как некоммерческих, так и коммерческих версий (например, VMware Workstation)

Вопросы ?