М.Л. Цымблер, Л.Б. Соколинский Южно-Уральский государственный университет (Челябинск) Организация систем хранения данных на базе вычислительных кластеров. - презентация

1 М.Л. Цымблер, Л.Б. Соколинский Южно-Уральский государственный университет (Челябинск) Организация систем хранения данных на базе вычислительных кластеров Конференция «Системы хранения данных: максимум возможностей» (22 марта 2011 г., Челябинск)

2 Содержание Вычислительные мощности Лаборатории суперкомпьютерного моделирования (ЛСМ) СКИФ Урал СКИФ Аврора Проекты ЛСМ, с хранением и обработкой данных сверхбольших объемов PargreSQL MedMining Energo VideoStorm СХД, 22-мар-11 Организация систем хранения на базе вычислительных кластеров

3 Динамика развития суперкомпьютерных мощностей в ЮУрГУ Суперкомпьютер СКИФ-Аврора ЮУрГУ Пиковая производительность Teraflops 2010 г. Вычислительный кластер СКИФ Урал Пиковая производительность 16 Teraflops 2008 г. Вычислительный кластер Infinity Пиковая производительность 333 Gflops 2004 г. Intel Xeon64 DP 3,2 ГГц Intel Xeon E ГГц Intel Xeon x5680 3,33 ГГц Суперкомпьютер СКИФ-Аврора ЮУрГУ Пиковая производительность 24 Teraflops 2010 г. Intel Xeon x5570 2,93 ГГц

4 Кластер СКИФ Урал Число вычислительных узлов/процессоров/ядер: 166/332/1328 Тип процессора: Intel Xeon E5472 (4 ядра по 3.0 GHz) Коммуникационные сети: Системная: InfiniBand (20 Gbit/s, макс. задержка 2 µs) Управляющая: Gigabit Ethernet Сервисная: СКИФServNet Оперативная память: 1.33 TB Дисковая память: TB Параллельная система хранения данных: T-Platforms ReadyStorage – 20ТB СХД, 22-мар-11 Организация систем хранения на базе вычислительных кластеров

5 Суперкомпьютер СКИФ Аврора 4 планируемое место в рейтинге СНГ ТОР50 70 планируемое место в рейтинге TOP ,64 TFlops 8832 вычислительных ядер Коммуникационные сети: Трехмерный тор: 60 Гбит/сек InfiniBand QDR: 40 Гбит/сек Сети мониторинга: 3 шт. Оперативная память: 8.8 Тбайт Дисковая память: 108 Тбайт СХД, 22-мар-11 Организация систем хранения на базе вычислительных кластеров

6 Параллельная система хранения Panasas ActiveStorage Тб Производительное хранилище данных с архитектурой NAS, разработанное специально для кластеров Пропускная способность более 60 Гбит/сек Параллельный доступ к данным всех узлов кластера Рост объема системы не усложняет управляемость СХД, 22-мар-11 Организация систем хранения на базе вычислительных кластеров

7 Проект PargreSQL Внедрение параллелизма в свободную последовательную СУБД PostreSQL СХД, 22-мар-11 Организация систем хранения на базе вычислительных кластеров

8 Фрагментный параллелизм СХД, 22-мар-11 Организация систем хранения на базе вычислительных кластеров

9 PostgreSQL vs PargeSQL СХД, 22-мар-11 Организация систем хранения на базе вычислительных кластеров

10 Проект MedMining Параллельная система сбора, накопления и анализа данных по эффективному использованию ресурсов человека при предельных физических нагрузках Аппаратно-программный комплекс Oxycon Mobile Более 40 различных показателей функционирования организма человека в режиме реального времени с дискретизацией до 1 сек. Прирост базы данных исследований: 1 Гб в день СХД, 22-мар-11 Организация систем хранения на базе вычислительных кластеров

11 Проект Energo Создание автоматизированного ситуационного центра энергоэффективности Прирост базы данных показателей: 1 Гб в месяц Мониторинг и оптимизация потребления энергоресурсов объектов ЖКХ ЮУрГУ на основе оперативного и интеллектуального анализа данных об энергопотреблении СХД, 22-мар-11 Организация систем хранения на базе вычислительных кластеров

12 Проект VideoStorm Разработка параллельной системы управления видеоархивом телеканала ЮУрГУ-ТВ Хранение сырого, монтированного и сжатого видео Прирост объема видеоархива: 30 Тб в год Эффективное хранение и обработка видео сжатие видео автоматическое разбиение на сцены высокая готовность данных СХД, 22-мар-11 Организация систем хранения на базе вычислительных кластеров

13 Спасибо за внимание Вопросы ? Михаил Леонидович Цымблер доцент кафедры системного программирования ЮУрГУ, к.ф.-м.н. СХД, 22-мар-11 Организация систем хранения на базе вычислительных кластеров