Аппаратно-программная конфигурация ЦИВК Аппаратные ресурсы. Программное обеспечение. Организация работы пользователей. Грид в ЦИВК, принципы работы.

Структурная схема ЦИВК Сетевые соединения

Сетевое окружение 1Gbit Ethernet - опорная сеть. Маршрутизатор и коммутаторы 1GbE. Не более 3-х коммутаций между любыми 2-мя машинами ЦИВК. 4-8 линий между 1-ым и 2-ым уровнями (802.3ad – link aggregation). 10GbE до опорной сети ОИЯИ (план).

Вычислительные ресурсы - счетная ферма 60 машин: Xeon 5150, 8GB RAM, 64- х битная архитектура - x86_64. 2 x ЦПУ по 2 ядра = 4 ЦПУ на машину. 2 GB RAM на ядро (ЦПУ). 100 GB scratch на машину. 2730SI2000 на ядро. Всего: 240 ЦПУ; ~650 kSI2k.

Счетная ферма - расширение (март 2008) 20 машин: Xeon 5345, 16GB RAM, x86_64. 2 x ЦПУ по 4 ядра = 8 ЦПУ на машину = 160 ЦПУ. 2 GB RAM на ядро. 200 GB scratch на машину. 2700SI2000 на ядро = 432kSI2k. Всего: 400 ЦПУ; > 1000kSI2k.

Дисковые ресурсы Общий (физический) объем: > 120TB. Аппаратный RAID5 (3ware/AMCC). Программный RAID1 (AFS и т.п.). Direct Attached SATA (счетные, интерактивные машины и т.п.). Доступный объем: 1.3TB - AFS; 82TB - dCache.

Остальные ресурсы 4 машины для интерактивной работы: 2 - Intel Core 2 Duo; 2 - AMD Athlon. Серверы AFS и NFS. Серверы dCache. Серверы общего назначения. Серверы WLCG сайта (грид).

Остальные ресурсы (продолжение) Архитектура серверов: от Intel Celeron и Pentium 3 до Atlon64 X2 и Core 2 Duo. Всего серверов 64. Архитектура и ЦПУ: uname -ip подробнее – cat /proc/cpuinfo. Объем RAM: free

Программное обеспечение Основная ОС - Scientific Linux SL 4.5 (SL4) – клон RHEL4, на всех счетных машинах (cat /etc/redhat-release). Основная архитектура – x86_64, 64-х битная (uname -i). Установлены все пакеты совместимости для выполнения 32-х битных программам. Система пакетной обработки (batch): Torque + Maui.

Программное обеспечение (продолжение) Рекомендуется для разработки ПО использовать SL4 x86_64 на lxpub01/02. Для совместимости: SL4 i386 на lxpub03; SL3 i386 на lxpub04. Разработка ПО для архитектуры i386 возможна, но не тривиальна. SL3 будет только до конца Предполагается полный переход на 64-х битную архитектуру.

Программное обеспечение Средства разработки ПО Компиляторы, компоновщик и отладчик из SL4 версии 3.4.6: gcc; g++; f77; ld; gdb(gcc -v). Дополнительно из SL4: gcc4; g++4; gfortran. Дополнительно от Intel: icc; icpc; ifort; idb (icc -V). Средства разработки Intel дают ~15% повышения производительности ПО.

Программное обеспечение Средства разработки ПО (продолжение) CERNlib 2006, архитектура x86_64 (gcc4). ROOT e, архитектура x86_64. OpenMPI 1.2.5, архитектура x86_64 (компиляторы Intel). JINRlib (g77, gfortran и ifort).

Программное обеспечение Средства разработки ПО (продолжение) Практически все -devel- RPM из SL4: glibc; libstd++ и т.д, архитектура x86_64 (некоторые - i386) (file /lib64/libc so; file /lib/libc so). Perl, Python, Tcl, Tk (только x86_64). Средства разработки для графических оболочек: xorg; kde; gnome.

Программное обеспечение Средства поддержки - графика Рекомендуется использовать kde. Графические оболочки: xorg; kde; gnone. Терминал: xterm; konsole. WWW/FTP: firefox; konqueror; gftp. Редакторы: gvim; emacs; nedit. Mail: kmail; thunderbird.

Программное обеспечение Средства поддержки – графика (прод) Документы: ooffice; acroread; ggv; kpdf; kghostview. Калькулятор: qalc; kcalc. Разработка: kdevelop; bluefish (www). Текст: Tex/LaTex. Изображения: gimp; xfig; kuickshow.

Программное обеспечение Средства поддержки - текст Рекомендуется использовать pytty (ssh) для входа из Windows. WWW/FTP: links; lynx; wget; lftp; pftp. Редакторы: vim; pico. Mail: alpine (pine); mutt.

Структурная схема ЦИВК Потоки данных и задач

Организация работы пользователей Подробное описание – на сайте: Интерактивная работа: lxpub01 -:- lxpub04 – User Interface. Разработка и отладка ПО, не счет. Работа с графикой. Подготовка документации. Mail, WWW и т.п. Интерактивный вход на остальные машины запрещен.

Организация работы пользователей (продолжение) Все счетные задачи работают через batch систему (qsub, qstat, qpeek). Приоритеты и порядок запуска – планировщик Maui (умный алгоритм). Желательно указывать для batch: время CPU; RAM; размер scratch. Как правило: одна задача – 1 CPU.

Организация работы пользователей (продолжение) Максимальное количество задач пользователя = 170. Максимальные параметры задач: CPU=400 часов;RAM=2GB;scratch=25GB. Параллельные задачи – особый случай. Примеры задач для batch - на сайте LIT:

Регистрация и ресурсы пользователей Регистрируются в базе kerberos5. Домашние директории в AFS. Хранение данных в dCache. Возможно выделение дополнительного места в AFS под большое ПО для группы/пользователя. На UI есть scratch: /scr/u/... На счетных машинах задача должна работать в scratch: cd $TMPDIR