28 Dec 2005 Andrey.Shevel@pnpi.spb.ru History photos: A. Shevel reports on CSD seminar about new satellite cannel at PNPI (Oct 1995) - презентация

1 28 Dec 2005 History photos: A. Shevel reports on CSD seminar about new satellite cannel at PNPI (Oct 1995)

2

3 28 Dec 2005 Сессия Ученого совета ОФВЭ 28 декабря 2005 года Деятельность отдела вычислительных систем (ОВС) в 2005 году и в ближайшем будущем А. Е. Шевель

4 План презентации Сферы деятельности ОВС Сферы деятельности ОВС Локальная сеть Отделения Локальная сеть Отделения Электронная почта ПИЯФ Электронная почта ПИЯФ Вычислительный кластер отделения и его развитие в свете приближающегося пуска ускорителя в ЦЕРН Вычислительный кластер отделения и его развитие в свете приближающегося пуска ускорителя в ЦЕРН

5 Основные сферы деятельности отдела и его состав Разработка эффективных информационно-вычислительных архитектур для использования в физике высоких энергий Разработка эффективных информационно-вычислительных архитектур для использования в физике высоких энергий Поддержка разработанных и реализованных вычислительных систем ОФВЭ и института Поддержка разработанных и реализованных вычислительных систем ОФВЭ и института Локальная сеть ОФВЭ на 7 и 2 корпусах (три узла на 7 корпусе и 6 узлов на 2 корпусе). Локальная сеть ОФВЭ на 7 и 2 корпусах (три узла на 7 корпусе и 6 узлов на 2 корпусе). Вычислительный кластер Отделения (pcfarm.pnpi.spb.ru). Вычислительный кластер Отделения (pcfarm.pnpi.spb.ru). Mail сервер института и главный DNS сервер института (mail.pnpi.spb.ru). Mail сервер института и главный DNS сервер института (mail.pnpi.spb.ru). WWW, FTP сервер Отделения, дополнительный DNS сервер института и списки рассылки Отделения и института (dbserv.pnpi.spb.ru). WWW, FTP сервер Отделения, дополнительный DNS сервер института и списки рассылки Отделения и института (dbserv.pnpi.spb.ru). Коммутатор локальной сети института на 7 корпусе, обеспечивающий интеграцию сетей института на скорости 100 Мбит/сек Коммутатор локальной сети института на 7 корпусе, обеспечивающий интеграцию сетей института на скорости 100 Мбит/сек Прокси сервер Отделения и центральных подразделений института для работы с Интернет по наземному каналу 100Mbit (proxyter.pnpi.spb.ru). Прокси сервер Отделения и центральных подразделений института для работы с Интернет по наземному каналу 100Mbit (proxyter.pnpi.spb.ru). Сервер доступа в локальную сеть по телефонным линиям (Отделение и институт). Сервер доступа в локальную сеть по телефонным линиям (Отделение и институт). Сетевые принтеры Отделения. Сетевые принтеры Отделения. В отделе 5 человек. В отделе 5 человек.

6 Локальная сеть ОФВЭ на 7 и 2 корпусах Общее число компьютеров в Ethernet в Отделении увеличилось с 324 до 350. Общее число компьютеров в Ethernet в Отделении увеличилось с 324 до 350. В будущем (2006/2007) с ростом сетевых потоков Отделения потребуется установка гигабитного коммутатора в аппаратной корпуса 7. В будущем (2006/2007) с ростом сетевых потоков Отделения потребуется установка гигабитного коммутатора в аппаратной корпуса 7.

7 Центр локальной сети института в аппаратной 7 корпуса Локальная сеть института на 7 корпусе строится на базе 4-х слотного коммутатора 3Com CoreBuilder 3500, который обеспечивает интеграцию сетей института на скорости 100 Мбит/с. Его используют ранее подключенные локальные сети (кроме ОФВЭ) Локальная сеть института на 7 корпусе строится на базе 4-х слотного коммутатора 3Com CoreBuilder 3500, который обеспечивает интеграцию сетей института на скорости 100 Мбит/с. Его используют ранее подключенные локальные сети (кроме ОФВЭ) ОНИ (7, 1, 85 корпуса); ОНИ (7, 1, 85 корпуса); ОТФ (85 корпус); ОТФ (85 корпус); ОМРБ (50 корпус); ОМРБ (50 корпус); конструкторский отдел ПИЯФ. конструкторский отдел ПИЯФ. Коммутаторы данного класса позволяют отделениям и центральным подразделениям использовать несколько подсетей, количество которых на текущий момент составляет 24. Коммутаторы данного класса позволяют отделениям и центральным подразделениям использовать несколько подсетей, количество которых на текущий момент составляет 24.

8 Электронная почта Института На сервере зарегистрировано примерно 600 пользователей (сотрудники ОФВЭ, ОНИ и центральных подразделений института). На сервере зарегистрировано примерно 600 пользователей (сотрудники ОФВЭ, ОНИ и центральных подразделений института). С краткой информацией по работе с почтой на этом сервере можно ознакомиться на странице С краткой информацией по работе с почтой на этом сервере можно ознакомиться на странице В конце ноября 2005 года мы встретились с серьёзными проблемами на мейл-сервере. Потребовалось масса усилий по определению источника проблем, срочной замене машины (взяли временно из кластера ОФВЭ). Центральная дирекция ищет финансовые средства, чтобы компенсировать машину в кластере ОФВЭ. В конце ноября 2005 года мы встретились с серьёзными проблемами на мейл-сервере. Потребовалось масса усилий по определению источника проблем, срочной замене машины (взяли временно из кластера ОФВЭ). Центральная дирекция ищет финансовые средства, чтобы компенсировать машину в кластере ОФВЭ. Адреса электронной почты зарегистрированных сотрудников института упорядоченных по алфавиту можно найти на странице Адреса электронной почты зарегистрированных сотрудников института упорядоченных по алфавиту можно найти на странице

9 Безопасность почтовых сообщений Антивирусная защита на сервере организована с использованием Dr.Web для sendmail. Продление лицензии выполняется четвёртый год. Переговоры с центральной дирекцией по поводу оплаты идут как правило не быстро. Антивирусная защита на сервере организована с использованием Dr.Web для sendmail. Продление лицензии выполняется четвёртый год. Переговоры с центральной дирекцией по поводу оплаты идут как правило не быстро. Работать без антивирусной защиты почты невозможно, т.к. в сутки на сервер приходит от 100 до 1000 мейлов с вирусами. Работать без антивирусной защиты почты невозможно, т.к. в сутки на сервер приходит от 100 до 1000 мейлов с вирусами. Видимо потребуется лицензия на анти-СПАМ. Видимо потребуется лицензия на анти-СПАМ.

10 Вычислительный кластер Отделения (pcfarm.pnpi.spb.ru) Кластер состоит из главного и периферийных компьютеров, на которых запускаются задания с использованием системы пакетной обработки SGE. Кластер состоит из главного и периферийных компьютеров, на которых запускаются задания с использованием системы пакетной обработки SGE. Файл-сервер (центральный компьютер) организован на базе системного блока Intel Xeon 2.4 GHz (533 MHz/HT), оперативной памятью 2 ГБайта. Связь периферийных компьютеров с главным осуществляется через коммутатор Ethernet 1 Гбит. Файл-сервер (центральный компьютер) организован на базе системного блока Intel Xeon 2.4 GHz (533 MHz/HT), оперативной памятью 2 ГБайта. Связь периферийных компьютеров с главным осуществляется через коммутатор Ethernet 1 Гбит. Общая дисковая память составляет около 1 TB SCSI диски и около 3 TB диски SATA. Итого 4 ТБ. Общая дисковая память составляет около 1 TB SCSI диски и около 3 TB диски SATA. Итого 4 ТБ. Для потребителей доступны несколько видов временной дисковой памяти (временная на конкретном узле /tmp/…, временная общая для всех узлов /scratch/…) Для потребителей доступны несколько видов временной дисковой памяти (временная на конкретном узле /tmp/…, временная общая для всех узлов /scratch/…)

11 Вычислительный кластер Отделения (продолжение) В настоящее время на кластере зарегистрировано около 140 пользователей (около 70 логируются каждую неделю). В настоящее время на кластере зарегистрировано около 140 пользователей (около 70 логируются каждую неделю). Все компьютеры кластера работают под управлением операционной системы SL Среди установленных системных компонентов можно отметить AFS, Globus (базовая система в Grid), SUN Gridware Engine (SGE), CERNlib. Развёрнуто программное обеспечение UI для запуска заданий в Grid. Все компьютеры кластера работают под управлением операционной системы SL Среди установленных системных компонентов можно отметить AFS, Globus (базовая система в Grid), SUN Gridware Engine (SGE), CERNlib. Развёрнуто программное обеспечение UI для запуска заданий в Grid. Связь с внешним миром осуществляется по наземному каналу 100 Mbit. Связь с внешним миром осуществляется по наземному каналу 100 Mbit.

12 Disk array Gbit switch UPS KVM Disk arrays DTL8000 HEPD PNPI

13 Использование вычислительного кластера пакетными заданиями в 2005 году Статистика с 1 января 2005 года по 16 декабря 2005 года (в часах CPU) 1. ismirnovИгорь Смирнов rmmМихаил Рыжинский agrebАнастасия Гребенюк velichkoИгорь Величко fominАлексей Фомин obrantГеннадий Обрант arnisАрнис Кулбардис kozlenkoНиколай Козленко radkovА.К.Радков dairД.Е.Боядилов tverskoyМ.Г.Тверской lhcbprodLHCB saranВ.В.Саранцев komarovЕ.Н.Комаров 10

14 Новые компьютеры в кластере Всего в 2005 поступило 4 компьютера. Из них Всего в 2005 поступило 4 компьютера. Из них один ушёл на замену вышедшего из строя www- сервера ОФВЭ один ушёл на замену вышедшего из строя www- сервера ОФВЭ один - на замену вышедшего из строя мейл- сервера ПИЯФ один - на замену вышедшего из строя мейл- сервера ПИЯФ один - работает в кластере. один - работает в кластере. один - на тестировании. один - на тестировании. Один из старых компьютеров в ремонтеОдин из старых компьютеров в ремонте Итого 10 машин сейчас работает в кластере. Ожидается, что ещё три машины из вышеупомянутых вернутся в кластер в ближайшее время (т.е. станет 13). Итого 10 машин сейчас работает в кластере. Ожидается, что ещё три машины из вышеупомянутых вернутся в кластер в ближайшее время (т.е. станет 13).

15 Рекомендации по ближайшим мероприятим на кластере Кластер отделения следует зарегистрировать как отдельный ресурс в Grid. Кластер отделения следует зарегистрировать как отдельный ресурс в Grid. Следует планировать 1 Gbit на АТС ПИЯФ Следует планировать 1 Gbit на АТС ПИЯФ Предполагается, что в ближайшее время (вместе с освоением методов работы с данными LHC) Отделение будет нуждаться в дисковой памяти (примерно 20 TB в 2007 году - примерно $30K). Предполагается, что в ближайшее время (вместе с освоением методов работы с данными LHC) Отделение будет нуждаться в дисковой памяти (примерно 20 TB в 2007 году - примерно $30K). Более важен вопрос об эффективности архитектуры, чем о числе машин (следует обновлять около 1/3 машин кластера каждый год, увеличивая при этом дисковое пространство). Более важен вопрос об эффективности архитектуры, чем о числе машин (следует обновлять около 1/3 машин кластера каждый год, увеличивая при этом дисковое пространство). Так же остро будет стоять вопрос о резервных копиях для программ и данных: имеются варианты. Например, немедленное - купить магнитофон. Так же остро будет стоять вопрос о резервных копиях для программ и данных: имеются варианты. Например, немедленное - купить магнитофон.

16 Следует подумать ПИЯФ (или Российский) надёжный файл каталог для экспериментальных и/или симулированных файлов. (Потеря только каталога файлов – это катастрофа). ПИЯФ (или Российский) надёжный файл каталог для экспериментальных и/или симулированных файлов. (Потеря только каталога файлов – это катастрофа). Реплики каталогов и/или баз данных из ЦЕРН в ПИЯФ (калибровочные данные, геометрия, прочее). Реплики каталогов и/или баз данных из ЦЕРН в ПИЯФ (калибровочные данные, геометрия, прочее).

17 Заключение Я полагаю, что отдел работает исключительно эффективно ( мне неизвестно с кем сравнить, например, по параметру price/performance ). Хотелось бы несколько увеличить это соотношение. Я полагаю, что отдел работает исключительно эффективно ( мне неизвестно с кем сравнить, например, по параметру price/performance ). Хотелось бы несколько увеличить это соотношение.

18 Дополнительные слайды

19 Список компьютеров подключенных к сети в 2005 году 1. iris-guest эксп.зал ИРИС Мороз Ф.В. 2. iris-guest эксп.зал ИРИС Мороз Ф.В. 3. iris-guest эксп.зал ИРИС Мороз Ф.В. 4. notesci К 241к Гордеев В.А. 5. pc2m мед.прист.2К Карлин Д.Л. 6. noteschool К 125к Гордеев В.А. 7. noteelk К 223Ак Елкин Ю.В. 8. eppl К 242к Щегельский В.А. 9. cata К 224к Андроненко Л.Н. 10. solyakin К 429к Солякин Г.Е. 11. eng К 203к Гусельников В.С. 12. mpl К 218к Козленко Н.Г. 13. mpl К 218к Козленко Н.Г. 14. chupacabara К изм.зал Миклухо О.В. 15. mpl К 306к Бекренев В.С. 16. hall К мал.зал Ким В.Т. 17. red К 206к Скнарь В.А. 18. mpcml К 308к Шевель Л.Ф. 19. mpcml К 308к Шевель Л.Ф. 20. eng ИРИС эксп.зал Гусев Ю.И. 21. eng ИРИС 207к Попов А.В. 22. eppl К 127к Величко Г.Н.(*) 23. muon К 125к Комаров Е.Н.(*) 24. epiornis К 217к Миклухо О.В.(*) 25. mermaid К 315к Манаенков С.И.(*) 26. atlas К 121к Малеев В.П. * замена Xterminals

20 Антивирусная политика Период опроса новых вирусных записей в базе данных Dr.Web установлен в 15 минут. Если появились новые записи, то производится пересылка на мейл-сервер. Период опроса новых вирусных записей в базе данных Dr.Web установлен в 15 минут. Если появились новые записи, то производится пересылка на мейл-сервер. Информация о заражённом мейле поступает только администратору. Информация о заражённом мейле поступает только администратору. При каждом скачивании новых вирусных записей осуществляется сканирование всех входных ящиков пользователей. Если обнаружены мэйлы с вирусом, то автоматически запускается скрипт на удаление заражённых мейлов. При каждом скачивании новых вирусных записей осуществляется сканирование всех входных ящиков пользователей. Если обнаружены мэйлы с вирусом, то автоматически запускается скрипт на удаление заражённых мейлов.