26 Dec 2007Andrey.Shevel@pnpi.spb.ru Сессия Ученого совета ОФВЭ 26 декабря 2007 года Деятельность отдела вычислительных систем (ОВС) в 2007 году и в ближайшем. - презентация

1 26 Dec Сессия Ученого совета ОФВЭ 26 декабря 2007 года Деятельность отдела вычислительных систем (ОВС) в 2007 году и в ближайшем будущем А. Е. Шевель

2 План презентации Исторические даты компьютеризации Отделения Исторические даты компьютеризации Отделения Сферы деятельности ОВС Сферы деятельности ОВС Локальная сеть Отделения Локальная сеть Отделения Электронная почта ПИЯФ Электронная почта ПИЯФ Компьютерный кластер Отделения Компьютерный кластер Отделения Разное Разное

3 Исторические даты компьютеризации Отделения В текущем году исполняется 15 лет первым подключениям в Отделении (и скорее всего в Институте) в стандарте Ethernet (тонкий круглый коаксиальный кабель, разъём BNC). Так начиналась локальная сеть ПИЯФ. В текущем году исполняется 15 лет первым подключениям в Отделении (и скорее всего в Институте) в стандарте Ethernet (тонкий круглый коаксиальный кабель, разъём BNC). Так начиналась локальная сеть ПИЯФ. В текущем году исполняется 10 лет начала проекта BCFpc (см. описание на страницах список публикаций на эту тему см. на странице ). Так начинались вычислительные кластеры России типа Beowulf для пакетной обработки. В текущем году исполняется 10 лет начала проекта BCFpc (см. описание на страницах список публикаций на эту тему см. на странице ). Так начинались вычислительные кластеры России типа Beowulf для пакетной обработки.

4 Основные сферы деятельности отдела и его состав Разработка эффективных информационно-вычислительных архитектур для использования в физике высоких энергий Разработка эффективных информационно-вычислительных архитектур для использования в физике высоких энергий Поддержка разработанных и реализованных вычислительных систем ОФВЭ и института Поддержка разработанных и реализованных вычислительных систем ОФВЭ и института Локальная сеть ОФВЭ на 7 и 2 корпусах (три узла на 7 корпусе и 6 узлов на 2 корпусе). Локальная сеть ОФВЭ на 7 и 2 корпусах (три узла на 7 корпусе и 6 узлов на 2 корпусе). Вычислительный кластер Отделения (pcfarm.pnpi.spb.ru). Вычислительный кластер Отделения (pcfarm.pnpi.spb.ru). Mail сервер института и главный DNS сервер института (mail.pnpi.spb.ru). Mail сервер института и главный DNS сервер института (mail.pnpi.spb.ru). WWW, FTP сервер Отделения, дополнительный DNS сервер института и списки рассылки Отделения и института (dbserv.pnpi.spb.ru). WWW, FTP сервер Отделения, дополнительный DNS сервер института и списки рассылки Отделения и института (dbserv.pnpi.spb.ru). Коммутатор локальной сети института на 7 корпусе, обеспечивающий интеграцию сетей института на скорости 100 Мбит/сек Коммутатор локальной сети института на 7 корпусе, обеспечивающий интеграцию сетей института на скорости 100 Мбит/сек Прокси сервер Отделения и центральных подразделений института для работы с Интернет по наземному каналу 100Mbit (proxyter.pnpi.spb.ru). Прокси сервер Отделения и центральных подразделений института для работы с Интернет по наземному каналу 100Mbit (proxyter.pnpi.spb.ru). Сетевые принтеры Отделения. Сетевые принтеры Отделения. В отделе 5 человек. В отделе 5 человек.

5 Локальная сеть ОФВЭ на 7 и 2 корпусах Общее число компьютеров в Ethernet в Отделении увеличилось до 374. Общее число компьютеров в Ethernet в Отделении увеличилось до 374. В будущем (2008) с ростом сетевых потоков Отделения потребуется установка гигабитного коммутатора в аппаратной корпуса 7 (мы это повторяем начиная с 2004 года). Существующий коммутатор находится в эксплуатации с 1998 года. В будущем (2008) с ростом сетевых потоков Отделения потребуется установка гигабитного коммутатора в аппаратной корпуса 7 (мы это повторяем начиная с 2004 года). Существующий коммутатор находится в эксплуатации с 1998 года.

6 Центр локальной сети института в аппаратной 7 корпуса Локальная сеть института на 7 корпусе строится на базе 4-х слотного коммутатора 3Com CoreBuilder 3500, который обеспечивает интеграцию сетей института на скорости 100 Мбит/с. Локальная сеть института на 7 корпусе строится на базе 4-х слотного коммутатора 3Com CoreBuilder 3500, который обеспечивает интеграцию сетей института на скорости 100 Мбит/с. ОФВЭ ОФВЭ ОНИ (7, 1, 85 корпуса); ОНИ (7, 1, 85 корпуса); ОТФ (85 корпус); ОТФ (85 корпус); ОМРБ (50 корпус); ОМРБ (50 корпус); конструкторский отдел ПИЯФ. конструкторский отдел ПИЯФ. Этот коммутатор необходимо обновить. Этот коммутатор необходимо обновить.

7 Электронная почта Института На сервере зарегистрировано примерно 600 пользователей (сотрудники ОФВЭ, ОНИ и центральных подразделений института). На сервере зарегистрировано примерно 600 пользователей (сотрудники ОФВЭ, ОНИ и центральных подразделений института). С краткой информацией по работе с почтой на этом сервере можно ознакомиться на странице С краткой информацией по работе с почтой на этом сервере можно ознакомиться на странице Мероприятия по повышению надёжности Мероприятия по повышению надёжности В конце ноября 2007 года дисковая память мейл-сервера института переведена на режим «зеркалирования» (RAID-1). В конце ноября 2007 года дисковая память мейл-сервера института переведена на режим «зеркалирования» (RAID-1). Был приобретен и установлен блок бесперебойного питания для мейл-сервера. Был приобретен и установлен блок бесперебойного питания для мейл-сервера. Адреса электронной почты зарегистрированных сотрудников института упорядоченных по алфавиту можно найти на странице Адреса электронной почты зарегистрированных сотрудников института упорядоченных по алфавиту можно найти на странице

8 Безопасность почтовых сообщений Антивирусная защита на сервере организована с использованием Dr.Web для sendmail. Продление лицензии выполняется четвёртый год. Антивирусная защита на сервере организована с использованием Dr.Web для sendmail. Продление лицензии выполняется четвёртый год. Работать без антивирусной защиты почты невозможно, т.к. в сутки на сервер приходит от 100 до 1000 мейлов с вирусами. Работать без антивирусной защиты почты невозможно, т.к. в сутки на сервер приходит от 100 до 1000 мейлов с вирусами. Второй год мы работаем с системой анти- СПАМ. В настоящее время 97% входящего мейловского трафика это СПАМ. Второй год мы работаем с системой анти- СПАМ. В настоящее время 97% входящего мейловского трафика это СПАМ.

9 Вычислительный кластер Отделения (pcfarm.pnpi.spb.ru) Кластер состоит из главного и периферийных компьютеров, на которых запускаются задания с использованием системы пакетной обработки SGE. Кластер состоит из главного и периферийных компьютеров, на которых запускаются задания с использованием системы пакетной обработки SGE. Файл-сервер (центральный компьютер) организован на базе системного блока Intel Xeon 2.4 GHz (533 MHz/HT), оперативной памятью 2 ГБайта. Связь периферийных компьютеров с главным осуществляется через коммутатор Ethernet 1 Гбит. Файл-сервер (центральный компьютер) организован на базе системного блока Intel Xeon 2.4 GHz (533 MHz/HT), оперативной памятью 2 ГБайта. Связь периферийных компьютеров с главным осуществляется через коммутатор Ethernet 1 Гбит. Общая дисковая память составляет около 1 TB SCSI диски и около 3 TB диски SATA. Итого 4 ТБ. Общая дисковая память составляет около 1 TB SCSI диски и около 3 TB диски SATA. Итого 4 ТБ.

10 Вычислительный кластер Отделения (продолжение) В настоящее время на кластере зарегистрировано около 180 пользователей (около 50 логируются в течение месяца много раз, 20 – каждый день). В настоящее время на кластере зарегистрировано около 180 пользователей (около 50 логируются в течение месяца много раз, 20 – каждый день). Все компьютеры кластера работают под управлением операционной системы SL 4.4. Среди установленных системных компонентов можно отметить AFS, SUN Gridware Engine (SGE), CERNlib, etc. Все компьютеры кластера работают под управлением операционной системы SL 4.4. Среди установленных системных компонентов можно отметить AFS, SUN Gridware Engine (SGE), CERNlib, etc. Связь с внешним миром осуществляется по наземному каналу примерно 80 Mbit. Связь с внешним миром осуществляется по наземному каналу примерно 80 Mbit.

11 Disk array Gbit switch UPS KVM Disk arrays DTL8000 Cluster HEPD PNPI SDTL

12 Использование вычислительного кластера пакетными заданиями в 2007 году Статистика с года по года (в часах CPU) 1.fomin sherman riabovyg vao dair saran obrant arnis tverskoy voropaev komkov kozlenko заданий

13 Компьютеры в кластере Всего в 2007 году поступило 2 компьютера (последний заказ в исполнении). Всего в 2007 году поступило 2 компьютера (последний заказ в исполнении). Эти машины приобретаются в замен ранее взятых из кластера на замену вышедших из строя Вэб сервера Отделения и пркси-сервера Отделения. Эти машины приобретаются в замен ранее взятых из кластера на замену вышедших из строя Вэб сервера Отделения и пркси-сервера Отделения. В настоящее время в кластере работает 12 машин. В настоящее время в кластере работает 12 машин. Кондиционер необходим ASAP. Кондиционер необходим ASAP.

14 Рекомендации по ближайшим мероприятим на кластере Следует планировать оптический канал 1 Gbit на АТС ПИЯФ (в настоящее время примерно 80 Mbit). Следует планировать оптический канал 1 Gbit на АТС ПИЯФ (в настоящее время примерно 80 Mbit). Предполагается, что в ближайшее время (вместе с освоением методов работы с данными LHC) Отделение будет нуждаться в дисковой памяти (примерно 20 TB в 2008/2009 году - примерно $20K, можно добавлять квантами по $5-6K). Предполагается, что в ближайшее время (вместе с освоением методов работы с данными LHC) Отделение будет нуждаться в дисковой памяти (примерно 20 TB в 2008/2009 году - примерно $20K, можно добавлять квантами по $5-6K). Более важен вопрос об эффективности архитектуры, чем о числе машин (следует обновлять примерно 1/3 машин кластера каждый год, увеличивая при этом дисковое пространство). В нашем случае следует приобретать ежегодно 3-4 новые машины и столько же выводить из кластера. Более важен вопрос об эффективности архитектуры, чем о числе машин (следует обновлять примерно 1/3 машин кластера каждый год, увеличивая при этом дисковое пространство). В нашем случае следует приобретать ежегодно 3-4 новые машины и столько же выводить из кластера.

15 Финансирование в 2007 году В самом начале 2007 года мы представили план по модернизациям и расходным материалам на 694K рублей. В самом начале 2007 года мы представили план по модернизациям и расходным материалам на 694K рублей. В течение годы мы получили лишь 367К рублей (52%). В течение годы мы получили лишь 367К рублей (52%). Наиболее крупные приобретения Наиболее крупные приобретения Магнитофон SDLT 300GB/cartridge – K рублей Магнитофон SDLT 300GB/cartridge – K рублей Две машины в кластер (на замену использованных в прокси-сервере и Вэб сервере) – 60 К рублей Две машины в кластер (на замену использованных в прокси-сервере и Вэб сервере) – 60 К рублей

16 Заключение Я полагаю, что отдел работает исключительно эффективно ( мне неизвестно с кем сравнить, например, по параметру price/performance ). Хотелось бы увеличить это соотношение. Я полагаю, что отдел работает исключительно эффективно ( мне неизвестно с кем сравнить, например, по параметру price/performance ). Хотелось бы увеличить это соотношение.

17 Дополнительные слайды

18 Список компьютеров подключенных ОВС к сети в 2007 году 1. mpl к.2, к.306 Бекренев В.С. 2. oppr к.7, к.131 Ясюкевич В. И. 3. lmanote к.7, к.231 Иванов Ю. М. 4. lma к.7, к.126 Желамков А. В. 5. lma к.7, к.319 Желамков А. В. 6. lma к.7, к.419 Вайшнене Л. А. 7. mcf к.2, к.318 Левченко М. П. 8. mcf к.2, к.318 Маев Е. М. 9. pnpialice к.7, к.415 Поляков В. В. 10. rnpl к.7, к.414 Кришень Е. Л. 11. neutron-vme к.2, к.309 Фетисов А. А. 12. eppl к.7, к.221 Соболевская М. М. 13. eppl к.7, к.213 Ким В. Т. 14. accdep к.2а, УО, к.301 Горкин Г. И. 15. accdep к.2а, УО, к.206 Сухоруков Л. А. 16. accdep к.2, УО, к.119 Гресь В. П. 17. accdep к.2, УО, к.209 Ястребцева В. Ф. 18. pc2m к.2, медики, к.16 Герценштейн В. Я. 19. pc2m к.2, медики, к.14 Пушкарева Т. В. 20. pc2m к.2, медики, к.8 Скугарева Н. А. 21. lib к.7, науч.библ. Спиридонова И. Г. 22. fdep к.7, 1 отдел, к.314 Сильников В. В. 23. sctrl к.8, служба контр. Креслов В. В компьютеров в ОРБ

19 Антивирусная политика Период опроса новых вирусных записей в базе данных Dr.Web установлен в 15 минут. Если появились новые записи, то производится пересылка на мейл-сервер. Период опроса новых вирусных записей в базе данных Dr.Web установлен в 15 минут. Если появились новые записи, то производится пересылка на мейл-сервер. Информация о заражённом мейле поступает только администратору. Информация о заражённом мейле поступает только администратору. При каждом скачивании новых вирусных записей осуществляется сканирование всех входных ящиков пользователей. Если обнаружены мэйлы с вирусом, то автоматически запускается скрипт на удаление заражённых мейлов. При каждом скачивании новых вирусных записей осуществляется сканирование всех входных ящиков пользователей. Если обнаружены мэйлы с вирусом, то автоматически запускается скрипт на удаление заражённых мейлов. Как можно быстрее следует приобрести лицензию на антивирусную программу для прокси-сервера ПИЯФ. Как можно быстрее следует приобрести лицензию на антивирусную программу для прокси-сервера ПИЯФ.

20 Наши публикации по кластерам в 2007 году Вышли труды международной конференции «Computing in High Energy and Nuclear Physics 2006», где был мой с Roy Lacey (SUNYSB) стендовый доклад. Вышли труды международной конференции «Computing in High Energy and Nuclear Physics 2006», где был мой с Roy Lacey (SUNYSB) стендовый доклад. Вышел мой обзор весенней сессии HEPIX spring 2007 в журнале «Открытые системы» 8. Вышел мой обзор весенней сессии HEPIX spring 2007 в журнале «Открытые системы» 8.