1 Сессия Ученого совета ОФВЭ 25-27 декабря 2006 года Деятельность отдела вычислительных систем (ОВС) в 2006 году и в ближайшем будущем А. Н. Лодкин, А. - презентация

1 1 Сессия Ученого совета ОФВЭ декабря 2006 года Деятельность отдела вычислительных систем (ОВС) в 2006 году и в ближайшем будущем А. Н. Лодкин, А. Е. Шевель 26 декабря 2006 года

2 2 Сферы деятельности отдела и его состав Разработка эффективных вычислительных архитектур для использования в физике высоких энергий. Разработка эффективных вычислительных архитектур для использования в физике высоких энергий. Поддержка и развитие реализованных вычислительных систем ОФВЭ и института: Поддержка и развитие реализованных вычислительных систем ОФВЭ и института: Сети ОФВЭ и института на 7, 2, 8 корпусах, КО и ЦЭТО. Сети ОФВЭ и института на 7, 2, 8 корпусах, КО и ЦЭТО. Коммутатор сетей института на 7 корпусе (100 Мбит/сек). Коммутатор сетей института на 7 корпусе (100 Мбит/сек). mail.pnpi.spb.ru, м ail сервер института и главный DNS сервер pnpi.spb.ru. mail.pnpi.spb.ru, м ail сервер института и главный DNS сервер pnpi.spb.ru. hepd.pnpi.spb.ru, WWW, FTP сервер ОФВЭ, дополнительный DNS сервер pnpi.spb.ru. hepd.pnpi.spb.ru, WWW, FTP сервер ОФВЭ, дополнительный DNS сервер pnpi.spb.ru. proxyter.pnpi.spb.ru, прокси сервер ОФВЭ для работы с Интернет (100 Мбит/сек). proxyter.pnpi.spb.ru, прокси сервер ОФВЭ для работы с Интернет (100 Мбит/сек). pcfarm.pnpi.spb.ru, вычислительный кластер ОФВЭ. pcfarm.pnpi.spb.ru, вычислительный кластер ОФВЭ. Сервер доступа в локальную сеть института по модемным линиям из Гатчины и подразделений в корпусах института, не подключенных по оптоволокну. Сервер доступа в локальную сеть института по модемным линиям из Гатчины и подразделений в корпусах института, не подключенных по оптоволокну. Сетевые принтеры HP LaserJet 4200dn и HP Color LaserJet 4500 для печати с вычислительного кластера ОФВЭ. Сетевые принтеры HP LaserJet 4200dn и HP Color LaserJet 4500 для печати с вычислительного кластера ОФВЭ. В отделе 5 человек: Шевель А.Е, Сереброва Т.С, Орешкин А.А., Леонтьев В.В., Лодкин А.Н.

3 3 Сети ОФВЭ и института на 7, 2, 8 корпусах, КО, ЦЭТО Подключение новых компьютеров к сетям. Подключение новых компьютеров к сетям. Установка новых коммутаторов на 1000 Мбит/с и коммутаторов на 100 Мбит/с. Установка новых коммутаторов на 1000 Мбит/с и коммутаторов на 100 Мбит/с. Модернизация узлов сетей. Модернизация узлов сетей. Планы на будущее. Планы на будущее.

4 4 Сети ОФВЭ и института на 7, 2, 8 корпусах, КО, ЦЭТО Список новых компьютеров, подключенных ОВС к сетям в 2006 году 1. Fbsl к.2, к.229 Труш С.И. 2. mucap к.2, к.318 Левченко М.П. 3. Mucapvac к.2, к.130 Маев Е.М. 4. Mucapphys к.2, к.302 Балин Д.В. 5. Mucapserv к.2, к.305 Фотиева Е.В. 6. Lrph ЛРФ, к.2, к.228 Найденов А.Ф. 7. nni к.7, к.340 Ткач Л.Н. 8. Atlas к.7, к.121 Наводворская И.Ю. 9. eng к.7, к.436 Новиков Ю.Н. 10. Milit отдел, к.7, к.135 Пшенный В.И. 11. Milit отдел, к.7, к.135 Алексеева Н.Ф. 12. Smipat Пат.отд.,к.7, к.247 Меньшикова С.Б. 13. Fordep Иност.отд., к.7, к.211 Никитина Н.В. 14. ptd ПТО, к.7, к.246 Иванова М.М. Общее число компьютеров в сетях увеличилось с 350 до 364.

5 5 Сети ОФВЭ и института на 7, 2, 8 корпусах, КО, ЦЭТО Установка новых коммутаторов на 1000 Мбит/с и коммутаторов на 100 Мбит/с Два коммутатора 3Com Switch 3812 с 12 портами 10/100/1000 Мбит/с Два коммутатора 3Com Switch 3812 с 12 портами 10/100/1000 Мбит/с Четыре коммутатора 3Com Switch 4200 с 24 портами 10/100 Мбит/с и 2 портами 10/100/1000 Мбит/с Четыре коммутатора 3Com Switch 4200 с 24 портами 10/100 Мбит/с и 2 портами 10/100/1000 Мбит/с

6 6 Сети ОФВЭ и института на 7, 2, 8 корпусах, КО, ЦЭТО Первый коммутатор 3Com Switch 3812 позволил подключить в аппаратной 7 корпуса: На 1000 Мбит/с mail.pnpi.spb.ru, На 1000 Мбит/с hepd.pnpi.spb.ru, На 100 Мбит/с proxyter.pnpi.spb.ru На 1000 Мбит/с pcfarm.pnpi.spb.ru, На 1000 Мбит/с узел сети в аппаратной 7 корпуса (48 портов 100 Мбит/с и на 100 Мбит/с по оптоволокну узел сети 2А корпуса (24 порта 100 Мбит/с)), На 1000 Мбит/с узел сети в комнате 236 (72 порта 100 Мбит/с, на 1000 Мбит/с узел сети 4 этажа (24 порта 100 Мбит/с и 12 портов 10 Мбит/с) и на 100 Мбит/с узел сети в дирекции на 2 этаже (12 портов 100 Мбит/с) ) оборудование заказано и нужно его запустить по текущему оптоволокну На 1000 Мбит/с аппаратную 2 корпуса по оптоволокну ( оборудование заказано и нужно его запустить по текущему оптоволокну ), на 100 Мбит/с коммутатор сетей ОФВЭ (2 корпус), ОНИ (1,7 и 85 корпуса), ОМРБ (50 корпус), ОТФ (85 корпус), КО, ЦЭТО, 8 корпус, ИК и АТС (доступ в Интернет).

7 7 Сети ОФВЭ и института на 7, 2, 8 корпусах, КО, ЦЭТО Второй коммутатор 3Com Switch 3812 позволил подключить в аппаратной 2 корпуса: На 1000 Мбит/с аппаратную 7 корпуса по оптоволокну (оборудование заказано и нужно его запустить по текущему оптоволокну), На 1000 Мбит/с аппаратную 7 корпуса по оптоволокну (оборудование заказано и нужно его запустить по текущему оптоволокну), На 100 Мбит/с узел сети в аппаратной 2 корпуса (12 портов 100 Мбит/с, 12 портов 10 Мбит/с и на 10 Мбит/с по оптоволокну узел сети корпуса 65А (4 порта 10 Мбит/с)), На 100 Мбит/с узел сети в аппаратной 2 корпуса (12 портов 100 Мбит/с, 12 портов 10 Мбит/с и на 10 Мбит/с по оптоволокну узел сети корпуса 65А (4 порта 10 Мбит/с)), На 1000 Мбит/с узел сети пристройки ОРЭ корпуса 2 (48 портов 100 Мбит/с), На 1000 Мбит/с узел сети пристройки ОРЭ корпуса 2 (48 портов 100 Мбит/с), На 1000 Мбит/с узел сети 3 этажа 2 корпуса (24 порта 100 Мбит/с и 24 порта 10 Мбит/с), На 1000 Мбит/с узел сети 3 этажа 2 корпуса (24 порта 100 Мбит/с и 24 порта 10 Мбит/с), На 100 Мбит/с узел сети измер. зала пристройки ИРИС (12 портов 10 Мбит и на 100 Мбит/с узел сети пристройки ИРИС (24 порта 100 Мбит/с и 12 портов 10 Мбит/с)) На 100 Мбит/с узел сети измер. зала пристройки ИРИС (12 портов 10 Мбит и на 100 Мбит/с узел сети пристройки ИРИС (24 порта 100 Мбит/с и 12 портов 10 Мбит/с)) На 10 Мбит/с узел сети пристройки медиков (12 портов 10 Мбит/с) На 10 Мбит/с узел сети пристройки медиков (12 портов 10 Мбит/с)

8 8 Сети ОФВЭ и института на 7, 2, 8 корпусах, КО, ЦЭТО Два коммутатора было куплены на средства института и два на средства ОФВЭ. Первый коммутатор заменил в дирекции на 2 этаже 7 корпуса концентратор на 12 портов 10 Мбит/с. Первый коммутатор заменил в дирекции на 2 этаже 7 корпуса концентратор на 12 портов 10 Мбит/с. Второй коммутатор заменил в узле сети в комнате 236 последний концентратор на 24 порта 10 Мбит/с и общее число портов 100 Мбит/с в этом узле составило 72. Второй коммутатор заменил в узле сети в комнате 236 последний концентратор на 24 порта 10 Мбит/с и общее число портов 100 Мбит/с в этом узле составило 72. Дополнительные 2 порта 1000 Мбит/с использовали для перевода связи с узлом сети на 4 этаже с 100 Мбит/с на 1000 Мбит/с и для связи коммутаторов в узле в комнате 236 на 1000 Мбит/с. На этом узле подключено 13 компьютеров института (4 в иностранном отделе, 2 в патентном отделе, 4 в дирекции на 1 этаже, 2 во 2 отделе, 1 в ПТО).

9 9 Сети ОФВЭ и института на 7, 2, 8 корпусах, КО, ЦЭТО Третий коммутатор заменил в узле 2А корпуса единственный коммутатор на 12 портов 10 Мбит/с и был подключен по оптоволокну на 100 Мбит/с к узлу в аппаратной 7 корпуса. Третий коммутатор заменил в узле 2А корпуса единственный коммутатор на 12 портов 10 Мбит/с и был подключен по оптоволокну на 100 Мбит/с к узлу в аппаратной 7 корпуса. Четвертый коммутатор заменил в узле сети в пристройке ОРЭ корпуса 2 один концентратор на 12 портов 100 Мбит/с и один концентратор на 24 порта 10 Мбит/с и теперь все 48 портов имеют 100 Мбит/с. Четвертый коммутатор заменил в узле сети в пристройке ОРЭ корпуса 2 один концентратор на 12 портов 100 Мбит/с и один концентратор на 24 порта 10 Мбит/с и теперь все 48 портов имеют 100 Мбит/с. Порты 1000 Мбит/с используются для связи двух коммутаторов между собой и для связи с узлом сети в аппаратной 2 корпуса.

10 10 Сети ОФВЭ и института на 7, 2, 8 корпусах, КО, ЦЭТО Модернизация узлов сети ОВС модернизированы уже три узла сети путем применения польских стоек для крейтов Камак. Начали использование этих стоек при создании узла сети в измерительном зале пристройки ИРИС и размещали в стойке коммутаторы и коммутационные панели на 24 порта. Начали использование этих стоек при создании узла сети в измерительном зале пристройки ИРИС и размещали в стойке коммутаторы и коммутационные панели на 24 порта. Затем применили подобную стойку в узле сети пристройки ОРЭ корпуса 2 и установили в стойке уже два коммутатора с 24 портами 10/100 Мбит/с и разместили пока только одну коммутационную панель на 24 порта. Установленные ранее настенные коммутационные панели на 12 портов по- прежнему используются. Затем применили подобную стойку в узле сети пристройки ОРЭ корпуса 2 и установили в стойке уже два коммутатора с 24 портами 10/100 Мбит/с и разместили пока только одну коммутационную панель на 24 порта. Установленные ранее настенные коммутационные панели на 12 портов по- прежнему используются. В 2006 году установили третью стойку и модернизировали узел сети в комнате 236 корпуса 7. Сейчас в ней установлено три коммутатора 10/100 Мбит/с и разместили одну коммутационную панель на 24 порта. В 2006 году установили третью стойку и модернизировали узел сети в комнате 236 корпуса 7. Сейчас в ней установлено три коммутатора 10/100 Мбит/с и разместили одну коммутационную панель на 24 порта.

11 11 Сети ОФВЭ и института на 7, 2, 8 корпусах, КО, ЦЭТО Планы на будущее 1. Требуется продолжить замену концентраторов 10 Мбит/с на коммутаторы 100 Мбит/с в следующих узлах сети: Пристройка ИРИС Пристройка ИРИС Измерительный зал ИРИС Измерительный зал ИРИС 3 этаж 2 корпуса 3 этаж 2 корпуса Аппаратная 2 корпуса Аппаратная 2 корпуса 2. Требуется начать освоение радиодоступа для компьютеров и купить несколько подобных блоков для 7 корпуса, а также один лаптоп для ОВС.

12 12 Коммутатор сетей института на 100 Мбит/с на 7 корпусе В текущем году в качестве коммутатора сетей института на 100 Мбит/с на 7 корпусе продолжает использоваться 4-х слотный коммутатор 3Com CoreBuilder 3500, который обеспечивает интеграцию сетей ОФВЭ (2, 7 корпуса), ОНИ (1,7 и 85 корпуса), ОМРБ (50 корпус), ОТФ (85 корпус), КО, ЦЭТО, 8 корпус, ИК и АТС (доступ в Интернет на 100 Мбит/с). Коммутаторы данного класса позволяют сетям института использовать несколько подсетей, количество которых на текущий момент составляет 28. 3Com CoreBuilder 3500 запущен в работу в 1998 году. Наступает время покупки нового подобного коммутатора, чтобы иметь возможность подключать перечисленными выше сети института на 1000 Мбит/с.

13 13 mail.pnpi.spb.ru, м ail сервер института и главный DNS сервер pnpi.spb.ru На текущий момент на сервере зарегистрировано примерно 600 пользователей (сотрудники ОФВЭ, ОНИ и института).Адреса электронной почты зарегистрированных сотрудников института, упорядоченных по алфавиту фамилий, можно найти на WWW сервере института который размещен на ИК в ЛИВС ОИТА зав.лаб. Ю.Ф. Рябов. На текущий момент на сервере зарегистрировано примерно 600 пользователей (сотрудники ОФВЭ, ОНИ и института). Адреса электронной почты зарегистрированных сотрудников института, упорядоченных по алфавиту фамилий, можно найти на WWW сервере института который размещен на ИК в ЛИВС ОИТА зав.лаб. Ю.Ф. Рябов. С начала 2006 года работа сервера выполняется на системном блоке персонального компьютера, который имеет процессор Intel Pentium 4/800/НТ, 3400 МГц, чипсет i925XE и память 2 Гбайт. Работа сервера выполняется под операционной системой SL 4.1. и подключена к локальной сети на 1000 Мбит/с.

14 14 mail.pnpi.spb.ru, м ail сервер института и главный DNS сервер pnpi.spb.ru Антивирусная защита на сервере организована с использованием программы «Dr.Web» для sendmail. Данная программа нас устраивает и последнее время по мэйлам массовых заражений компьютеров не было. Данная программа дополнительно позволяет определить компьютеры из сети института, которые посылают мэйлы с вирусами. Продление лицензии выполняется четвертый год. Защита от спама на нашем сервере стоит с начала февраля 2006 года и это программа «СпамОборона» версия 1.5 (производитель – Яндекс, распространитель – ДиалогНаука). На текущий момент стоит «СпамОборона» версии 1.6

15 15 mail.pnpi.spb.ru, м ail сервер института и главный DNS сервер pnpi.spb.ru Статистика «Спамобороны» с 1декабря по 25 декабря 2006 года Общее число поступивших мэйлов составляет Из них спам мэйла, т.е % Полезных мэйла, т.е %

16 16 pcfarm.pnpi.spb.ru, вычислительный кластер ОФВЭ Кластер состоит из одного главного компьютера и одиннадцати периферийных компьютеров. Все компьютеры в кластере Intel P-4. Связь периферийных компьютеров с центральным осуществляется на скорости 1000 Мбит/с с использованием коммутаторов 3Com 12 port Switch 3812, 3Com Baseline 8 port Switch. Центральный компьютер подключается к сети ОФВЭ на скорости 1000 Мбит/с. Суммарная частота процессоров всех 12 компьютеров кластера составляет 3.000* * * *4 = ГГц 3.000* * * *4 = ГГц

17 17 pcfarm.pnpi.spb.ru, вычислительный кластер ОФВЭ С августа 2003 года в качестве центрального компьютера используется системный блок Fujitsu-Siemens Celsius R610 Workstation с двумя процессорами Intel Xeon 2,40 GHz (533 MHz/HT), оперативной памятью 2 Гбайта. Центральный компьютер имеет встроенный двухканальный контроллер SCSI 320 Mbyte/s. Дополнительно еще имеются один контроллер SCSI 160 Mbyte/s и один контроллер SCSI 80 Mbyte/s. Дисковая память на центральном компьютере имеет общий объем 1 Тбайт. Также еще имеется магнитофон DLT8000, который запущен в 2000 году и постоянно используется для системы копирования серверов pcfarm.pnpi.spb.ru, mail.pnpi.spb.ru, hepd.pnpi.spb.ru. В начале 2005 года запущена в работу первая дисковая RAID система на 3 Тбайта, 15 дисков SATA IDE 200 Гбайт, на базе 19 3U Promise Vtrak Эта RAID система подключается к центральному компьютеру по SCSI 160 Mbyte/s.

18 18 pcfarm.pnpi.spb.ru, вычислительный кластер ОФВЭ В настоящее время на кластере зарегистрировано 149 пользователей. В настоящее время на кластере зарегистрировано 149 пользователей. Все компьютеры кластера работают под управлением операционной системы Scientific Linux Среди установленных системных компонентов можно отметить AFS, Globus (базовая система в Grid), SUN Gridware Engine (SGE). Все компьютеры кластера работают под управлением операционной системы Scientific Linux Среди установленных системных компонентов можно отметить AFS, Globus (базовая система в Grid), SUN Gridware Engine (SGE). Имеются следующие компоненты прикладного обеспечения: Имеются следующие компоненты прикладного обеспечения: CERNLIB-2005, gcc 3.2.3, система ROOT-4.02, другие пакеты. Работа с Интернет осуществляется на скорости 100 Мбит/с. Работа с Интернет осуществляется на скорости 100 Мбит/с.

19 19 pcfarm.pnpi.spb.ru, вычислительный кластер ОФВЭ

20 20 pcfarm.pnpi.spb.ru вычислительный кластер ОФВЭ Использование кластера пакетными заданиями (SGE) с 1 января 2006 года по 25 декабря 2006 года (в часах CPU) 1. Fomin А.Фомин VeaЕ.Взнуздаев RiabovygЮ.Рябов ObrantГ.Обрант KozlenkoН.Козленко RadkovА.Радков ShermanС.Шерман DairД.Боядилов TverskoyМ.Тверской AgrebА.Гребенюк ArnisА.Кулбардис Общее количество часов Общее количество заданий 67511

21 21 pcfarm.pnpi.spb.ru, вычислительный кластер ОФВЭ К то логировался на кластер и сколько часов был логирован с 1 сентября 2006 года по 1 декабря 2006 года 1. RiabovvgВ.Рябов RiabovygЮ.Рябов TatianasТ.Сереброва DobrovА.Добровольский OreshkinА.Орешкин BaublisВ.Баублис ObrantГ.Обрант ArnisА.Кулбардис MiklukhoО.Миклухо VeaЕ.Взнуздаев IvanishchevД.Иванишчев ZaliteЮ.Залите ShermanС.Шерман OrischinЕ.Орищин VoropaevН.Воропаев KomkovБ.Комков VelichkoГ.Величко SaranВ.Саранцев LepekhinФ.Лепехин SmanС.Манаенков BekrenevВ.Бекренев KoptevВ.Коптев 73

22 22 pcfarm.pnpi.spb.ru, вычислительный кластер ОФВЭ Предложение по развитию кластера в 2007 году Шесть однопроцессорных системных блока с 2 Гбайт оперативной памяти по 1000 долларов. Шесть однопроцессорных системных блока с 2 Гбайт оперативной памяти по 1000 долларов. Кондиционер и одна стойка 19 для размещения оборудования 2000 долларов. Кондиционер и одна стойка 19 для размещения оборудования 2000 долларов. Дисковую RAID систему на 6 Тбайт за 5000 долларов. Дисковую RAID систему на 6 Тбайт за 5000 долларов. Итого: =13000 долларов

23 23 Публикации сотрудников ОВС в 2006 году Andrey Shevel Presentation on Alice DAQ Meeting (please see 10 October 2006) "Benchmarking the LDCs for Point 2 (Supermicro X6 and X7)" Andrey Shevel Presentation on Alice DAQ Meeting (please see 10 October 2006) "Benchmarking the LDCs for Point 2 (Supermicro X6 and X7)" Andrey Shevel, Roy Lacey Poster presentation on Computing in High Energy and Nuclear Physics February 2006, T.I.F.R. Mumbai, India Midrange computing cluster architectures for data analysis in High Energy Physics Andrey Shevel, Roy Lacey Poster presentation on Computing in High Energy and Nuclear Physics February 2006, T.I.F.R. Mumbai, India Midrange computing cluster architectures for data analysis in High Energy Physics А.Н.Лодкин, А.А.Орешкин, Т.С.Сереброва, А.Е.Шевель А.Н.Лодкин, А.А.Орешкин, Т.С.Сереброва, А.Е.Шевель Основные результаты научных исследований ПИЯФ, годы «Сервер электронной почты института», стр.247 А.Н.Лодкин, А.А.Орешкин, Т.С.Сереброва, А.Е.Шевель А.Н.Лодкин, А.А.Орешкин, Т.С.Сереброва, А.Е.Шевель Основные результаты научных исследований ПИЯФ, годы «Коммуникационный центр локальной сети института», стр.246