Ученый совет ОФВЭ 24 сентября 2004 года Работа отдела вычислительных систем (ОВС) в 2004 году и планы на будущее Александр Н. Лодкин 24 сентября 2004 годаAlexander. - презентация

1 Ученый совет ОФВЭ 24 сентября 2004 года Работа отдела вычислительных систем (ОВС) в 2004 году и планы на будущее Александр Н. Лодкин 24 сентября 2004 годаAlexander

2 Сфера ответственности отдела в течении всего года Локальная сеть ОФВЭ на 7 и 2 корпусах (три узла на 7 корпусе и 6 узлов на 2 корпусе) Локальная сеть ОФВЭ на 7 и 2 корпусах (три узла на 7 корпусе и 6 узлов на 2 корпусе) Маршрутизатор локальной сети института на 7 корпусе, обеспечивающий интеграцию сетей института на скорости 100 Мбит/сек Маршрутизатор локальной сети института на 7 корпусе, обеспечивающий интеграцию сетей института на скорости 100 Мбит/сек Mail сервер института для работы с электронной почтой и главный DNS сервер института (mail.pnpi.spb.ru) Mail сервер института для работы с электронной почтой и главный DNS сервер института (mail.pnpi.spb.ru) Прокси сервер отделения и центральных подразделений института для работы с Интернет по наземному каналу 512 Кбит/сек (proxyter.pnpi.spb.ru) Прокси сервер отделения и центральных подразделений института для работы с Интернет по наземному каналу 512 Кбит/сек (proxyter.pnpi.spb.ru) Вычислительный кластер отделения, состоящий из одиннадцати системных блоков, один из которых главный (pcfarm.pnpi.spb.ru) Вычислительный кластер отделения, состоящий из одиннадцати системных блоков, один из которых главный (pcfarm.pnpi.spb.ru) WWW, FTP сервер отделения, дополнительный DNS сервер института и mail-list отделения и института (dbserv.pnpi.spb.ru) WWW, FTP сервер отделения, дополнительный DNS сервер института и mail-list отделения и института (dbserv.pnpi.spb.ru) Сетевой принтер для двухсторонней печати формата А4 для вывода на бумагу и прозрачки с вычислительного кластера pcfarm Сетевой принтер для двухсторонней печати формата А4 для вывода на бумагу и прозрачки с вычислительного кластера pcfarm Сетевой цветной принтер для односторонней печати на прозрачки Сетевой цветной принтер для односторонней печати на прозрачки Сервер доступа в локальную сеть по модемным линиям с корпусов отделения, центральных подразделений института и домашних компьютеров из Гатчины (pnpi-nb.pnpi.spb.ru) Сервер доступа в локальную сеть по модемным линиям с корпусов отделения, центральных подразделений института и домашних компьютеров из Гатчины (pnpi-nb.pnpi.spb.ru)

3 Темы доклада Развитие локальной сети отделения Развитие локальной сети отделения Развитие локальной сети института в аппаратной 7 корпуса Развитие локальной сети института в аппаратной 7 корпуса Работа с электронной почтой на mail.pnpi.spb.ru и антивирусная защита почтовых сообщений Работа с электронной почтой на mail.pnpi.spb.ru и антивирусная защита почтовых сообщений Развитие вычислительного кластера отделения pcfarm.pnpi.spb.ru Развитие вычислительного кластера отделения pcfarm.pnpi.spb.ru

4 Локальная сеть ОФВЭ на 7 и 2 корпусах В декабре 2003 года был получен еще один коммутатор Ethernet фирмы 3Com, Switch port TP 10/100 Mbit, 2 port TP 10/100/1000 Mbit, что позволило заменить на 3 этаже 2 корпуса 3Com Hub 100 TP 12 port (комната 307, Сулимов В.В.) и увеличить число 100 Мбит портов с 12 до 24 и общее число портов на этом узле составило 36. В декабре 2003 года был получен еще один коммутатор Ethernet фирмы 3Com, Switch port TP 10/100 Mbit, 2 port TP 10/100/1000 Mbit, что позволило заменить на 3 этаже 2 корпуса 3Com Hub 100 TP 12 port (комната 307, Сулимов В.В.) и увеличить число 100 Мбит портов с 12 до 24 и общее число портов на этом узле составило 36. Затем освободившийся 3Com Hub 100 TP 12 port был установлен в измерительном зале ИРИС и это позволило подключить новые компьютеры, общее число портов в пристройке ИРИС составило 36 портов. Также увеличили число портов 10 Мбит с 12 до 24 портов в узле 2 корпуса в комнате между измерительными залами и общее число портов на этом узле составило 36. Данное помещение является аппаратной 2 корпуса и на коммутатор 3Com Switch 3300 TP 12 port 10/100 Мбит сходятся линии связи на витой паре со всех узлов 2 корпуса (ИРИС, ОРЭ, 3 этаж, медики), а также по оптоволокну с корпуса 66 (производство АТЛАС), затем по оптоволокну идет связь 100Base-FX с аппаратной на 7 корпусе.

5 Локальная сеть ОФВЭ на 7 и 2 корпусах (продолжение 2) В августе 2004 года был оплачен очередной коммутатор на 24 порта 100 Мбит, но пока еще не получен. Данный коммутатор востребован отсутствием свободных портов в пристройке ОРЭ и комнате 236 корпуса 7, хотя в каждом из этих узлов уже имеется 48 и 60 портов соответственно. В августе 2004 года был оплачен очередной коммутатор на 24 порта 100 Мбит, но пока еще не получен. Данный коммутатор востребован отсутствием свободных портов в пристройке ОРЭ и комнате 236 корпуса 7, хотя в каждом из этих узлов уже имеется 48 и 60 портов соответственно. Общее число портов Ethernet в Отделении увеличилось с 300 до 324. Общее число портов Ethernet в Отделении увеличилось с 300 до 324. С некоторых пор ОВС приобретает сетевое оборудование с администрированием и таких устройств уже будет 8. Администрирование позволяет наблюдать за качеством работы линий с портами, но одно из важных свойств на наш взгляд позволяет отключать компьютер от коммутатора соответствующей командой не отключая кабель, т.е. можно это сделать удаленно от этого узла сети. Причин последнее время возникает много по которым нужно отключить данный компьютер не прекращая работы других компьютеров. Сейчас мы стараемся расположить хотя бы по одному такому коммутатору в узле. Это также позволяет перейти на 100 Мбит между узлами сети. С некоторых пор ОВС приобретает сетевое оборудование с администрированием и таких устройств уже будет 8. Администрирование позволяет наблюдать за качеством работы линий с портами, но одно из важных свойств на наш взгляд позволяет отключать компьютер от коммутатора соответствующей командой не отключая кабель, т.е. можно это сделать удаленно от этого узла сети. Причин последнее время возникает много по которым нужно отключить данный компьютер не прекращая работы других компьютеров. Сейчас мы стараемся расположить хотя бы по одному такому коммутатору в узле. Это также позволяет перейти на 100 Мбит между узлами сети.

6 Локальная сеть ОФВЭ на 7 и 2 корпусах (продолжение 3) Список новых компьютеров в локальной сети отделения Список новых компьютеров в локальной сети отделения 1.eng к.ИРИС, к.106Гусев Ю. И. 2.eng к.ИРИС, к.106Гусев Ю. И. 3.eng к.ИРИС, к.217аБатист Л. Х. 4.dvf к.ИРИС, к.214аФедоров Д. В. 5.iris к.ИРИС, к.105Железняков В. М. 6.irisluk к.ИРИС, к.217Лукашевич В. В. 7.red к.ОРЭ, к.207Бондарев С. В. 8.red к.ОРЭ, к.200Лазарев В. И. 9.red к.ОРЭ, к.200Бондарев С. В. 10.hvtest к.ОРЭ, к.109Денисов А.С. 11.hvtest к.ОРЭ, к.109Денисов А.С. 12.hvtest к.ОРЭ, к.109Денисов А.С. 13.hvtest к.ОРЭ, к.109Денисов А.С. 14.pc2a к.2a, к.205Петров И. А. 15.tdd к.2, к.309Фетисов А. А. 16.hermes к.7, к.216Белостоцкий С. Л. 17.mpl к.7, к.238Гриднев А. Б. 18.hepdep к.7, к.212Ольшевская В. В.

7 Развитие локальной сети института в аппаратной 7 корпуса Локальная сеть института на 7 корпусе строится на базе четырехслотного маршрутизатора 3Com CoreBuilder 3500, в котором установлено два слота по 6 портов в каждом и обеспечивающего интеграцию сетей института на скорости 100 Мбит/с. Его используют ранее подключенные локальные сети ОНИ (7, 1, 85 корпуса), ОТФ (85 корпус), ОМРБ (50 корпус), ОФВЭ (7 и 2 корпуса), конструкторский отдел. В этом году подключены: локальная сеть из пяти компьютеров на 8 корпусе (информационно-общественный центр и профком) по оптоволоконной линии на скорости 100 Мбит/с. локальная сеть из пяти компьютеров на 8 корпусе (информационно-общественный центр и профком) по оптоволоконной линии на скорости 100 Мбит/с. локальная сеть института на корпусе ИК по оптоволоконной линии на скорости 100 Мбит/с, ранее связь с локальной сетью на ИК осуществлялась на скорости 10 Мбит/с через маршрутизатор работы с Интернет по наземному каналу 512 Кбит/с. локальная сеть института на корпусе ИК по оптоволоконной линии на скорости 100 Мбит/с, ранее связь с локальной сетью на ИК осуществлялась на скорости 10 Мбит/с через маршрутизатор работы с Интернет по наземному каналу 512 Кбит/с.

8 Работа с электронной почтой на mail.pnpi.spb.ru и антивирусная защита почтовых сообщений На текущее время зарегистрировано на этом сервере примерно 600 пользователей, это сотрудники ОФВЭ, ОНИ и центральных подразделений. Сервер создан ОВС на средства центра института в ноябре 2000 года. Осенью 2003 года работа сервера была переведена на системный блок персонального компьютера Fujitsu-Siemens, полученный по немецкому кредиту, который имеет процессор Intel Pentium 4, 1.8 GHz и память 1 Гбайт. Работа сервера выполняется под операционной системой Linux Red Hat 7.3. С краткой информацией по работе с почтой на этом сервере можно ознакомиться по ссылке

9 Работа с электронной почтой на mail.pnpi.spb.ru и антивирусная защита почтовых сообщений (продолжение 2) Каждому пользователю выделяется дисковое пространство 100 Мбайт для хранения почты в фолдерах. Хранение почты во входном фолдере (Inbox) не допускается, т.к. при переполнении его, т.е. более 5 Мбайт, начинают посылаться каждый четвертый день в течении 30 дней сообщение с указанием числа суток сколько осталось до блокирования приема почты. Если объем входной почты превысит 40 Мбайт, поступление почты блокируется сразу же. Для обеспечения работы с фолдерами, в которые можно записывать сообщения, необходимо пользоваться протоколом IMAP вместо POP, который предлагается по умолчанию, или Web-mail интерфейсом прямо в браузере. Также мы всем пользователям рекомендуем завести дополнительное имя, тем кто еще не имеет, и использовать его при переписке, а не указывать основное имя. Чтобы его завести необходимо сообщить его Т.С.Серебровой или А.А.Орешкину без заполнения дополнительной формы.

10 Работа с электронной почтой на mail.pnpi.spb.ru и антивирусная защита почтовых сообщений (продолжение 2) Антивирусная защита на этом сервере организована с помощью почтовой программы Dr.Web для sendmail на 500 почтовых адресов. Продление лицензии мы уже выполняем третий год и получается это летом в июле. В этом году неожиданно для нас сумма выросла для нас в 3 раза составила рублей и это с 50% скидкой для институтов РАН. Центральная дирекция с трудом, после наших объяснений, нашла способ оплатить данную сумму вовремя, до 17 июля, когда заканчивается предыдущая лицензия. Работать без антивирусной защиты почты невозможно, т.к. в сутки приходит на сервер более 100 мэйлов с вирусами и это разным пользователям. Очень сильная эпидемия произошла 27 января 2004 года, когда после получения новых вирусных записей было обнаружено, что основное число мэйлов с вирусами идет с компьютеров внутри института и после обеда до вечера было более 1000 мэйлов с вирусами и нам пришлось определять с каких компьютеров идут вирусы и их насчиталось более десятка. Это произошло при том, что у нас опрос новых вирусных записей выполнялся несколько раз в сутки. IP-Адреса обнаруженных компьютеров сообщили ответственным лицам за локальные сети, чтобы отключили данные компьютеры от сети до удаления вирусов с компьютера.

11 Работа с электронной почтой на mail.pnpi.spb.ru и антивирусная защита почтовых сообщений (продолжение 3) После данного события была изменена антивирусная политика: Изменено время опроса вирусных записей сначала через два часа, а с апреля месяца через 15 минут, есть ли новые записи и если есть, то скачиваются. Изменено время опроса вирусных записей сначала через два часа, а с апреля месяца через 15 минут, есть ли новые записи и если есть, то скачиваются. Перестали посылать адресатам от кого, а также кому сообщение о поступлении мэйла с вирусом, и только сообщение поступает postmaster, чтобы в нем мы могли узнать с какого компьютера поступил мэйл с вирусом, из института или из вне института. Перестали посылать адресатам от кого, а также кому сообщение о поступлении мэйла с вирусом, и только сообщение поступает postmaster, чтобы в нем мы могли узнать с какого компьютера поступил мэйл с вирусом, из института или из вне института. При каждом скачивании новых вирусных записей осуществляется сканирование всех входных ящиков пользователей, т.е. 600, и если обнаружены мэйлы с вирусом, то руками запускаем скрипт на обнаружение, а затем удаление этого письма из всех имеющихся писем у данного пользователя, чтобы пользователь не успел скачать его себе на компьютер и заразить его. При каждом скачивании новых вирусных записей осуществляется сканирование всех входных ящиков пользователей, т.е. 600, и если обнаружены мэйлы с вирусом, то руками запускаем скрипт на обнаружение, а затем удаление этого письма из всех имеющихся писем у данного пользователя, чтобы пользователь не успел скачать его себе на компьютер и заразить его.

12 Развитие вычислительного кластера отделения (pcfarm.pnpi.spb.ru) С 4 декабря 2003 года главный компьютер кластера организован на базе системного блока Fujitsu-Siemens Celsius R610 Workstation с двумя процессорами Intel Xeon 2,40 GHz (533 MHz/HT), оперативной памятью 2 Гбайта, который был получен нами по немецкому кредиту. Новый системный блок имеет двухканальный контроллер SCSI 320 Mbyte/s, что увеличивает производительность работы с дисками в два раза, по сравнению с контроллером SCSI 160 Mbyte/s в прежнем системном блоке. Суммарная производительность всех компьютеров кластера – 0.450* * * * * *2= ГГц Суммарный объем HDD на главном компьютере – 36* *5= 947 Гбайт. Один диск 146 Гбайт используется под временную область (scratch) и поэтому каждому пользователю кластера по умолчанию доступно 10 Гбайт, а другие два диска 146 Гбайт готовы к использованию и пока свободны. Один дисковод 146 Гбайт для установки в pcfarm самостоятельно в 2003 году приобрела только лаборатория С.П.Круглова и в 2004 году такой же один дисковод приобрела лаборатория В.М.Самсонова.

13 Развитие вычислительного кластера отделения (продолжение 2) Все системные блоки кластера работают под операционной системой Linux Red Hat 7.3 Работа с Интернет осуществляется по наземному каналу 512 Кбит/сек, а с апреля 2004 года появилась возможность работы с научными центрами мира по каналу 2 Мбит/с. Для запуска заданий в пакетном режиме на подчиненных компьютерах используется система SUN Gridware Engine (Codine). Для пользователей обеспечивается работа с CERNLIB-2003, транслятором gcc и ROOT В настоящее время на кластере зарегистрировано 136 пользователей. В августе логировалось 62 пользователя, а в сентябре уже 64. Развивать вычислительный кластер нужно, чтобы можно было активно участвовать в обработке по программам LHC. Возможно потребуется создать отдельные кластеры для разных программ LHC и включать их в распределенную обработку с использованием GRID.

14 Развитие вычислительного кластера отделения (продолжение 3)

15 Развитие вычислительного кластера отделения (продолжение 4) Список пользователей batch system кластера (8 CPU) с 1 января по 21 сентября 2004 года (265 дней * 8 CPU = 2120 суток) AnufrievС.В.Ануфриев139 AnufrievС.В.Ануфриев139 VelichkoГ.Н.Величко107 VelichkoГ.Н.Величко107 IsmirnovИ.Б.Смирнов98 IsmirnovИ.Б.Смирнов98 ObrantГ.З.Обрант95 ObrantГ.З.Обрант95 KkuznЕ.Кузнецова59 KkuznЕ.Кузнецова59 DairД.Е.Боядилов48 DairД.Е.Боядилов48 SaranВ.В.Саранцев40 SaranВ.В.Саранцев40 ArnisА.А.Кулбардис38 ArnisА.А.Кулбардис38 KozlenkoН.Г.Козленко8 KozlenkoН.Г.Козленко8 RiabovygЮ.Г.Рябов7 RiabovygЮ.Г.Рябов7 ShermanС.Г.Шерман7 ShermanС.Г.Шерман7 RadkovА.К.Радьков4 RadkovА.К.Радьков4 KomarovЕ.Н.Комаров4 KomarovЕ.Н.Комаров4 TverskoyМ.Г.Тверской4 TverskoyМ.Г.Тверской4 KravtsovА.В.Кравцов1 KravtsovА.В.Кравцов1 Итого:667 суток, т.е. 31% от 2120 суток

16 Развитие вычислительного кластера отделения (продолжение 5) Для развития кластера ОВС предлагает купить: Для развития кластера ОВС предлагает купить: 1. Восемь 3 ГГц однопроцессорных блока - $850*8=$6800 После этого удаляем три маломощных системных блока, и тогда общее число системных блоков составит 16. Суммарная производительность всех компьютеров кластера была – 0.450* * * * * *2= ГГц Суммарная производительность всех компьютеров кластера стала – 3.000* * * *2= ГГц 2. Один гигабитный коммутатор 3Com Switch 3812 TP 12 port - $ Одна дисковая RAID система на 3 Тбайта (15 дисков S-ATA по 200 Гбайт) Система 19 3U для 15 S-ATA HDD, RAID Promise Vtrak и 15 дисков 200 Гбайт - $ Один магнитофон SDLT320, 160/320 Gbyte, с пятью картриджами Super DLTtape I - $4000 Магнитофон будет использоваться для системы копирования, которая сейчас выполняется на магнитофоне DLT8000, 40/80 GByte Общая сумма составит: =$19300