10.06.2013 Суперкомпьютерная Программа «СКИФ-ГРИД» Союзного государства: Первые итоги Абрамов С.М., ИПС РАН Пресс-конференция 27 марта 2008 г., Москва, - презентация

1 Суперкомпьютерная Программа «СКИФ-ГРИД» Союзного государства: Первые итоги Абрамов С.М., ИПС РАН Пресс-конференция 27 марта 2008 г., Москва, Шератон Палас Отель, 1-ая Тверская-Ямская ул., д. 19

2 Слайд 2 Суперкомпьютерная Программа «СКИФ-ГРИД» Союзного государства Разработка и использование программно- аппаратных средств GRID-технологий и перспективных высокопроизводительных (суперкомпьютерных) вычислительных систем семейства «СКИФ» Шифр «СКИФ-ГРИД»

3 Слайд 3 Формирование и начало Программы 1.Июнь 2004 первая версия предложения 2.Март 2007 согласовано Правительством Союзного Государства 3.Май-июнь 2007 формирование комплексных проектов (2007–2008 гг.), проведение конкурсов 4.Июль 2007 заключение контрактов 5.Сентябрь 2007 окончание первого этапа 6.Декабрь 2007 окончание второго этапа

4 Слайд 4 О Программе «СКИФ-ГРИД» Программа Союзного государства Продолжение Программы «СКИФ» 2000–2004 гг Бюджетные средства Союзного государства (млн. российских руб. ) Всего Всего 681,0111,6147,1210,4211,9 из них: Российская Федерация 446,579,0107,5124,0136,0 Республика Беларусь 234,532,639,686,475,9

5 Слайд 5 «СКИФ» и «СКИФ-ГРИД» СКИФСКИФ-ГРИД Бюджет РФ % Бюджет РБ % Бюджет всего % ВидНИОКР, только бюджет НИР, 1/3 привл. средства Соисполнителей РФ~10>20 (2030)> 200% Объем работСК + Пилотные ГРИД + СК + Инф.Без. + Пилотные > 200%

6 Слайд 6 1.ГРИД-технологии Программное обеспечение промежуточного уровня (ППО), ПО организации ГРИД-вычислений, ГРИД-БД и т.п. 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 HW. Модули, компоненты, аппаратные решения суперкомпьютеров «СКИФ» SW. Программное обеспечение суперкомпьютеров «СКИФ»: ОС, дистрибутив, средства администрирования, средства разработки прикладного ПО Опытные образцы суперкомпьютеров «СКИФ» 3.Информационная безопасность 4.Пилотные проекты Создание СКИФ Полигона... Пилотные инструментальные и прикладные системы

7 Слайд 7 Организация Программы: 2007–2008 гг Направления работ 1.Грид-технологии 2.Суперкомпьютеры (HW+SW) 3.Безопасность 4.Пилотные проекты

8 Слайд 8 Программа «СКИФ-ГРИД» : СКИФ К-500 (0.7Т) R&D: отечественный комплект ПО для суперЭВМ и ГРИД, СКИФ-Полигон, Пилотные проекты 2004: СКИФ К-1000 (2.5Т) R&D: отечественный interconnect, blades, термодизайн, ServNet и т.п. R&D: отечественные нестандартные архитектуры, ускорители... СКИФ Cyberia (12T) СКИФ Т-60 СКИФ с нестандартной архитектурой (ускорители, подобные Cell, и т.п.) Программы «СКИФ» и «СКИФ-ГРИД» Подготовка и проведения тендера на период Подготовка и проведения тендера на период

9 ГРИД-технологии

10 Слайд 10 1.ГРИД-технологии Программное обеспечение промежуточного уровня (ППО), ПО организации ГРИД-вычислений, ГРИД-БД и т.п. Шлюз RDIG«СКИФ Полигон» НИИЯФ МГУ Мониторинг, учёт ресурсов ОИЯИ ИПС РАН Средства генерации ГРИД-сервисов по Т-программам ИПС РАН OpenTS для распределенных гетерогенных сред ИПС РАН DVM для распределенных гетерогенных сред ИПМ им. М.В.Келдыша РАН Сервис хранения данных на базе CDM ГЦ РАН ГРИД-оболочки для инженерных пакетов ЮУрГУ 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 3.Информационная безопасность 4.Пилотные проекты

11 Слайд 11 Проект ИПС РАН Цель развертывание высокопроизводительной ГРИД-сети на основе простаивающих компьютеров Целевая аудитория школы, ВУЗы Использование технологий виртуальных машин Гибкое управление отдаваемым ресурсом Учет вклада «доноров»

12 Слайд 12 Проект «СDM-Хранилище» Геофизический Центр (ГЦ) РАН Мотивация необходимо удобное средство сбора, хранения, визуализации и доставки массивов научных данных в ГРИД- среде Используется Common Data Model (CDM) формат

13 Слайд 13 DEFORM CAEBean ABAQUS CAEBean ГРИД-оболочки для инженерных пакетов, ЮУрГУ

14 Слайд 14 ANSYS CFX CAEBean ANSYS Mechanical CAEBean ГРИД-оболочки для инженерных пакетов, ЮУрГУ

15 Слайд 15 ГРИД-оболочки для инженерных пакетов, Овализация труб при закалке. ЮУрГУ

16 Слайд 16 ГРИД-оболочки для инженерных пакетов, Резьбовые соединения труб для нефтяных скважин. ЮУрГУ

17 Суперкомпьютеры «СКИФ» 2.1 HW. Модули, компоненты...

18 Слайд 18 1.ГРИД-технологии 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 HW. Модули, компоненты, аппаратные решения суперкомпьютеров «СКИФ» Отечественные blade-решения, отечественный Interconnect, инфраструктура охлаждения, электропитания, хранения данных Т-Платформы Модули цифровой обработки сигналов ФГУП НПЦ «ЭЛВИС» Сервисная сеть ServNet-3 для суперЭВМ ряда 3 ИПС РАН Ускорители и модули нестандартной архитектуры... SW. Программное обеспечение суперкомпьютеров «СКИФ»: ОС, дистрибутив, средства администрирования, средства разработки прикладного ПО Опытные образцы суперкомпьютеров «СКИФ» 3.Информационная безопасность 4.Пилотные проекты

19 Слайд 19 НПЦ «ЭЛВИС»: Прототип модуля МЦОС-01

20 Слайд 20 Сервисная сеть ServNet-3 для суперЭВМ ряда 3 семейства «СКИФ» Двухуровнева архитектутра Применима к суперЭВМ с любым числом узлов и шасси (петафлопного диапазона) Операции с узлами On/Off Reset Serial Console Info состояние узла Измерение T(C o ) и U 1 …U n (V) Операции с шасси Измерение скорости вращения вентиляторов Управление скоростью вращения вентиляторов

21 Слайд 21 Сервисная сеть ServNet-3 для суперЭВМ ряда 3 семейства «СКИФ» ServNet-T60: Плата управления вычислительным узлом по одной на каждое лезвие, на плате один микроконтроллер, 70×80 мм, выпущено ~800шт. ServNet CMB: Плата управления шасси по одной на каждое шасси, 372×60 мм, выпущено ~80шт. Разработка: ИПС РАН, в сотрудничестве с компанией Т-Платформы Изготовление: ИПС РАН

22 Суперкомпьютеры «СКИФ» 2.2 SW. Программное обеспечение...

23 Слайд 23 1.ГРИД-технологии 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 SW. Программное обеспечение суперкомпьютеров «СКИФ»: ОС, дистрибутив, средства администрирования, средства разработки прикладного ПО Дистрибутив ПО «СКИФ» ООО «ALT Linux» Средства анализа эффективности параллельных программ НИВЦ МГУ DVM для суперкомпьютеров «СКИФ» ИПМ им. М.В.Келдыша РАН OpenTS и T-Sim для суперкомпьютеров «СКИФ» ИПС РАН 3.Информационная безопасность 4.Пилотные проекты

24 Слайд 24 Средства анализа эффективности параллельных программ НИВЦ МГУ Пример работы системы визуализации Занятость процессора Уровень загрузки Использование подкачки Загрузка сети

25 Суперкомпьютеры «СКИФ» 2.3 Опытные образцы суперкомпьютеров «СКИФ»

26 Слайд 26 1.ГРИД-технологии 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 Опытные образцы суперкомпьютеров «СКИФ» : СКИФ МГУ (60 Tflops), СКИФ Урал (16 Tflops) : СКИФ с на базе новых (в том числе гибридных) архитектур : СКИФ Т Т Т-500 … П-1 … П-10 3.Информационная безопасность 4.Пилотные проекты

27 Суперкомпьютер «СКИФ Т-60» «СКИФ МГУ»

28 Слайд 28 СуперЭВМ «СКИФ МГУ»

29 Слайд 29 СуперЭВМ «СКИФ Т-60» «СКИФ МГУ» Результат запланирован в 2004 году Создание опытного образца «СКИФ Т-60» вписано в изначальные планы Программы Условие обязательного софинансирования (как и по всем работам Программы) Исполнители и место установки определялись по тендеру Гигантская доля в Программе «СКИФ-ГРИД» 54% всего бюджета РФ первых двух лет Программы: млн.руб. из млн.руб. Плюс софинансирование...

30 Слайд 30 Суперкомпьютер «СКИФ Т-60» «СКИФ МГУ» Партнерство: ИПС РАН, МГУ, Т-Платформы, Intel Политическая поддержка ПК СГ, ГД РФ и «Единой России» Проект «от марта 2007 до марта 2008» Техническое взаимодействие на всех этапах проекта успех в каждой части основан на партнерстве Гигантская машина: 60 Tflops; ~1250 CPU, ~5,000 ядер

31 Слайд 31 Общие характеристики Пиковая / Linpak производительность 60 Tflops / Tflops КПД = 78.6% Передовые решения: Бездисковые вычислительные узлы (повышение надёжности) Использование новейших технологий ХарактеристикаЗначение Архитектура процессора: x86-64 Модель процессора: Intel XEON E5472 3,0 Ггц (4-ядерный) Число процессоров (число в узле × число узлов) = всего; число ядер всего (2 × 625) = 1 250; 5 000

32 Слайд 32 Общие характеристики продолжение Общий объем оперативной памяти всех вычислительных узлов: GB Общий объем дисковой памяти всех вычислительных узлов: GB Количество занимаемых аппаратных шкафов 42U: 14 Общая занимаемая площадь (включая подсистемы охлаждения, бесперебойного питания): 96м 2 Общее энергопотребление (включая подсистемы охлаждения, бесперебойного питания): 720 кВт

33 Слайд 33 «СКИФ Т-60»: Первые российские блейд- решения Первое российское blade-решение собственная разработка и производство компании «Т-Платформы» самая большая плотность в индустрии: 10 «лезвий» в корпусе высотой всего 5U (20 CPU / 80 cores / ~0.7 Tflops) плотность на 18% лучше, чем у любых аналогов единственный blade со стандартным PCI-Express

34 Слайд 34 Характеристики blade-модуля CPU: 2x Intel XEON Clovertown/Harpertown RAM: 8 слотов 667 / 533MHz FB-DIMM Чипсет: Intel 5400 (Seaburg) HDD: До 2х дисков SATA 2.5 Ethernet: 2 x Gigabit Etherhet Расширение: Стандартный PCI-Express 8x

35 Слайд 35 Системная сеть Infiniband 4x DDR 6 x 144-портовых корневых коммутаторов 54 x 24-портовых граничных коммутатора FBB = 20 Gbit/s Задержка = 2.2 мксек

36 Слайд 36 Вспомогательная сеть 2 x 384-портовых коммутатора Gigabit Ethernet Коммутирующая способность 1536Gbps Cуммарная способность пересылки пакетов 571Mpps

37 Слайд 37 Подсистема хранения данных ReadyStorage ActiveScale Cluster Количество модулей: 12 Объем дискового пространства одного модуля: 5Тбайт Общий объем дискового пространства: 60 Тбайт Общая пропускная способность: 700 Мбайт/сек.

38 Слайд 38 Система охлаждения Модульное охлаждения на уровне ряда стоек в сочетании с герметизацией «горячего» коридора гарантированный отвод 30 кВт тепловой энергии от каждой стойки с вычислительными узлами гарантированное резервирование системы охлаждения N+1

39 Слайд 39 Бесперебойное электропитание Блоки мощностью 80 кВА 10 минут автономной работы Резервирование N+1 Обслуживание в «горячем режиме»

40 Слайд 40 Сервисная сеть ServNet-3 для суперЭВМ ряда 3 семейства «СКИФ» ServNet-T60: Плата управления вычислительным узлом по одной на каждое лезвие, на плате один микроконтроллер, 70×80 мм, выпущено ~800шт. ServNet CMB: Плата управления шасси по одной на каждое шасси, 372×60 мм, выпущено ~80шт. Разработка: ИПС РАН, в сотрудничестве с компанией Т-Платформы Изготовление: ИПС РАН

41 Слайд 41 «СКИФ МГУ» Заключение Отечественный суперкомпьютер на базе западных самых передовых решений Первый в Европе суперЭВМ с CPU Intel XEON Harpertown 42 nm Европа в очереди пропускала СКИФ Т-60 и СКИФ Урал На уровне самых мощных суперЭВМ в мире Обеспечение на несколько лет вперёд современным суперкомпьютером одного из крупнейших научно- образовательных центров России Решение для других суперЭВМ ряда 3 семейства «СКИФ»: СКИФ Урал

42 Опытные образцы суперкомпьютеров семейства «СКИФ»

43 Слайд Gflops СКИФ К Gflops СКИФ К Тflops СКИФ Cyberia Tflops СКИФ МГУ 57 Gflops Первенец-М 26 Gflops ВМ Gflops Первенец (2 шт) Top500 и Top «СКИФ» Linpak-производительность Top1 Top10 Top100 Top300 Top200 Top400 Top500 СКИФское золото: Декабрь 2000 года:11 Gflops, Первенец Март 2007 года: Gflops, СКИФ МГУ За срок менее:7.5 лет Рост более, чем в:4 000 раз

44 Слайд 44 Большинство разработанных в России суперЭВМ, вошедших в Top500 суперЭВМ семейства «СКИФ» Отечественные суперЭВМ Разработчики, а не интеграторы и не поставщики Своя КД и ИС (в том числе патенты) Self-made... Проверено «на той стороне» Чужие CPU? Зато мы их лучше используем...

45 Слайд 45 Суперкомпьютеры «СКИФ»: не уступая зарубежным аналогам Ноябрь 2003: СКИФ К-500 (128 процессоров) мощнее, чем Dell PowerEdge 2650 (160 процессоров) Ноябрь 2004: СКИФ К-1000: первое место в мире в TopCrunch (столкновение 3 автомобилей) Февраль 2007: СКИФ Cyberiа показывает показатели лучшие, чем у ряда современных суперЭВМ (Cray, HP, IBM, SUN): лучший (+8..13%) КПД=Linpack/Peak лучшую (x1,5..2) масштабируемость (STAR-CD)

46 Слайд 46 Ноябрь 2007, Россия в Top500: отечественные vs. импортируемые суперЭВМ Ноябрь 2007 года: Нарушения правил подачи в рейтинг Top500. Двойные стандарты, подлог и обман. В рейтинг от России включены несколько несуществующих суперЭВМ. Российская IT-пресса разрекламировала успехи и достоинства «мертвых душ»

47 Слайд 47 Россия в Top500: отечественные vs. импортируемые суперЭВМ (до )

48 Слайд 48 Россия в Top500: отечественные vs. импортируемые суперЭВМ (до ) Закупок и модернизацийВ Top500 входили Отечественных5 (19%)12 (31%) Hewlett-Packard12 (46%)12 (31%) IBM7 (27%)11 (28%) Sun Microsystems2 (8%)4 (10%) ВСЕГО26 (100%)39 (100%)

49 Информационная безопасность

50 Слайд 50 1.ГРИД-технологии 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 3.Информационная безопасность Система активного аудита безопасности в ГРИД-сети выявление аномальной активности на основе статистического анализа ИПС РАН 4.Пилотные проекты

51 Пилотные проекты 4.1 Создание СКИФ Полигона

52 Слайд 52 1.ГРИД-технологии 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 3.Информационная безопасность 4.Пилотные проекты Создание СКИФ Полигона... ИПС РАН, НИВЦ МГУ, ТГУ, МГУ, ННГУ, ЮУрГУ, ЦНИИ МАШ и т.д. Пилотные системы инструментальные и прикладные...

53 Слайд 53 Развертывание системы «СКИФ Полигон» Полное название Развертывание и обеспечение эксплуатации пилотного сегмента распределённой вычислительной ГРИД-системы «СКИФ» как платформы для реализации пилотных приложений Участники НИВЦ МГУ, ТГУ, ННГУ им. Лобачевского, ЮУрГУ, ЦНИИ МАШ Возможно расширение состава участников Проблемы: эксплуатационные расходы, каналы, платный трафик

54 Слайд 54 Развертывание системы «СКИФ Полигон» Разработана концепция развертывания СКИФ Полигона Идёт согласование с исполнителями РБ В 2008 году планируется начать унификацию ПО на Кластер Infinity СКИФ Урал (ЮУрГУ) Tflops Кластер ННГУ 2.7 Tflops СКИФ К-1000 и К-500 (ОИПИ НАН) 2.5 (5) +0.7 Тflops СКИФ-Cyberia (ТГУ) 12 Тflops СКИФ Т-60 (МГУ) 60 Tflops 18.2 >100 Tflops Σ

55 Слайд 55 Инициатива «СКИФ Университетам» Университеты получают из разных источников возможность закупать суперЭВМ ВУЗы, закупая системы семейства СКИФ, получают дополнительно: скидки и льготы возможность включиться в СКИФ-Полигон получить доступ к ПО, технологиям и разработкам программ «СКИФ» и «СКИФ-ГРИД» получить информационную поддержку партнеров

56 Пилотные проекты. 4.1 Пилотные инструментальные и прикладные системы

57 Слайд 57 1.ГРИД-технологии 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 3.Информационная безопасность 4.Пилотные проекты Пилотные инструментальные и прикладные системы ГРИД-сервис медико-биологических данных ИХФ РАН ГРИД-система решения задач дифракции э/м волн ПензГУ, НИВЦ МГУ ГРИД-системы молекулярного моделирования НИИФХБ МГУ, ИПХФ РАН, ХФ МГУ, ЧелГУ, НИВЦ МГУ Исследования геномных БД ИППИ РАН ГРИД-технологии обработки ДЗЗ ИКИ РАН Расчет выхода и распространения радиоактивных загрязнений СПб АЭП Моделирование системы передачи цифровой информации НИИКС Моделирование микросхем ООО «ЮникАйСиз»

58 Слайд 58 Разработка ГРИД-сервисов для медико- биологических данных, ИХФ РАН им. Н.Н. Семёнова Разработка комплекса грид-сервисов для высокопроизводительной массовой обработки медико-биологических данных Цель обеспечить проведение исследований в области обработки цифровых маммограмм с использованием суперкомпьютеров «СКИФ» Аналог проекта MammoGrid

59 Слайд 59 Размерность рентгеновской маммограммы: ~ 4000х3000х256=12МБ Сдерживается техническими возможностями доступных врачам ресурсов хранения и обработки, чем больше тем точнее и надежнее диагностика. Диагностических приборов достаточно. По клиническим рекомендациям каждая женщина старше 40 лет должна проходить маммографическое обследование 1 раз в год. В 2006 году в России насчитывалось 48 млн. женщин старше 40 лет Обработка маммограмм задача большой размерности непальпируемый рак 3656х5487 пикселей динамический диапазон ~128

60 Слайд байт новых маммограмм ежегодно в России Среднее количество операций препроцессинга для 96 млн маммограмм ~ 1 млн / день Минимальное количество операций сравнения маммограм при дифференциальной диагностике ~ 10 млн / день Обработка глубже обнаружение раньше Статистика по 5-летней выживаемости: I стадия 84% II стадия 71% III стадия 48% IV стадия 18% Обработка маммограмм задача большой размерности

61 Слайд 61 Проект «Техологии молекулярного моделирования с использованием ГРИД-сред» Проекты связаны с моделированием биосистем, вычислительным поиском веществ-кандидатов для лекарственных препаратов Исполнители: НИИФХБ МГУ им. Белозерского ИПХФ РАН (г. Черноголовка) Химический факультет МГУ имени М.В.Ломоносова Челябинский Государственный Университет НИВЦ МГУ имени М.В.Ломоносова

62 Слайд 62 ГРИД-сервис «Молекулярный докинг», НИИФХБ МГУ им. Белозерского Е1 Е2 Е3 Е4 Е5 Е6 Е7 геометрия1 геометрия2 геометрия3 геометрия4 геометрия5 геометрия6 геометрия7 Многомерная поверхность потенциальной энергии Вычислительная задача молекулярный докинг Нахождение структуры комплекса белок-ингибитор, отвечающего лучшей энергии взаимодействия молекул

63 Слайд 63 Компьютерный поиск ингибиторов взаимодействия Hsp70 c Bag-1, НИИФХБ МГУ им. Белозерского Обсчитана база из коммерчески доступных соединений 18 из которых в настоящее время проходят экспериментальную проверку в Институте цитологии РАН Hsp70 Ингибитор

64 Слайд 64 Проекты Химического факультета МГУ имени М.В.Ломоносова Массивные расчеты поверхностей потенциальной энергии биомолекулярных систем комбинированными методами квантовой и молекулярной механики Научные приложения использования GRID: механизм ферментативного катализа ацетилхолинэстеразы; изучение природы флюоресцирующего белка asFP595

65 Слайд 65 Механизм ферментативного катализа ацетилхолинэстеразы Механизм ферментативного катализа ацетилхолинэстеразы ХФ МГУ ацетилхолинэстераза ключевой фермент нервной системы, ответственен за гидролиз нейротрансмиттера ацетилхолина при синапсе структура: 537 аминокислотных остатков, 12 β-листов, окруженных 14 α- спиралями

66 Слайд 66 Изучение природы флюоресцирующего белка asFP595 Изучение природы флюоресцирующего белка asFP595 ХФ МГУ белок asFP595, особенностью которого является флюоресценция в области оптически видимого света 595 nm (красный свет) при интенсивном облучении зеленым светом 565 nm структура: 238 аминокислотных остатка, 6 α-спиралей и 11 β-листов

67 Слайд 67 Иллюстрации использования GFP маркера поросенок со встроенным геном желтого белка; нормальный справа GFP- помеченный белок крысиного нейрона мыши со встроенным геном GFP белка GFP- помеченные раковые опухоли мышей

68 Слайд 68 Моделирование супрамолекулярных соединений ЧелГУ Число процессоров Время выполнения, сУскорение Комплекс модельного рецептора с лекарственным средством (противоопухолевое действие) Комплекс дигидрофолатредуктазы с лекарственным средством (противоопухолевое действие)

69 Слайд 69 Открыт и запатентован новый класс прямых низко- молекулярных синтетических ингибиторов тромбина На разработку понадобилось около 1,5 лет Ингибирующая активность новых ингибиторов выше, чем у аргатробана На рисунке показано положение 4-х новых ингибиторов в активном центре тромбина IC50=2 наноМоля IC50=100 наноМолей Тромбин

70 Слайд 70 Расчет выхода и распространения радиоактивных загрязнений, ФГУП «СПбАЭП». Распараллеливание Ускорение вычислений

71 Слайд 71 Проект «Работа с распределёнными архивами данных ДЗЗ», ИКИ РАН Использование ГРИД и суперкомпьютеров для хранения и обработки данных Дистанционного Зондирования Земли (ДЗЗ) Синтез конечных информационных продуктов на основе промежуточных представлений данных

72 Слайд 72 Работа с распределёнными архивами данных ДЗЗ, ИКИ РАН, Пример интерфейса

73 Слайд 73 Применение: Анализ изменения климата за , ИКИ РАН

74 Слайд 74 Проект «Исследование геномных баз данных», ИППИ РАН им. Харкевича Мотивация: большой вновь создаваемых и известных генерируемых геномов: 741 бактериальных, 41 archeal, 139 эукариот Задача: найти филогенетическое дерево организмов (реконструкция вероятных геномов древних организмов)

75 Слайд 75 Будем двигаться дальше... При наличии политической воли и партнерской поддержки

76 Слайд 76 Web-сервер Программы «СКИФ-ГРИД» Открыт с декабря 2007 года Web 2.0 (Joomla) Поддерживается сообществом исполнителей Программы

77 Слайд 77 СПАСИБО ЗА ВНИМАНИЕ!