Суперкомпьютерные технологии в задачах прогноза погоды и климата Е.Д. Астахова Гидрометцентр России helen@mecom.ru. - презентация

1 Суперкомпьютерные технологии в задачах прогноза погоды и климата Е.Д. Астахова Гидрометцентр России

2 План презентации Что такое прогноз погоды и климата? Почему задача прогноза погоды и моделирования климата – задача Grand Challenge? Что влияет на качество прогноза? Что такое детерминированный прогноз погоды? Что такое ансамблевый прогноз погоды?

3 Что такое прогноз погоды и климата?

4 Введение. Основы численного прогноза погоды и моделирования климата Цель: Описание эволюции атмосферы Суть: Решение численными методами уравнений гидротермодинамики атмосферы Реализация: Модель атмосферы Численный прогноз = Интегрирование модели атмосферы

5 Модель атмосферы Уравнения гидротермодинамики Методы их решения Параметризации процессов подсеточного масштаба ( правая часть уравнений)

6 Дискретизация Сферические координаты Широтно-долготная сетка По горизонтали По вертикали

7 Beljaars, 2008 Пространственные и временные масштабы некоторых процессов в атмосфере

8 В зависимости от разрешения модели физические процессы описываются явно или параметрически Немецкая метеослужба DWD GME COSMO_EU COSMO-DE spatial: ~150 km ~30 km ~10 km temporal:~4 min~1.5 min ~30 sec ECMWF T799 T1279 T2047 ~25 km ~16 km ~10 km 720 s 450 s 300 s

9 Основные физические процессы подсеточного масштаба, учитываемые в моделях атмосферы. ЛЕДОКЕАНСУША солнечная радиация турбулентность конвекция крупномасштабная конденсация тепловое излучение Земли потоки у поверхности орография гидрологический цикл альбедо поверхности дождьснег снежный покров импульса влаги тепла Микрофизика облака Сток Мелкая конвекция

10 Модели атмосферы Спектральные и конечно-разностные – по методу решения уравнений Глобальные, региональные, мезомасштабные - по пространственному масштабу Краткосрочного, среднесрочного, долгосрочного прогноза погоды, климата – по временному масштабу

11 Часы Дни Недели Месяцы Сезоны Годы Локальный Региональный Глобальный Сверхкраткосрочный прогноз(0-12ч) Краткосрочный прогноз (12-72ч) Среднесрочный прогноз (72-240ч) Долгосрочный прогноз (30 дней-2 года) Прогноз климата (более 2 лет) Пространственный масштаб Временной масштаб Расширенный прогноз (10-30 дней) Численное моделирование процессов в атмосфере

12 Современные тенденции: бесшовный подход Единая система моделирования на масштабах от дней до десятков лет Численный прогноз погоды Численное моделирование климата

13 Почему задача прогноза погоды и моделирования климата – задача Grand Challenge? И что это такое?

14 Численное моделирование процессов в атмосфере – задача «Grand Challenge » = фундаментальная проблема, решение которой имеет большое экономическое и научное значение и требует применения высокопроизводительных вычислений Численный прогноз погоды Моделирование климата ТОЧНЕЕ и БЫСТРЕЕ!

15 Что влияет на точность численного прогноза погоды? Качество начальных данных о состоянии атмосферы и поверхности Земли (наблюдений и методов их обработки) Разрешение модели атмосферы (Спектральные модели: T169L31 = 169 гармоник, треугольное усечение, 31 уровень по вертикали) Полнота и точность параметризаций процессов подсеточного масштаба («физики»)

16 Роль начальных данных о состоянии атмосферы ( влияние их малых возмущений на 5-сут прогноз ) Факт Прогноз 1 контрольный Прогноз 2 от возмущенных начальных данных Прогноз 3 от возмущенных начальных данных

17 Роль разрешения модели Осадки за вторые сутки прогноза, полученные по модели ECMWF с разным разрешением

18 Оправдываемость прогнозов температуры на уровне 2 м на 24 и 36 часов (% случаев с абсолютной ошибкой < 3 град) по моделям T85L31 и T169L31 в Сибири Верхоянск Оймякон Якутск 24 ч 36 ч 24 ч 36ч 24 ч 36 ч

19 Роль улучшения разрешения и параметризаций процессов подсеточного масштаба. Осадки Радар TL319 TL959 Новая схема конвекции Nakagawa,2005

20 Временные ограничения для задач прогноза погоды и климата Прогноз погоды: 1 сутки за мин Наблюдения в фиксированные моменты времени Надо успеть передать по каналам связи Моделирование климата: дней за сутки ( World Modelling Summit for Climate Prediction, 2008)

21 Строгие временные рамки счета задачи численного прогноза погоды

22 GDAS GFS anal NAM anal CFS RTOFS SREF NAM AQ GFS HUR RDAS Data processing GENS/NAEFS Использование компьютера для решения различных прогностических задач в NCEP

23 Откуда так много вычислений? (1) Разрешение 1 км: Радиус Земли ~ 6380 км Площадь поверхности ~ кв.км 100 уровней по вертикали в модели Итого около 13 млрд точек сетки!!!!! (2) Задача моделирования изменения климата: Шаг по времени – минуты (устойчивость), временной масштаб – сотни лет. Сколько минут в столетии? !!!!

24 Суперкомпьютерные системы ведущих метеорологических центров мира Название центра, страна, год установки, место в Top500 (Top50) КомпьютерЧисло ядер R peak, Tflops ECMWF, UK 2009, 25 и 26 IBM pSeries Power 575, p6 4.7 GHz, Infiniband NCEP, USA 2008, , 63 IBM pSeries Power 575, p6 4.7 GHz, Infiniband UKMO, UK 2009, 73 и IBM pSeries Power 575, p6 4.7 GHz, Infiniband Environment Canada 2008, 295 IBM pSeries eServer pSeries p GHz Росгидромет, Россия, 2008, 12 и 8 SGI Altix 4700 Itanium GHz, NUMALink Altix ICE 8200 Xeon E GHz, Infiniband 4x DDR

25 Salmond, 2004 Компьютеры, использовавшиеся в английской метеослужбе

26 Компьютеры в метеорологических центрах в

27 Улучшение качества численных прогнозов идет параллельно улучшению компьютерных ресурсов

28 ( World Modelling Summit for Climate Prediction, WCRP No. 131.WMO/TD No. 1468, Jan.2009)

29 Проблема : Программное обеспечение моделей атмосферы не рассчитано на десятки тысяч и миллионы процессорных элементов!!! САМ – эксперименты до РEs.

30 Масштабирование модели Европейского центра среднесрочных прогнозов с разрешением T1279L91

31 Что такое детерминированный и ансамблевый прогноз погоды и как он делается?

32

33 Пример прогноза Гидрометцентра России meteoinfo.ru

34

35 Начальные данные – данные наблюдений

36 Наземные наблюдательные системы Синоптические станции Радары Буи

37 Неравномерное по пространству распределение данных Синоптические станции Росгидромета

38

39 Спутниковые данные

40 Сырые данные Неравномерны Зашумлены Не пригодны для моделей «Усвоенные» данные Равномерны Гладкие Пригодны для моделей Данные должны быть подготовлены для моделей Система усвоения данных: замешиваются наблюдения и прогноз

41 Задача численного детерминированного прогноза погоды Усвоение данных наблюденийУсвоение данных наблюдений (объективный анализ) Препроцессинг модели )Инициализация данных ( устранение ложных быстрых гравитационных мод ) Модель атмосферыМодель атмосферы Постпроцессинг модели Оценка качества прогноза Передача результатов прогноза по каналам связи

42 Оперативные глобальные модели прогноза погоды

43 Численный прогноз погоды Детерминированный прогноз Однократное интегрирование модели атмосферы с использованием данных о начальном состоянии атмосферы, рассматриваемых как наилучшее приближение к истине Ансамблевый прогноз Многократное интегрирование одной или нескольких моделей атмосферы с использованием слегка различающихся данных о начальном состоянии атмосферы Требует существенно больше компьютерных ресурсов!!!!

44 Улучшение качества наблюдений и увеличение их количества Усовершенствование моделей атмосферы Рост компьютерных мощностей Точный прогноз? НЕТ!!!

45 ПPОГНОЗАМ ПОГОДЫ ПРИСУЩА ПРИНЦИПИАЛЬНАЯ НЕОПРЕДЕЛЕННОСТЬ Атмосфера – хаотическая система Динамика ее нелинейна Мелкомасштабные ошибки могут влиять на крупномасштабные процессы и приводят к возрастанию ошибок прогноза со временем Данные о начальном состоянии атмосферы неточны ошибки измерений неравномерное распределение наблюдений в пространстве и во времени Модели атмосферы несовершенны Неточности в уравнениях Параметрический учет физических процессов Дискретизация

46 ПPОГНОЗАМ ПОГОДЫ ПРИСУЩА ПРИНЦИПИАЛЬНАЯ НЕОПРЕДЕЛЕННОСТЬ Эволюция ошибок в начальном состоянии атмосферы Заблаговременность прогноза Линейный режимНелинейный режим Детерминированный прогноз от наиболее точно определенного начального состояния Истинная эволюция состояния атмосферы

47 ПPОГНОЗАМ ПОГОДЫ ПРИСУЩА ПРИНЦИПИАЛЬНАЯ НЕОПРЕДЕЛЕННОСТЬ Хорошо предсказуемая ситуация Плохо предсказуемая ситуация Buizza 2002 Качество прогноза зависит от ситуации Режим 1: сухо и тепло Режим 2: холодно и сыро

48 Качество прогнозов падает с заблаговременностью прогнозов Качество прогнозов зависит от ситуации Пользователям нужна оценка качества прогнозов Пользователям нужна вероятность экстремальных явлений Нужен вероятностный прогноз! Т.е. описание эволюции функции плотности вероятности состояний атмосферы во времени. Уравнение Лиувилля – долго.АНСАМБЛИ!!!

49 Простейший ансамбль –совокупность прогнозов, стартующих со слегка различающихся (возмущенных) начальных данных (ансамбля начальных данных) Ансамбль начальных данных должен: Содержать равновероятные члены Являться репрезентативной выборкой из вероятных состояний атмосферы Включать истинное состояние атмосферы (т.е разброс достаточно велик) Возмущения должны быть в пределах ошибок анализа Реализация ансамблевого подхода

50 Неточность данных о состоянии атмосферы Неточность данных о состоянии поверхности Земли Неточность модели атмосферы Бридинг Ансамблевые трансформации Сингулярные вектора Системное моделирование Стохастическая физика Мультимодельность Вариации параметризаций Системное моделирование Варьирование характеристик поверхности

51 Основные ансамблевые системы среднесрочного прогноза МодельРазмерВозмущение начальных данных Учет несовершенства модели ЕСMWFT399L62 (1-10 сут) T255L62 50 членов Сингулярные вектора Стохастические возмущения NCEP, США T126L2820 членов Ансамблевые трансформации + масштабирование Стохастические возмущения MSC, Канада 0.9°*0.9°, 28 уровней 20 членов Возмущение данных наблюдений Разные параметризации

52 Разброс ансамбля характеризует качество прогноза в зависимости от ситуации Среднее по ансамблю дает лучшую ( по сравнению с детерминированным прогнозом) оценку истинного состояния атмосферы (даже при использовании модели худшего разрешения!) Легко получить вероятностный прогноз явлений погоды Выгоды использования ансамбля

53 Пример ансамблевого прогноза температуры воздуха в Лондоне (метеограмма)

54 А что у нас ? Фабрика погоды прошлого: Ручной анализ Суперкомпьютеры

55 Развитие моделей численного среднесрочного прогноза ECMWF и Гидрометцентра России и соответствующие характеристики компьютеров ECMWF 1990 CRAY Y-MP, 8 PEs T106L Fujitsu VPP700, 46 PEs T213L IBM p575, 2400 PEs T799L91 Исследования T2047L62 Гидрометцентр России 1990 Hitachi 3033, 1 PE T40L CRAY Y-MP, 8 PEs T85L Xeon, 4 PEs T85L31 Исследования T339L31

56 Развитие моделей численного среднесрочного прогноза ECMWF и Гидрометцентра России и соответствующие характеристики компьютеров ECMWF 1990 CRAY Y-MP, 8 PEs T106L Fujitsu VPP700, 46 PEs T213L IBM p575, 2400 PEs T799L91 Исследования T2047L62 Гидрометцентр России 1990 Hitachi 3033, 1 PE T40L CRAY Y-MP, 8 PEs T85L Xeon, 4 PEs T85L31 Исследования T339L : ECMWF 2*156 Tflops, 2*8320 PEs Гидрометцентр России Tflops, PEs

57 Территория, Разрешение НазваниеСопряженные технологии Сопряженные технологии в перспективе Глобус, От 60 до 150 км T85L31, ПЛАВ-2008, T169L31 Ансамблевый среднесрочный прогноз, Долгосрочное прогнозирование Боковые условия для мезомасштабных моделей Ограниченные территории: «Регион» км Региональная модель Гидрометцентра России ПЛАВ-2 Физико- статистическая интерпретация (ФЗИ): Расчеты конвективных опасных явлений Участки в пределах Европы и ЕТР COSMO-RU7, COSMO-RU14, WRF-ARW, ETA, MM5, мезомасштабная модель Гидрометцентра России ФЗИ : Расчеты конвективных опасных явлений, видимости, туманов, Экологические блоки, РЭП Квази-оперативные и оперативные прогностические модели Гидрометцентра России

58 Преемственность систем детерминированного и вероятностного численного прогнозирования Технология детерминированного Прогноза: T85L31 (150 км), T169L31 (70 км), T169L63 (70 км), T339L31 (45 км), T679L31 (25 км) Технология ансамблевого Прогноза: T85L31, T169L31 Разработка версий модели Разработка систем построения ансамблей Спектральная модель атмосферы

59 Метод спектральных преобразований Сеточное пространство (физика, динамика) Спектральное пространство (динамика, горизонтальная диффузия) Пространство Фурье-образов БПФ Лежандр Пространство Фурье-образов Обратный Лежандр Обратное БПФ θ, λ, z m, n, z µ, m, z

60 Пространственная декомпозиция области расчетов в cеточном пространстве Спектральная модель: Пространственная декомпозиция области расчетов в cеточном пространстве

61 Декомпозиция области расчетов в спектральном пространстве Спектральная модель: Декомпозиция области расчетов в спектральном пространстве PE1PE2PE3PE4PE5

62 T339L часовой прогноз. 2х-ядерный p Ггц

63

64 Спектральная модель: На 1 PE ~100 мин На 16 PEs ~18 мин (без SHMEM ~23 мин) На 64 PEs ~ 11 мин Суточный прогноз должен быть готов за ~20 мин

65 Конфигурация ансамблевой системы прогноза

66 «Спагетти» Н500 (516, 552, 576 гпм) Пример выходной продукции системы ансамблевого прогноза Прогноз на 1 день вперед от 11 сентября ВСВ на 12 сентября ВСВ

67 «Спагетти» Н500 (516, 552, 576 гпм) Пример выходной продукции системы ансамблевого прогноза Прогноз на 2 дня вперед от 11 сентября ВСВ на 13 сентября ВСВ

68 «Спагетти» Н500 (516, 552, 576 гпм) Пример выходной продукции системы ансамблевого прогноза Прогноз на 3 дня вперед от 11 сентября ВСВ на 14 сентября ВСВ

69 «Спагетти» Н500 (516, 552, 576 гпм) Пример выходной продукции системы ансамблевого прогноза Прогноз на 4 дня вперед от 11 сентября ВСВ на 15 сентября ВСВ

70 «Спагетти» Н500 (516, 552, 576 гпм) Пример выходной продукции системы ансамблевого прогноза Прогноз на 5 дней вперед от 11 сентября ВСВ на 16 сентября ВСВ

71 «Спагетти» Н500 (516, 552, 576 гпм) Пример выходной продукции системы ансамблевого прогноза Прогноз на 6 дней вперед от 11 сентября ВСВ на 17 сентября ВСВ

72 «Спагетти» Н500 (516, 552, 576 гпм) Пример выходной продукции системы ансамблевого прогноза Прогноз на 7 дней вперед от 11 сентября ВСВ на 18 сентября ВСВ

73 «Спагетти» Н500 (516, 552, 576 гпм) Пример выходной продукции системы ансамблевого прогноза Прогноз на 8 дней вперед от 11 сентября ВСВ на 19 сентября ВСВ

74 «Спагетти» Н500 (516, 552, 576 гпм) Пример выходной продукции системы ансамблевого прогноза Прогноз на 10 дней вперед от 11 сентября ВСВ на 21 сентября ВСВ

75 Пример выходной продукции системы ансамблевого прогноза Прогноз эволюции метеорологической переменной в пункте Прогноз от 15 мая 2009

76 «Почтовые марки». Пример выходной продукции системы ансамблевого прогноза Н500

77 Среднее по ансамблю (изолинии) и разброс ансамбля (цвет). Высота геопотенциальной поверхность 500 гПа. 5-сут прогноз на 17/12/ ВСВ Пример продукции ансамблевой системы Прогноз наименее достоверен в областях с максимальным разбросом

78 Вероятности выпадения количества осадков, превышающего заданное пороговое значение Вероятности выпадения количества осадков, превышающего заданное пороговое значение Пример выходной продукции системы ансамблевого прогноза Valid: 17Jul2008/12 Prec > 2 mm/6h Valid: 16Jul2008/12 Prec > 0.1 mm/6h

79 Полулагранжева модель прогноза погоды Вертикальное разрешение – 28 уровней Постоянное разрешение 0,9° по долготе, 0,72° по широте (размерность задачи 400х250х28) Одномерная декомпозиция по широте MPI + OpenMP Теоретическая масштабируемость ограничена N lat ; для будущей версии 0,25°x0,18°x60 это дает 1000 процессоров

80 testSLM: Scalability

81 Время расчета прогноза на 1 сут. на 36 ядрах = 22 мин.

82 Гидрометеорологический центр Российской Федерации COSMO-RU07: область интегрирования и характеристики модели h = 2.8 km Начальные данные для 00 и 12 UTC Прогноз на 78 часов Шаг сетки 7 км Сетка: 700 * 620 * 40 SGI Altix 4700 (1664 ядер) (832 процессора Itanium, 64-bit, 3,3 Tb память) Время счета прогноза на 78 час. 19 мин.: 1024 ядра 33 мин.: 512 ядер 59 мин.: 256 ядер 4900 км 4340 км

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107 СПАСИБО ЗА ВНИМАНИЕ!

108

109

110 Бридинг-метод

111 Оценки качества среднего по ансамблю прогноза Среднее по ансамблю лучше для заблаговременностей более 84 час!