Глазунов A.В. Институт вычислительной математики РАН Научно-исследовательский вычислительный центр МГУ Вихреразрешающее моделирование турбулентных течений на суперкомпьютерах с распределенной памятью

Турбулентные процессы в геофизических пограничных слоях Атмосферный пограничный слой H ABL ~ м Верхний пограничный слой океана H UOL ~ м Придонный пограничный слой океан H OBL ~ м Стратификация Солнечная радиация Наличие облачности и фазовые переходы в АПС Сильно шероховатая орографический и гидрологический неоднородная поверхность в АПС Генерация турбулентности за счет обрушения ветровых волн в ВПСО … Очень большие числа Рейнольдса Атмосферный пограничный слой - Re ~ 10 9 Верхний слой океана - Re~ Придонный слой океана - Re~

. Фильтрация по пространству Сводит исходную систему к системе с меньшим количеством степеней свободы Вихреразрешающее моделирование (Large Eddy Simulation, LES) Для очень больших чисел Re 1. Влиянием молекулярной вязкости на крупные вихри можно пренебречь 2. Необходимо найти турбулентное замыкание Центральная проблема LES. Система уравнений Навье Стокса для вязкой несжимаемой жидкости или газа. Прямое численное моделирование (DNS) Для планетарного пограничного слоя атмосферы:

Основной недостаток моделей вихревой вязкости – слабая корреляция моделируемых и наблюдаемых подсеточных сил вследствие несовпадения ориентации тензора напряжений и тензора скоростей деформации. Основное достоинство – способность правильно описывать прямой каскад энергии от разрешаемых явно вихрей к подсеточным. собственные векторы тензоров При наличии сильной анизотропии (струйные, пристеночные течения) такие модели не могут одновременно воспроизвести и диссипацию энергии и подсеточный поток импульса, вносящий существенный вклад в средний суммарный поток импульса. Область применения диффузионных моделей - квазиоднородные турбулентные течения поддерживаемые за счет крупномасштабного внешнего воздействия (например, неустойчиво стратифицированные пограничные слои атмосферы и океана) Моделирование конвективных ВСО и ПСА при помощи модели с К-ε замыканием

Лагранжев перенос мелкодисперсной примеси в городской среде Ветер Концентрация и траектории частиц Процессы, которые должна воспроизводить численная модель, для корректного решения такой задачи: Внутренние пограничные слои, возникающие у поверхности земли, вдоль крыш и стен зданий. Динамика планетарного пограничного слоя атмосферы над городской застройкой. Квазистационарные и квазипериодические крупномасштабные структуры, возникающие при обтекании крупных препятствий турбулентным потоком (например вихревые дорожки Кармана за высотными зданиями). Структура и энергия мелкомасштабных пульсаций скорости. и т.д. (влияние плотностной стратификации, потоки тепла со стен зданий, корректные граничные условия …)

В данном случае не сама задача определяет необходимые компьютерные ресурсы, а имеющиеся компьютерные ресурсы определяют размерность той задачи, которую возможно решить. При использовании нескольких сотен процессоров суперкомпьютера СКИФ можно моделировать турбулентные течения в областях сложной конфигурации с разрешением порядка нескольких метров и размером расчетной области от нескольких сотен метров до нескольких километров (размерность задачи ~ 10^8) Deardorff J.W. The use of subgrid transport equations in a three- dimensional model of atmospheric turbulence // Journal of Fluids Engineering. ~ 30 лет 2002 Walton et al. Large-eddy simulation of pollution dispersion in an urban street Canyon... Atmos. Environ. 36,

Любая нестационарная трехмерная гидродинамическая численная модель (слабо- диссипативная и численно устойчивая) при расчете обтекания городской застройки будет генерировать нестационарные течения визуально схожие с реальной турбулентностью, однако статистическая близость модельного решения и реального турбулентного течения не может быть гарантирована. Прежде, чем приступить к решению «реальных задач» необходимо тщательное тестирование численных моделей. Надежные данные лабораторных измерений и данные DNS могут оказаться более полезными, чем натурные наблюдения. Re-independent from Re τ ~ 2000 (Re H ~ ) ? Re D ~10 3 Re h ~10 5 Re D ~10 4 Channel flow (can be successfully simulated by dynamic SGS models or nondynamic SGS model with ad-hoc turning of parameters and near-wall damping functions ) Forward-backward facing step flow (can be successfully simulated by dynamic SGS models or nondynamic SGS models with ad-hoc turning of parameters and fine grids) Turbulent von Karman vortex street (the results of simulations are very dependent on the numerical scheme, spatial resolution and configuration of grids). Dynamic approach sometimes improve result, sometimes make it worse. Isnt very sensitive to the wall friction. Turbulent flow within the array of staggered cubs and boundary layer above it (the simplest flow for simulation due to low Re independence edge) successful and not very expensive DNS and LES with eddy viscosity SGS models

SSM - scale-similarity model (Bardina, et al., 1983), (Sagaut, 1998), (Layton and Lewandowski 2002): MM - mixed model (Bardina, et al., 1983), (Zang, et al., 1993): Смешанная модель сочетает достоинства модели Смагоринского (диссипативность) и модели подобия масштабов - высокую корреляцию наблюдаемых и моделируемых турбулентных напряжений. Измеренная и вычисленная при помощи SSM модели и смешанной модели компонента тензора напряжений в турбулентной струе (Liu,1994) Смешанная модель SSM модель Данные

Динамический метод определения коэффициентов, входящих в замыкания (Germano, 1991): - Тестовый фильтр Применяя тождество Германо к смешанной модели получаем: Переопределенная система уравнений для параметра С Находим решение, минимизируя норму невязки Тождество Германо: Не содержит нефильтрованных компонент скорости В динамических подсеточных и подсеточных/подфильтровых моделях турбулентности используется предположение об инвариантности коэффициентов, входящих в замыкание, относительно эффективной ширины фильтрации. Иными словами, предполагается, что одна и та же подсеточная модель без какого либо изменения может применяться как при более грубом, так и при более мелком пространственном разрешении. Имея решение на мелкой сетке всегда можно получить решение на грубой сетке с помощью дополнительной «тестовой» фильтрации по пространству и получить для него оценку турбулентных напряжений. На практике это приводит к задачам минимизации невязок переопределенных систем линейных уравнений, решение которых обеспечивает оптимальное (с точки зрения инвариантности модели относительно пространственного разрешения) распределение параметрических коэффициентов в пространстве и времени. Динамическая процедура может быть построена не только для модели Смагоринского, но и для других замыканий.

LES DNS (Re τ = 550, 934, 2003) DNS суток непрерывного счета на 2048 процессорах массивно-параллельного компьютера Marenostrum (2005). Для ПСА этот расчет соответствует расчету в области размером 100×38×8 см. сроком на 0.8 секунды LES - ~24 часов на 64-х процессорах.

W/U* Периодические граничные условия, поток поддерживается за счет постоянного градиента давления. (Xie and Castro, Smagorinsky SGS Cs=0.1, second-order central difference scheme) расчетных точки на сторону куба достаточно для воспроизведения характерных особенностей потока. Динамическая модель позволяет воспроизвести некоторые детали при меньшем пространственном разрешении.

( Addad et al, 2003) STAR-CD code, Smagorinsky SGSM, damping functions, manually turned C s Fine grid near the object ~ 40 points per height of step Smagorinsky (blue) and mixed dynamic models (green) in comparison with observed data and results of STAR-CD. 10 grid points per height of step With this spatial resolution Smagorinsky SGSM failed to predict vortex in front of the step Streamlines of averaged velocity in LES with mixed dynamic SGS/SFS model Reattachment points Leclercq (2001) data U V Grid in STAR-CD Grid in mixed dynamic LES

Простые и дешевые подсеточные модели и схемы 2-го порядка (1) или Динамические подсеточные/под фильтровые замыкания в совокупности с аппроксимациями высокого порядка точности (2) ? 12 + Просто реализовать и распараллелить- + Надежные устойчивые вычисления+ (необходимость контролировать сходимость итерационных процедур, наличие не всегда универсальных ограничений… ) + Во многих случаях, представляющих практический интерес, верный результат может быть достигнут за счет измельчения сеток и подбора параметров. + (улучшение результата по мере измельчения шага без подбора параметров) - Результат принципиально зависит от выбора сетки.+ В идеале (но не всегда в практической реализации) результат не зависит от шага сетки в некотором диапазоне пространственных разрешений. Уменьшение шага сетки во всех пространственных направлениях: Δ Δ/m Количество арифметических операций N c * N * m 3 *ln(m) *m N c * N * m 5 Повышение порядка аппроксимации и динамические замыкания N c1 * с 2 * N С1 ~ (CD2 CD4) C2 ~ 1.5 – 4 (различные варианты динамических замыканий) FFT Условие Куранта Итерационные методы решения эллиптического уравнения

Simulation of the flow around square cylinder One of the benchmark problems of turbulent flow simulation past bluff bodies Was considered as test case LES2 during ERCOFTAC Workshop, 1994 Precise experimental data are available) ( Lyn et al. 1995)

Несмотря на увеличение доли межпроцессорных обменов, с увеличением количества процессоров суммарное время выполнения задачи уменьшается за счет более эффективного использования кэш- памяти Параллельная реализация модели Используется МPI Возможна 2-D и 3-D декомпозиция расчетной области. Оперативная память распределена между процессами, что снимает ограничения по памяти при достаточно большом количестве расчетных модулей. Анализ эффективности параллельных вычислений на суперкомпьютере СКИФ-МГУ «Чебышев» ; размерность задачи 456 х 152 х 264 ( узлов сетки); суммарное процессорное время, необходимое для получения статистик течения, ~ 2000 часов. Процент времени, затрачиваемого на обмены Распределение компьютерных затрат между вычислениями и межпроцессорными обменами при использовании 24, 38, 114, 144, 228 и 304-х процессоров При использовании 304 процессоров суммарное время счета уменьшается приблизительно в 1,7 раза по сравнению с расчетом на 38 процессорах, а физическое время счета уменьшается в 13,8 раза (при линейной масштабируемости параллельных вычислений ускорение было бы равно 8 ) Данная задача не может быть реализована в однопроцессорном режиме в силу нехватки оперативной памяти на одном узле