1 Байков В. А. Высокопроизводительные вычисления в геостатистике. - презентация

1 1 Байков В. А. Высокопроизводительные вычисления в геостатистике

2 2 Глубоководная обстановка осадконакопления с преобладанием гравитационных сил. Активное появление/прерывание коллекторов. Проницаемость ~ 1 мД. Поле геолого-петрофизических характеристик нестационарно и анизотропно. Цель – реализовать в модели априорные знания о поведении коллекторов подобного типа (изменчивость по вертикали, связность, учет трендов распределения ФЕС внутри тел и т.д.). АС 10 АС 12 АС 11 Неразбуренная зона Разбуренная зона Разбуренная часть – шельфовые и склоновые отложения с выдержанными по латерали песчаными телами. Неразбуренная часть – глубоководные отложениями с повышенной расчлененностью и низкой связностью песчаных тел (~50% запасов месторождения): Крайне низкая прогнозность распространения коллекторов и ФЕС Очень расчлененный и неоднородный пласт Приобское месторождение. Пласт АС 12

3 3 Необходимы: А) пересмотр и адаптация существующих методик интерпретации и моделирования сверх-высокорасчлененных и низкопроницаемых глинистых коллекторов Б) механизмы гибкой и быстрой корректировки моделей при уточнении данных петрофизики, переинтерпретации ГИС, адаптации гидродинамических моделей, данных нового бурения. Приобское месторождение: 1. Огромный объем промысловых и геофизических данных 2. Высокий уровень нестационарности (зональной изменчивости) физических и геологических полей Особенности обработки данных Приобского месторождения

4 4 Поточечная пермеаметрия Результат поинтервальной интерпретации ГИС Глубоководные отложения пласта АС 12 : расчлененные коллектора частое переслаивание песчаных и глинистых прослоев общая макроцикличность «высоко-» и низкопроницаемых прослоев Результаты интерпретации ГИС: Являются зачастую достаточно сильным огрублением Усложняют внесение в модель изменений функциональной зависимости «керн-ГИС» Фиксируют результат субъективной интерпретации Керн Обнажение высокая проницаемость низкая проницаемость Поточечная или попластовая интерпретация ГИС?

5 5 С концептуальной точки зрения подтверждается природа и особенности глубоководных отложений турбидитов и конусов выноса. Большое количество эрозионных контактов по керну среда с высокой гидродинамической активностью осадконакопления. Свойства такой среды будут обладать достаточно высокой нестационарностью и анизотропностью. Макро-цикличность подтверждается на вариограммах по оси z Проницаемость, посчитанная непрерывным методом Поточечная пермеаметрия Результат поинтервальной интерпретации ГИС Поточечная или попластовая интерпретация ГИС?

6 6 Детерминированный подход: Физическая модель, полное знание о системе Вероятностный подход: - Неполнота знаний о системе - Керн, ГИС 0-1м - Скважинные данные м - Неточная входная информация Имеем 1)Статистика (неточность) 2)Отсутствие прямой информации масштаба м Геологическое моделирование

7 7 Основания математической модели в геостатистике 1. Гипотеза стационарности инвариантность к трансляции в пространстве 2. Изотропность зависимость только от расстояния (геометрическая анизотропия – сжатие+поворот изотропия) 3. Эргодичность пространственное среднее – есть среднее по времени 4. Природа случайного поля (Гауссовый процесс)…

8 8 Вариограмма определяется как значение математического ожидания среднеквадратического отклонения значения переменных, удаленных друг относительно друга на вектор h. XY Z Ограниченность математического аппарата Вариограммный анализ Z Адаптация на тренды падения (морфология прискважинной области) Прогноз разработки

9 9 Месторождения-аналоги – глубоководные отложения Chincotepec Basin, Gulf of Mexico: Фрактальность Hole effect Фрактал Hole effect Более сложные структуры (пространственную периодичность и т.д.) задать невозможно Ограниченность математических моделей

10 10 Геологический вертикальный разрез пласта? «Геологичные» построения – за счет сжатия- растяжения изотропного образа. Только благодаря экспертам геологическая модель «походит» на реальность (3D-посредством 1D) Геологический вертикальный разрез пласта? Подошва Кровля Подошва Кровля Вариограммный анализ. Ограничения метода

11 11 Вопрос ослабления основных ограничений Возможно ли: 1.Отказаться от стационарности (подразумевается обобщение модели тренд плюс стационарный остаток) и гауссовости? 2.Снять условие изотропности и геометрической анизотропии (разные вариограммы во всех направлениях)? 3.Исключить параметрический анализ вариограмм (сколь угодно много моделей вариограмм, автоматически)? 4.Повысить скорость и информативность решения ресурсоемких вычислительных задач геостатистики с использованием средств высокопроизводительных вычислений? Ответ: Да! Принципиально другая математика, отличная от используемой на сегодня в коммерческих продуктах.

12 12 Экспериментальные данные … Обусловленная стохастическая реализация Последовательное обусловленное гауссово моделирование Ускорение алгоритмов за счет задания специального пути обхода и Ограничения на размер обращаемой на каждом шаге ковариационной матрицы

13 13 Стационарные поля и их реализации Моделирование стационарного случайного поля производится согласно хорошо известной следующей теореме: Теорема Пусть – стационарный случайный процесс. Тогда справедливо представление вида: где – некоторое комплекснозначное случайное поле с нулевым средним и ортогональными приращениями. Моделирование стационарного случайного гауссова поля: здесь – шаг дискретизации, и независимы

14 14 Стационарные поля и их реализации Поскольку случайные амплитуды независимы, как между собой, так и не зависят от точки рассмотрения случайного ряда, параллелизация возможна: по числу элементов ряда по области построения реализации

15 г.: Параллельная версия для многоядерных систем с общей памятью (OpenMP). Параллельная версия для гибридных систем с GPU NVIDIA (OpenMP, PGI Accelerator) 2011 г.: Оптимизированная параллельная версия для многоядерных систем с общей памятью (OpenMP, Eigen). Оптимизированная параллельная версия для гибридных систем с GPU NVIDIA (OpenMP, Eigen, CUDA, CUBLAS). Параллельные версии геостатистического симулятора

16 16 Вычисления с использованием суперкомпьютера УГАТУ в области цифрового геологического моделирования используется при геостатистическом анализе входных данных и последующем геостохастическом моделировании, а также расчете топологических и геометрических характеристик смоделированных объектов (OpenMP-версия). Работа выполняется по заказу компании ОАО «НК-Роснефть» Поддержка кроссплатформенности позволила также задействовать многоядерность локальных ПК. Геостатистика на суперкомпьютере УГАТУ

17 17 Прикладное ПО ANSYS, CD-Adapco STAR-CD/CCM+, SIMULIA ABAQUS, DEFORM 3D Mathworks MATLAB и Simulink, Maplesoft Maple NGT BOS, Schlumberger Eclipse, Roxar Tempest More, ReST, Sedflux FDS, SpinPM, GAMESS Системное ПО CCS, CStat, CSched (УГАТУ) TORQUE, IBM LoadLeveler Ganglia, Job Monarch Средства разработки программ MVAPICH, Intel MPI и др. инструменты Intel Allinea DDT, OPT, PGI Accelerator Compilers, CUDA Программное обеспечение на кластере УГАТУ

18 18 Вычисления на GPU в УГАТУ Вычисления с использованием графических процессоров применяются в УГАТУ в следующих областях : моделирование технологических процессов (совместно с УМПО); геолого-гидродинамическое моделирование нефтяных месторождений (совместно с РН-УфаНИПИнефть); обработка спутниковых изображений (совместно с кафедрой ТС); молекулярная динамика; моделирование пожаров. В 2011 году университет был включен в академическую программу компании NVIDIA и получил статус учебного центра CUDA Teaching Center.

19 19 Результаты 2010 года. Тестирование на гибридном сервере Показано ускорение распараллеленных участков программы на мощном двухпроцессорном гибридном сервере с 4мя GPU. * Тестирование на сервере Kraftway Science KT25 Межведомственного суперкомпьютерного центра РАН (2 x Intel Xeon X5660 6C, 2.8 GHz, 48 GB DDR reg ECC, 4 x Tesla M2050) Ускорение OpenMP- и OpenMP/PGI-версий при выполнении на CPU и CPU+GPU относительно CPU (1 ядро)* Ускорение Ускорение в зависимости от числа задействованных ядер центральных процессоров Ускорение в зависимости от числа задействованных графических карт Число потоков

20 20 Тестирование на гибридном вычислительном узле кластера УГАТУ - IBM iDataPlex dx360 M3 server (2x Intel Xeon 5670 Six Core, 48 GB, 2 графических ускорителя NVIDIA Tesla M2050 (512 cores, 3 GB)) При использовании всей вычислительной мощности гибридного сервера (12 ядер CPU + 2 GPU) достигаемое ускорение времени вычислений при построении геостохастической геологической модели составляет более 45 раз относительно времени последовательного расчета. Результаты 2011 года. Тестирование на гибридном узле Построение геостохастической геологической модели

21 21 Основные участники проекта: Яковлев Андрей Александрович, г.н.с. – рук. группы, РН-УфаНИПИнефть; Мухамадеев Давид Салаватович, инженер, РН-УфаНИПИнефть; Бочков Андрей Сергеевич, г.с., РН-УфаНИПИнефть; Халиуллина Майя Рувилевна, в.с, РН-УфаНИПИнефть; Газизов Рафаил Кавыевич, зав. каф. ВВТиС, д.ф.-м.н, профессор, УГАТУ; Юлдашев Артур Владимирович, ст. преподаватель каф. ВВТиС, УГАТУ; Штангеев Андрей Леонидович, м.н.с. ИКИ, УГАТУ; Ермалаев Евгений Алексеевич, м.н.с. ИКИ, УГАТУ; Андреев Михаил Викторович, студент ОНФ, УГАТУ; Газизов Ильяс Ильшатович, студент ОНФ, УГАТУ. Благодарность

22 22 Спасибо за внимание!