WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!

На правах рукописи

Морозов Дмитрий Николаевич

МОДЕЛИРОВАНИЕ ТЕЧЕНИЯ МНОГОФАЗНОЙ ЖИДКОСТИ В ПОРИСТОЙ СРЕДЕ С ИСПОЛЬЗОВАНИЕМ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ГИБРИДНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

05.13.18 – Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

Москва – 2012

Работа выполнена на кафедре математического моделирования Московского физико-технического института (государственного университета)

Научный консультант: кандидат физико-математических наук Чурбанова Наталья Геннадьевна

Официальные оппоненты: доктор физико-математических наук, профессор Якуш Сергей Евгеньевич, Институт проблем механики имени А.Ю. Ишлинского РАН, ведущий научный сотрудник кандидат физико-математических наук Савенков Евгений Борисович, Институт прикладной математики имени М.В.Келдыша РАН, научный сотрудник сектора вычислительной геофизики отдела №

Ведущая организация: Институт проблем безопасного развития атомной энергетики РАН

Защита состоится « » декабря 2012 г. в часов на заседании диссертационного совета Д 212.156.05 при Московском физико-техническом институте (государственном университете) по адресу 141700, Московская обл., г. Долгопрудный, Институтский пер.,






© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.
д. 9, ауд. 903 КПМ.

С диссертацией можно ознакомиться в библиотеке Московского физикотехнического института (государственного университета).

Автореферат разослан « » ноября 2012 г.

Ученый секретарь диссертационного совета Федько Ольга Сергеевна

Общая характеристика работы

Актуальность работы. Математическое моделирование течения многофазных жидкостей в пористых средах является важной задачей для научной, экономической, экологической, индустриальной и многих других сфер. Особо важно решение индустриально-технологических задач, которые, как правило, междисциплинарны, отражают сложную геометрию описываемых конструкций, требуют высокой точности расчетов. Высокопроизводительные вычислительные системы открывают уникальные возможности для решения этих задач.

На сегодняшний день новые высокопроизводительные системы, как правило, создаются по модульному принципу, то есть состоят из объединенных коммуникационной системой процессорных модулей. Число процессорных ядер таких систем составляет уже порядка нескольких десятков тысяч единиц. Ресурсы этих систем могут быть использованы для проведения широкомасштабных вычислительных экспериментов, расчетов на подробных сетках, содержащих десятки и сотни миллионов узлов.

В настоящее время во всем мире усиливается тенденция к использованию вычислительных систем, базирующихся на многоядерных процессорах нетрадиционной архитектуры. Однако, имеются существенные проблемы, связанные с реальным эффективным использованием возможностей таких систем.

Трудности значительно возрастают даже по сравнению с непростыми проблемами использования уже существующих высокопроизводительных компьютеров. Эти трудности связаны как со спецификой вычислительных алгоритмов для высокопроизводительных вычислительных систем, так и с проблемами вспомогательного программного инструментария. Такие вычислительные системы требуют разработки программного обеспечения, учитывающего гибридную структуру памяти: распределенную между процессорами и общую для ядер одного процессора. В этом смысле очень привлекательными оказываются явные схемы, которые легко адаптируются к различной архитектуре ЭВМ и позволяют эффективно использовать вычислительные системы, содержащие 103-104 ядер. Однако, явные схемы накладывают жесткое ограничение на шаг по времени, связанное с требованием устойчивости, особенно при решении уравнений и систем параболического типа. В связи с этим перспективным направлением является разработка явных схем с как можно более мягким условием устойчивости.

В физической постановке задач о течениях в пористых средах в диссертации учитывается слабая сжимаемость жидкостей, что приводит к более полному и точному описанию процессов фильтрации в грунтах по сравнению с традиционными подходами, где жидкости считаются несжимаемыми. Для построения физической модели используется «принцип минимальных размеров», определяющий минимальные характерные величины в пространстве и времени для данного типа течений. Такой подход является одним из широко используемых в мировой практике кинетических подходов, примерами которых являются Lattice Boltzmann и кинетически-согласованные схемы.

Цели диссертационной работы.

Разработка модели течения двухфазной жидкости в пористой среде, допускающей реализацию явными разностными схемами;

Создание алгоритма и комплекса программ, ориентированных на решение задач фильтрации на высокопроизводительных гибридных кластерах;

Проверка модели и эффективности комплекса программ на тестовых задачах.

Для достижения поставленных целей на основе кинетического подхода по аналогии с квазигазодинамической системой уравнений разработаны модели течения двух- и трехфазных жидкостей в пористой среде в предположении их слабой сжимаемости. Модели допускают численную реализацию с помощью алгоритмов явного типа. Для повышения порога устойчивости осуществлен переход к гиперболической системе уравнений фильтрации, построена трехслойная явная разностная схема второго порядка как по пространству, так и по времени. Проведены расчеты задач просачивания загрязняющих веществ в почву и задач нефтедобычи (в двумерной и трехмерной постановках).

Достоверность и обоснованность результатов. Достоверность результатов обусловлена применением математически обоснованных методов решения, апробацией при решении эталонных задач, сравнением результатов расчетов с результатами, полученными ранее другими методами и программными пакетами, разработанными в ИПМ РАН.

Научная новизна. Предложенная новая кинетическая модель течения многофазных слабосжимаемых жидкостей в пористых средах является оригинальной, так как она предложена впервые и основана на аналогии с квазигазодинамической системой уравнений. Также впервые предложен переход от параболического типа системы уравнений фильтрации к гиперболическому типу и построены трехслойные явные разностные схемы, что позволило получить более мягкие условия устойчивости. Они были обоснованы теоретически и подтверждены тестовыми расчетами задач о загрязнении почвы нефтепродуктами. Впервые реализован комплекс программ для решения задач фильтрации на гибридных вычислительных системах, который позволил сократить расчетное время решения задач в десятки раз.

Практическая значимость. Реализованный в работе модульный программный комплекс применим для решения широкого спектра задач фильтрации (в том числе задач нефтедобычи). Благодаря гибкой модульной структуре, в комплексе программ заложена возможность учитывать разномасштабные физические процессы, имеющие разную природу (гидродинамика, фазовые переходы, горение). Универсальность комплекса позволяет использовать его как на гибридных вычислительных системах с графическими ускорителями, так и на классических многопроцессорных кластерах и персональных ЭВМ.

Использование явных схем и алгоритмов расчетов на графических ускорителях позволяет значительно сократить расчетное время решения задач.

Работа над диссертацией проводилась при поддержке грантов РФФИ:

12-01-90008-Бел_а «Разработка, анализ и применение новых эффективных разностных методов решения многомерных задач фильтрации и конвекции-диффузии», 12-01-00769-а «Кинетические модели и высокопроизводительные вычисления», 10-01-90005-Бел_а «Разработка и исследование эффективных сеточных алгоритмов и математическое моделирование некоторых задач гидрои газодинамики», 09-01-00600-а «Применение квазигазодинамической системы для решения задач механики сплошной среды», 08-01-90261-Узб_а «Разработка и реализация параллельных алгоритмов для решения задач гидромеханики и нефтедобычи».

Апробация работы. Основные результаты диссертации докладывались и обсуждались на следующих российских и международных конференциях:

2-ая Международная конференция по параллельным, распределенным, сеточным и облачным вычислениям (PARENG, Аяччо, Корсика, Франция, 2011);

The 4, 5, 6th Europen Congresses on Computational Methods in Applied Sciences and Engineering (ECCOMAS, Venice, Italy, 2008; Lisbon, Portugal, 2010; Vienna, Austria, 2012);

The 15, 17th International Conferences Mathematical Modelling and Analisis (Druskininkai, Lithuania, 2010; Tallin, Estonia, 2012) The 8th International Conference on Large Scale Scientific Computations (Sozopol, Bulgaria, 2012);

Всероссийская научная конференция «Современные проблемы математического моделирования, супервычислений и информационных технологий» (Таганрог, 2012);

51, 52, 53, 54 Научных конференциях МФТИ «Современные проблемы фундаментальных и прикладных наук» (Долгопрудный, 2008-2011).

Публикации. Материалы диссертации опубликованы в 18 печатных работах, из них 4 статьи в рецензируемых журналах из списка ВАК [1–4], статей в журналах и сборниках трудов конференций [5–18].

Личный вклад автора. Содержание диссертации и основные положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы. Подготовка к публикации полученных результатов проводилась совместно с соавторами, причем вклад диссертанта был определяющим. Все представленные в диссертации результаты получены лично автором.

Структура и объем диссертации. Диссертация состоит из введения, трех глав, заключения и библиографии. Общий объем диссертации составляет 1страниц. Библиография включает 57 наименований.

Содержание работы Во Введении обоснована актуальность диссертационной работы, сделан обзор публикаций по теме диссертации, сформулированы цели и аргументирована научная новизна исследований, показана практическая значимость полученных результатов, представлены выносимые на защиту научные положения.

В первой главе рассматривается решение задач двухфазной фильтрации IMPES-методом. Система уравнений задачи двухфазной фильтрации может быть представлена в следующем виде:

k1(S ) k1(S ) 1 1 mS = div K grad P1 - 1gz K, t µ1 µ k2(S ) k2(S ) 2 2 mS = div K grad P2 - 2 gz K, t µ2 µ(1) S + S = 1, 1 P2 - P1 = Pk(S ), где индекс = 1; 2 определяет фазу, m – пористость, S – насыщенность фазы , µ – вязкости фаз, k(S ) – относительная фазовая проницаемость, K – абсолютная проницаемость среды, Pk(S ) – капиллярное давление.

Исходя из формы представления уравнений в P1, S, конечно-разностная форма данных уравнений может быть расщеплена. Таким образом получается система уравнений:

k1(S ) k2(S ) 2 div K + grad P1 = µ1 µ k2(S ) k1(S ) k2(S ) 2 2 -div K grad Pk + 1gz K + 2gz K = µ2 µ1 µ(2) k2(S ) k2(S ) 2 2 mS = div K grad P2 - 2gz K.

t µ2 µВ данной формулировке функция капиллярного давления может быть произвольной, при условии что существует производная Pk(S ). Эта процедура известна как метод «неявное давление - явная насыщенность» или IMPESметод.

Первое уравнение является уравнением эллиптического типа относительно давления первой фазы и его необходимо решать итерационным методом.

Второе уравнение относительно насыщенности второй фазы допускает построение явной схемы, однако его можно также решать итерационными методами.

Для получения физически корректного решения вычислительный алгоритм должен реализовывать на интерфейсе специальные условия, которые состоят в непрерывности потоков фаз, а также в непрерывности всех давлений, включая капиллярное, в момент перехода вытесняющей жидкости через интерфейс.

При рассмотрении процессов в неоднородной среде возникает проблема разрыва некоторых параметров на границе раздела фаз. В этом случае при расчетах необходимо выполнение двух условий на интерфейсе: непрерывность потока через границу раздела и непрерывность капиллярного давления. Из последнего условия вытекает разрыв насыщенности на интерфейсе.

Для моделирования этой ситуации предлагается следующий алгоритм, основанный на IMPES методе. Насыщенность вычисляется сквозным счетом I во всех точках расчетной области, включая значения S на интерфейсе (в обII ласти с большей проницаемостью). А значения S на интерфейсе (в области с меньшей проницаемостью) рассчитываются по следующей формуле:

I * 1, если S S, 1 II S = (3) I I * [PcI]-1, если S < S, 1 I где [PcI]-1 - функция, обратная функции Брукса–Кори в области II, выра* жающая зависимость насыщенности от капиллярного давления; S определяw I * I ется из условия [Pc](S ) = [PcI].

Основные результаты первой главы опубликованы в работе [8].

Во второй главе предложена и рассматривается модель фильтрации, допускающая реализацию явными разностными схемами. Как было показано в работе [19], экспериментальный закон Дарси является следствием усреднения уравнения для импульса флюида на расстоянии порядка нескольких десятков диаметров зерен породы. Обозначим это расстояние l.

Обобщением этого подхода явилась модель фильтрации [20, 21] lc + div u = div grad (4) t k u = -grad P (5) = 0 + (P - P0), (6) где t – время, – плотность флюида, P – давление, k – коэффициент проницаемости, – коэффициент сжимаемости, P0 и 0 – начальные значения давления и плотности, c – некоторое значение скорости, по порядку величины совпадающее со скоростью звука в фильтрующейся жидкости.

Модель (4)-(6) показала свою эффективность при использовании явных схем [20, 21].

В диссертации предложено дальнейшее развитие данной модели.

Явная схема для уравнения (4) ij+1 - ij = A(j, uj), (7) t где A - оператор, аппроксимирующий пространственные производные, стоящие в левой и правой частях уравнения (4).

Используя разложение Тейлора с точностью до членов второго порядка малости, получим ij+1 - ij j t 2 = + + O(t2) (8) t t 2 t По аналогии с квазигазодинамической системой уравнений [21] интерпретируем t, стоящее в правой части (8), как время установления внутренне го равновесия в объеме с характерным размером l. В газовой динамике таким масштабом является время между столкновениями молекул , по аналогии с которым и переобозначим t. В итоге уравнение (4) заменяется на 2 lc + + divu = div grad (9) t 2 t2 Учитывая (5) и (6), уравнение (9) представляется в виде 2 lc + = div (k-1-1 + ) grad (10) t 2 t2 Для уравнения (10) выписывается трехслойная разностная схема ij+1 - ij-1 ij+1 - 2ij + ij- lc + = ijk-1-1 + x, (11) i 2t 2 t2 xi lc где ijk-1-1 + x, i = 1, 2, 3 - стандартная разностная аппроксимация [22] i xi lc дифференциального члена div grad . Например, для пространственно-одно lc мерного случая и постоянных коэффициентов ijk-1-1 + выражение (11) примет вид ij+1 - ij-lc lc hj = ijk-1-1 + i-1 + 2 ijk-1 + - ij - (12) 2t 2 2 2t h2 h2 lc j - ij+1 - ij-1 + ijk-1-1 + i+1.

2t2 2t2 Если параметр таков, что lc hijk-1-1 + - = 0, (13) 2 2tто схема (12) перейдет в схему Дюффорта-Франкела [22], которая является абсолютно устойчивой.

Однако, возможности схемы (11) выше, чем у схемы Дюффорта-Франкела, недостатком которой является вероятность неконтролируемой потери аппроксимации исходного дифференциального уравнения. Схема (11) аппроксимирует уравнение (10), в основе которого лежит учет минимальных размеров по времени и пространству, меньше которых дальнейшая детализация решения не имеет смысла [23]. В рамках схемы (11) появляется возможность, варьируя параметр , добиться приемлемого соотношения между устойчивостью схемы и ее аппроксимационными свойствами.

2 Для того, чтобы дополнительный член был мал по сравнению с и 2 t2 t не оказывал сколь-нибудь заметного влияния на результат расчетов, достаточно, чтобы /tфильт 1 (14) Учитывая, что tфильт L/U, где L - характерный размер резервуара, U - скорость фильтрации, достаточно выбрать h/U или без учета размерности h. (15) С другой стороны, схема (11) перейдет в устойчивую схему Дюффорта-Франкела (12), если выполнено условие (13). Таким образом, не требуя полного совпадения со схемой Дюффорта-Франкела, с учетом (15) будем искать устойчивый диапазон для трехслойной схемы (11) при следующем соотношении шагов по пространству и времени t h3/2. (16) Отметим, что условие (16) является гораздо более приемлемым1 по сравнению с классическим ограничением на шаг по времени t h2. Особенно эти преимущества ограничения (16) проявляются на подробных сетках, применение которых допускают высокопроизводительные многопроцессорные/многоядерные вычислительные системы.

В качестве теста рассмотривалась задача протекания жидкости к гидродинамически совершенной добывающей скважине. Центр скважины расположен в начале координат, r - радиус скважины, R - радиус контура питания, на забое скважины и на контуре питания заданы постоянные давление и плотность. Перейдем к полярным координатам (r, ). В силу осевой симметрии нет зависимости от угла , давление, плотность и скорость фильтрации в любой точке зависят только от расстояния r данной точки до оси скважины. Система уравний для описанной выше модели выглядит следующим образом:

P ur = -k, (18) r 2 1 1 lc + + (r ur) = r, (19) r t2 r r r r 2 r В рамках схемы (11) можно было бы добиться условия устойчивости типа условия Куранта t h. (17) Однако при этом выбор параметра определялся бы условием O(1), что привело бы к существенному искажению исходного решения.

= 0 + (P - P0). (20) Расчетная формула для установившегося плоскорадиального потока в пористой среде известна [24]:

Pk - Pc r P = Pc + ln. (21) ln(Rk/rc) rc В классической модели с центрально-разностной аппроксимацией конвективных членов максимально допустимый по условиям устойчивости шаг по времени t = 2·10-4 с. Осцилляции решения наблюдаются при любом шаге по времени.

При использовании модели с модифицированным уравнением неразрывности и двухслойной разностной схемы при l 10-4 см решение задачи сглаживается и фактически совпадает с точным решением (21). Максимально допустимый по условию устойчивости шаг по времени не изменяется и равен t = 2 · 10-4 с.

При использовании модели с модифицированным уравнением неразрывности и трехслойной схемы при l 10-4 см, = 2 с и трехслойной схемы (11) для ее решения полученные профили также гладкие и практически совпадают с аналитическим решением. Однако допустимый шаг по времени резко увеличивается и равен t = 2 · 10-2 с.

Также рассматривался двумерный случай почти радиального фильтрационного течения. Жидкость притекает к гидродинамически совершенной добывающей скважине, находящейся в центре прямоугольной области D = [0, xmax] [0, ymax]. Контур питания находится на границе G области D. В начальный момент скорость равна нулю во всей области D, на контуре питания задается давление Pk, во всей остальной области задается давление Pc. В качестве граничных условий на забое скважины и на границе задаются постоянные давление и плотность.

Система уравнений принимает вид:

P u = -k, x P v = -k, y = 0 + (P - P0), 2 lc 2 2 + + (u) + (v) = +, t t2 x y 2 x2 yгде u и v - компоненты вектора скорости u по направлениям x и y.

В классической модели максимальный шаг по времени t = 10-2 с. Осцилляции наблюдаются при любом шаге по времени.

При использовании модифицированного уравнения неразрывности и двухслойной схемы при l 10-4 см решение задачи сглаживается. Максимальный шаг по времени равен t = 10-2 с.

При использовании трехслойной схемы при l 10-4 см и = 1.59 с решение задачи сглаживается, а максимальный шаг по времени увеличивается до t = 0.35 с.

Основываясь на полученных результах и традиционной модели двухфазного течения [25], которая учитывает гравитационные и капиллярные силы, в диссертации получена гиперболическая система уравнений для описания процесса двухфазной фильтрации (индекс обозначает фазу: w – вода, n – NAPL от английского Non-Aqueous Phase Liquid):

(S ) lc m + div (u) = div grad(S ), (22) t k(S ) u = -K (gradP - g), (23) µ = 0[1 + (P - P0)], (24) Pn - Pw = Pk(S ) (25) w S + S = 1, (26) n w где m — пористость, S — насыщенность фазы , k(S ) — относительная n фазовая проницаемость, Pk(S ) — капиллярное давление.

w Основываясь на этой модели, в диссертации представлен алгоритм решения задач фильтрации, который состоит из следующих этапов для каждой из фаз ( = w, n).

1. Вычисление по закону Дарси скоростей обеих фаз на текущем временном слое:

j j j k(S ) - Pi-wi Pi+1 uij = -K - g, µ 2h 2. Вычисление (S )ij+1 из уравнения (22) на новом слое по времени.

j+3. Вычисление насыщенности NAPL S и давления водной фазы Pwij+ni на новом слое по времени в каждом узле расчетной сетки из следующей системы уравнений:

j+1 j+ 0w(1 + w[Pw - P0])(1 - S ) = (wS )ij+1, n w (27) j+1 j+1 j+1 j+ 0n(1 + n[Pw + Pk (S ) - P0])S = (nS )ij+1.

n n Эта система может быть решена, например, методом Ньютона в каждой точке расчетной сетки. Таким образом, время расчета одной точки не зависит от общего количество узлов расчетной сетки. Что позволяет получить линейную зависимость времени расчета задачи от общего количества узлов сетки.

j+4. Вычисление S, Pnij+1 и ij+1 из (26), (25) и уравнения состояния (24) wi соответственно.

Полученным алгоритмом в диссертации решена двумерная и трехмерная задачи о просачивании загрязняющего вещества DNAPL (от английского Dense Non-Aqueous Phase Liquid), например, тетрахлорэтилена в резервуар, заполненный водой. На верхней границе резервуара находится источник DNAPL с постоянной насыщенностью. Под действием силы тяжести DNAPL проникает в резервуар.

Для расчетов задачи разработана программа на языке C/C++. Результаты полностью подтвердили теоретические расчеты. Переход от параболической к гиперболической системе уравнений позволил увеличить порог устойчивости.

Например, для h = 0.5 см шаг по времени t был увеличен с 1 с до 15 c.

Было получено совпадение результатов с полученными ранее в ИПМ РАН классическими методами (например IMPES).

Основные результаты второй главы опубликованы в работах [1, 2].

В третьей главе описывается программный комплекс для решения задач фильтрации. Для проведения расчетов задач фильтрации на ГВС был создан комплекс программ на языке C/C++ с использованием библиотек CUDA, MPI и SHMEM-express. Для задач, связанных с моделированием многофазных течений в пористых средах, в связи с разномасштабностью входящих в математическую модель физических величин, требуется проводить расчеты с двойной точностью. Комплекс ориентирован на класс задач, в которых аппроксимация производится на ортогональных сетках в прямоугольных областях с помощью явных разностных схем. В основу положен модульный принцип:

комплекс состоит из четырех уровней - управляющего, расчетного, коммуникационного и уровня тестирования, который используется при отладке.

Каждый уровень состоит из модулей. Чтобы перейти от решения двухфазной задачи фильтрации к решению трехфазной задачи, необходимо изменить только один модуль из расчетного слоя. Чтобы производить расчеты на GPU, а не на CPU, также надо заменить только один модуль расчетного слоя. Таким образом, осуществлена возможность использования комплекса для расчетов как на персональном компьютере (с использованием CPU или GPU), так и на традиционных MPI-кластерах и кластерах с гибридной архитектурой [5].

Кроме того, модульная структура позволяет использовать при необходимости для каждого модуля свой компилятор, например, собирать код на CUDA с помощью компилятора nvcc, код на MPI - с помощью mpicc, а также включать модули на различных языках программирования. Таким образом, комплекс защищен от проблемы устаревания языка – при использовании на гибридных кластерах более современного языка программирования, он будет поддержан комплексом без существенных доработок.

Следующая задача, решенная в рамках комплекса, это возможность проведения как двумерных, так и трехмерных расчетов без дополнительных модификаций модулей. Чтобы не создавать дополнительные расчетные модули, было принято решение использовать адресацию вида array[x+y*NX+z*NX*NY].

Где NX, NY, NZ – размеры расчетной области по осям x, y, z, соответственно.

Таким образом, вместо двумерных/трехмерных массивов используются одномерные. Кроме того, для двумерных задач используется естественное значение NZ=1 и без дополнительных изменений кода осуществляется переход от «трехмерных» к «двумерным» массивам array[x+y*NX]. Такое решение позволяет использовать одинаковые модули для расчета двумерных и трехмерных задач.

Разделение нагрузки между процессорами в комплексе осуществляется при помощи специального алгоритма: на основе эмпирически полученной информации о времени расчета одной расчетной точки, времени передачи данных между узлами, времени обмена CPU и GPU данными рассчитывается оптимальный метод разбиения расчетной сетки между узлами кластера. Такой подход позволяет одновременно использовать в расчетах и центральные, и графические процессоры на узлах.

Повышение ускорения в комплексе достигается за счет использования различных типов памяти GPU. Такой подход позволил значительно (в 3-4 раза) увеличить быстродействие расчетов. По возможности данные переносятся из медленной глобальной памяти в быструю регистровую. В ядре (kernel) производится копирование массива данных из глобальной памяти в регистровую, затем расчеты производятся с регистровой памятью, а результат снова возвращается в глобальную. Невозможность хранить все данные в регистровой памяти вызвана ее малым объемом (32 Кб на блок).

Для хранения констант задачи (для них необходим доступ только на чтение) используется быстрая кэшируемая константная память (на ускорителях NVidia Tesla C2050 ее максимальный объем - 64 Кб, что вполне достаточно для хранения констант).

Для оценки эффективности разработанного программного комплекса были проведены расчеты трехмерной тестовой задачи о просачивании двухфазной (вода - тетрахлорэтилен) жидкости в однородную пористую среду с использованием модели и алгоритма, описанных во второй главе диссертации.

Постановка задачи в двумерной расчетной области подробно описана во второй главе.

Расчеты проводились на гибридном вычислительном кластере К-100. Этот суперкомпьютер содержит 64 вычислительных узла, на каждом из которых установлено 2 шестиядерных процессора Intel Xeon X5370, 3 графических ускорителя NVidia Fermi C2050 (в каждом по 448 ядер GPU и 2.5 Гб памяти) и 96 Гб оперативной памяти. Вычислительные узлы соединены посредством коммуникационной системы «МВС-Экспресс» и внутренней сети Infiniband, скорость передачи данных между узлами до 700 Мбайт/с, латентность порядка 1.2 мкс.

Тестовые расчеты задачи просачивания продемонстрировали следующие результаты по быстродействию. Максимальное число точек расчетной сетки, которое умещается в памяти одного графического ускорителя, составляет порядка 2503 (15 млн.). На такой сетке 500 шагов по времени на одном графическом ускорителе рассчитываются за 174 секунды, на трех графических ускорителях одного узла — за 127 секунд, на одном ядре CPU — за 18878 секунд, на одном шестиядерном CPU — за 3 554 секунды, а на узле, состоящем из двух центральных процессоров, — за 1 781 секунду.

Таким образом, ускорение одного GPU по сравнению с одним ядром CPU составляет 108.5, ускорение одного GPU по сравнению с одним шестиядерным CPU — 20.4. Один узел кластера К-100, состоящий из трех графических плат, рассчитал задачу быстрее одного узла, состоящего из двух шестиядерных процессоров, в 14 раз.

В следующем эксперименте количество точек расчетной сетки было увеличено в 100 раз и составило около 1.5 млрд. Были проведены расчеты 1шагов по времени и получены следующие результаты: 80 графических ускорителей произвели расчет за 80 секунд, а 80 ядер CPU — за 5 744 секунды, таким образом, ускорение составило 71.8 раза. Хотя и для графических ускорителей, и для CPU используются одни и те же коммуникационные модули (в программном комплексе реализованы коммуникации на основе MPI и SHMEMexpress), но эффективность расчетов на нескольких CPU по сравнению с одним CPU несколько выше, чем эффективность расчетов на нескольких GPU по сравнению с одним GPU. Это связано с дополнительными временными затратами на загрузку/выгрузку данных из памяти GPU в оперативную память и обратно.

Основные результаты третьей главы опубликованы в работах [4, 5].

В Заключении изложены основные результаты диссертации.

Основные результаты диссертации 1. Создана модель течения слабосжимаемой жидкости в пористой среде, основанная на кинетическом подходе и аналогии с квазигазодинамической системой уравнений, для описания динамики двухфазной жидкости с учетом капиллярных и гравитационных сил.

2. Построены явные алгоритмы на основе двух- и трехслойных разностных схем, имеющих второй порядок аппроксимации по пространству и по времени, допускающие эффективную реализацию на многоядерных вычислительных системах.

3. Создан комплекс программ для расчетов задач многофазной фильтрации на кластерах с гибридной архитектурой, содержащих графические ускорители и поддерживающих технологии CUDA, MPI и SHMEM-express.

4. Проведены расчеты задач просачивания в двух- и трехмерных постановках на гибридном высокопроизводительном кластере «К-100». Продемонстрированы высокие ускорения вычислений при использовании подробных расчетных сеток: на сетке 15 миллионов точек на одном GPU достигнуто ускорение более чем в 100 раз по сравнению с одним ядром CPU, а на сетке 1.5 миллиарда точек на восьмидесяти GPU — в 72 раза по сравнению с восьмьюдесятью ядрами CPU.

Список публикаций 1. Четверушкин Б. Н., Морозов Д. Н., Трапезникова М. А., Чурбанова Н. Г., Шильников Е. В. Об одной схеме для решения задач фильтрации // Математическое моделирование. 2010. Т. 22, № 4. С. 99–109.

2. Морозов Д. Н., Трапезникова М. А., Четверушкин Б. Н., Чурбанова Н. Г.

Использование явных схем для моделирования процесса двухфазной фильтрации // Математическое моделирование. 2011. Т. 23, № 7. С. 52–60.

3. Морозов Д. Н., Четверушкин Б. Н., Чурбанова Н. Г., Трапезникова М. А.

Моделирование задач фильтрации на гибридных вычислительных системах // Известия ЮФУ. Технические науки. 2012. № 6. С. 87–91.

4. Морозов Д. Н., Трапезникова М. А., Четверушкин Б. Н., Чурбанова Н. Г.

Моделирование задач фильтрации на гибридных вычислительных системах // Математическое моделирование. 2012. Т. 24, № 10. С. 33–39.

5. Morozov D. N., Chetverushkin B. N., Churbanova N. G., Trapeznikova M. A.

An Explicit Algorithm for Porous Media Flow Simulation using GPUs / Proceedings of the Second International Conference on Parallel, Distributed, Grid and Cloud Computing for Engineering. Stirlingshire, UK: Civil-Comp Press, 2011. 12 p.

6. Trapeznikova M. A., Chetverushkin B. N., Churbanova N. G., Morozov D. N.

A Kinetically Based Algorithm for Porous Medium Flow Simulation on Multicore Computer Systems / Proceedings of the 6th European Congress on Computational Methods in Applied Sciences and Engineering (ECCOMAS 2012).

Vienna, Austria: 2012. 7 p.

7. Chetverushkin B. N., Churbanova N. G., Morozov D. N., Trapeznikova M. A.

Kinetic Approach to Simulation of Multiphase porous Media Flows / Proceedings of ECCOMAS CFD 2010. Lisbon, Portugal: IDMEC, 2010. 12 p.

8. Trapeznikova M. A., Chetverushkin B. N., Churbanova N. G., Morozov D. N., Shilnikov E. V. Simulation of Soil Contamination by Petroleum Product / Proceedings of WCCM8 and ECCOMAS. Venice, Italy: 2008. 2 p.

9. Trapeznikova M., Chetverushkin B., Churbanova N., Morozov D. Two-Phase Porous Media Flow Simulation on Hybrid Cluster / Lecture Notes in Computer Science. No. 7116. Springer, 2012. P. 644–651.

10. Trapeznikova M., Morozov D., Churbanova N., Chetverushkin B. Simulation of Porous Media Flows on Hybrid Computer Systems / Abstracts of the 17th International Conference Mathematical Modelling and Analisis. Tallinn, Estonia: Tallinn University of Technology, 2012. P. 129.

11. Morozov D. N., Trapeznikova M. A., Chetverushkin B. N., Churbanova N. G.

Application of Explicit Schemes for the Simulation of the Two Phase Filtration Process // Mathematical Models and Computer Simulations. 2012. Vol. 4, no. 10. P. 62–67.

12. Chetverushkin B. N., Morozov D. N., Trapeznikova M. A., Churbanova N. G., Shilnikov E. V. An Explicit Scheme for the Solution of the Filtration Problems // Mathematical Models and Computer Simulations. 2010. Vol. 2, no. 6.

P. 669–677.

13. Trapeznikova M., Chetverushkin B., Churbanova N., Morozov D. Two-Phase Porous Media Flow Simulation on Hybrid Cluster / Abstracts of the eight International Conference on large Scale Scientific Computations. Sozopol, Bulgaria: Institute of Informatiom and Communication Technologies Bulgarian Academy of Sciences, Sophia, 2011. P. 83.

14. Chetverushkin B. N., Churbanova N. G., Morozov D. N., Trapeznikova M. A.

Simulation of Two-Phase Porous Media Flows Using Explicit Difference Schemes / Abstracts of the 15th International Conference Mathematical Modelling and Analisis. Druskininkai, Lithuania: VGTU Press «Technika», 2010.

P. 103.

15. Морозов Д. Н. Моделирование процессов фильтрации жидкости в неоднородной пористой среде в трехмерном случае, оптимизированное для расчета на многопроцессорных системах / Труды 51-й научной конференции МФТИ. Т. VII. Москва-Долгопрудный: МФТИ, 2008. С. 85–87.

16. Морозов Д. Н. Использование явных схем при моделировании задач фильтрации / Труды 52-й научной конференции МФТИ. Т. VII. Москва-Долгопрудный: МФТИ, 2009. С. 130–132.

17. Морозов Д. Н. Моделирование задач фильтрации на вычислительных системах с гибридной архитектурой / Труды 53-й научной конференции МФТИ. Т. VII. Москва-Долгопрудный: МФТИ, 2010. С. 27–28.

18. Морозов Д. Н., Люпа А. А. Решение задач фильтрации на гибридных суперкомпьютерах / Труды 54-й научной конференции МФТИ. Т. Управление и прикладная математика. Москва-Долгопрудный-Жуковский: МФТИ, 2011. С. 18–19.

Цитированная литература 19. Бахвалов Н. С., Панасенко Г. П. Осреднение процессов в периодических средах. М.: Наука, 1984. С. 352.

20. Трапезникова М. А., Белоцерковская М. С., Четверушкин Б. Н. Аналог кинетически-согласованных схем для моделирования задач фильтрации // Математическое моделирование. 2002. Т. 14, № 10. С. 69–76.

21. Chetverushkin B. N. Kinetic schemes and Quasi-Gas Dynamic system of equations. Barselona, Spain: CIMNE, 2008.

22. Самарский А. А. Теория разностных схем. М.: Наука, 1977.

23. Четверушкин Б. Н. К вопросу об ограничении снизу на масштабы в механике сплошной среды // Время, хаос, математические проблемы. 2009.

Т. 4. С. 75–96.

24. Басниев К. С., Кочина И. Н., Максимов В. М. Подземная гидромеханика.

М.: Недра, 1993. С. 416.

25. Азиз Х., Сеттари Э. Математическое моделирование пластовых систем.

М.: Недра, 1982.

Морозов Дмитрий Николаевич МОДЕЛИРОВАНИЕ ТЕЧЕНИЯ МНОГОФАЗНОЙ ЖИДКОСТИ В ПОРИСТОЙ СРЕДЕ С ИСПОЛЬЗОВАНИЕМ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ГИБРИДНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ Автореферат Подписано в печать 09.11.2012. Формат 60 x 84 /16. Усл. печ. л. 1,0.

Тираж 100 экз. Заказ No. 623.

Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Московский физико-технический институт (государственный университет)» Отдел оперативной полиграфии «Физтех-полиграф» 141700, Московская обл., г. Долгопрудный, Институтский пер.,

Авторефераты по всем темам  >>  Авторефераты по техническим специальностям





© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.