Pull to refresh
0

Суперкомпьютер в САФУ: освоение Арктики численными методами

Reading time 6 min
Views 4.9K
В современных технических и инженерных вузах нередко решаются вполне серьезные вычислительные задачи, такие, что на обычном компьютере будут считаться днями и неделями. Мощные вычислительные комплексы, «числогрызы», уже создали у себя десятки университетов России. Один из них – недавно построенный компаниями Fujitsu и Softline суперкомпьютер в Северном Арктическом Федеральном Университете в Архангельске.



Для каких вычислений был нужен суперкомпьютер?


Целый ряд задач намного проще решать численными методами, чем аналитически. Обычно это прикладные задачи математического моделирования различных производственных агрегатов, например, химических реакторов, теплообменников или горелки сварочного аппарата. Достоверная модель позволяет точно предсказывать поведение реального аппарата в зависимости от изменения тех или иных параметров работы и совершенствовать его. Чтобы получить достоверную модель, обычно требуется не один раз сверить расчетные данные с данными реального эксперимента, внести коррективы в модель, пересчитать заново. Это очень затратно с точки зрения вычислений, даже если вы просчитываете промежуточные варианты модели с пониженной точностью. Несколько дней или недель расчетов на обыкновенном компьютере – это обычная реальность.

В САФУ такие ресурсоемкие вычисления используются сразу в нескольких научных и прикладных областях.

Первое направление – задачи в области молекулярной динамики. Это, например, моделирование диффузии, абсорбции, массопереноса в газовых смесях, все это рассчитывается с высокой точностью — до поведения сотен и тысяч молекул. На практике здесь решаются задачи улучшения свойств фильтрующих материалов, совершенствования технологий разделения смесей и очистки химических веществ.

Второе направление — гидрогазодинамика. Это тоже прикладные задачи, ориентированные на производство, в частности машиностроение. Один из примеров – численные расчеты поведения пламени в газовой горелке. Расчет скоростей, давлений и температур в разных слоях газа, завихрений, позволяют в итоге усовершенствовать технологию сварки, улучшить инструменты, повысить качество и скорость работы. Подобными задачами занимается филиал САФУ в Северодвинске. Это кузница флота, и там действительно много работают над совершенствованием производственных технологий.

Третье направление – теплотехника, расчеты в области термодинамики. Именно с кафедры теплотехники пришла первая задача, которую считали на суперкомпьютере. В студенческой работе на соискание звания бакалавра была создана математическая модель рекуператора – теплообменника для отбора от промышленных печей побочного тепла в виде нагретых газов.

Кроме этого, Институт математики, информационных и космических технологий САФУ активно использует суперкомпьютер для обучения и практической работы по созданию и оптимизации параллельных алгоритмов.



Из чего он состоит


Суперкомпьютер САФУ относительно невелик — в нем 20 вычислительных узлов, каждый представляет собой 2-процессорный сервер с 10 ядрами на каждом процессоре. Итого 40 процессоров и 400 ядер. Это не так много по сравнению с 1000-процессорными монстрами, но для университетского уровня очень неплохо, и вполне хватает для решения вычислительных задач САФУ.

На восьми из этих 20 узлов установлены сопроцессоры Intel Xeon Phi – это 60 ядерные «молотилки», похожие по функционалу на графические процессоры nVidia. Они очень быстро считают ряд специфических задач, в первую очередь вычисления с большими матрицами, численное решение систем дифференциальных уравнений. Их использование дает ощутимый прирост производительности, особенно на таких специфических задачах, для которых они предназначены.

Хотя Intel Xeon Phi – недешевое удовольствие, использовать сопроцессоры намного выгодней по соотношению производительность/стоимость, чем считать те же задачи на обычных вычислительных узлах без сопроцессоров.

Кроме вычислительных узлов, есть ещё два головных сервера для постановки задач в очередь на вычисления и администрирования кластера. И четыре сервера обслуживают систему хранения, о ней подробнее чуть ниже.

Коммуникации в суперкомпьютере


В кластерах есть два наиболее критичных для производительности фактора:

1. скорость общения между узлами,
2. скорость доступа к большим файлам.

Смысл в том, что программа должна считать, а не тратить время на ожидание операций ввода-вывода. Именно здесь узкие места надо ликвидировать в первую очередь.

Для обмена данными между процессами, выполняемыми на разных узлах, используется отдельная, самая быстрая сеть. Это сеть InfiniBand, имеющая очень большую пропускную способность (до 56 гигабит в секунду) и низкую задержку. Эта сеть используется с очень большой интенсивностью, она обозначена на схеме розовым.

Вторая отдельная сеть (обозначена на схеме оранжевым) используется системой управления заданиями для подключения к узлам, передачи команд и служебных сообщений. Требования к скорости здесь намного ниже, чем в первой сети.

И третья сеть, обозначенная на схеме зеленым, — эта технологическая сеть для обслуживания аппаратных компонентов. Современные серверы позволяют управлять собой на аппаратном уровне независимо от установленной системы. Включить-выключить, проверить параметры работы аппаратных компонентов, запустить диагностику, перезагрузить – всё это возможно на аппаратном уровне и всё это выполняется через эту сеть.

Хранение данных


Сетевая система хранения Fujitsu Exabyte File System (FEFS) емкостью 60 Тбайт обеспечивает пропускную способность 1,7 гигабайта в секунду. Это намного быстрее, чем любой жесткий диск. Физически это 2 корзины жестких дисков, которые обслуживает 4 сервера.

Файловая система FEFS содержит сервер метаданных, на котором хранятся метаданные о пространстве имен и несколько серверов хранения объектов с, собственно, файлами.

Программное обеспечение


Операционная система на вычислительных узлах — Redhat linux.

Система управления заданиями PBS Professional.

Система управления кластером HPC Gateway от компании Fujitsu, ее задача – установка и переустановка вычислительных узлов, их включение и выключение и т.д.

Из инженерного коммерческого «софта» закуплена система Ansys, собственно она и отвечает за сами расчеты.

Как это все выглядит с точки зрения пользователя


Есть головной сервер, на который пользователи заходят, например, удаленно. Через ssh они могут разместить свои файлы, скомпилировать их и отправить сформированное задание в очередь на вычисления. Это делается через PBS Pro. Когда задача просчитана – вы смотрите результаты, и при необходимости повторяете.

И второй способ – отправить свои модели считать на суперкомпьютер одной кнопкой из инженерной рабочей среды. Это можно из Ansys делать и из другого инженерного ПО тоже. Необходимо только правильно их интегрировать с системой управления заданиями

Как все это выглядит физически


В центральном корпусе университета есть достаточно большая серверная, в ней несколько рядов стоек, оборудование суперкомпьютера распределено в три стойки, которые загружены не полностью для оптимизации охлаждения.

Вычислительные узлы – это двухпроцессорные (Intel Xeon E5-2680 v) серверы в форм-факторе 1U половинной ширины. Две модели: Fujitsu PRIMERGY CX250 S2 и CX270 S2 отличаются наличием у второй сопроцессора Intel Xeon Phi.

Стоечные серверы Fujitsu PRIMERGY RX300 и R200 используются для обслуживания системы хранения и в качестве головных узлов.

Электроэнергии суперкомпьютер мог бы потребляет до 50 киловатт (с учётом охлаждения и резервирования питания), это много в масштабах города Архангельска. К счастью, при подключении удалось встроиться в имевшийся резерв и инфраструктуру университета. Но вообще в вузе большое энергопотребление может стать проблемой.

Welcome to the club


Свой суперкомпьютер построили уже многие вузы России, их объединяет Суперкомпьютерный консорциум университетов России (http://hpc-russia.ru/), в который входит и САФУ. Главная задача консорциума – популяризация параллельных вычислений и взаимопомощь участников. Если есть необходимость что-то посчитать более ресурсоемкое – мы можем обратиться к партнерам. Результатом совместной работы стало включение ежегодной молодёжной научно-практической школы «Высокопроизводительные вычисления на GRID-системах» (http://itprojects.narfu.ru/grid/), проходящей в САФУ, в список мероприятий суперкомпьютерного консорциума.

До покупки суперкомпьютера сотрудники САФУ считали свои задачи на кластерах других университетов как в России, так и в соседних с северо-западным регионом странах – Швеции, Норвегии, Финляндии. А сейчас и коллеги из других мест пользуются кластером САФУ.

Мы благодарим за сотрудничество по написанию этой статьи Александра Васильевича Рудалёва, ведущего инженера- программиста кафедры прикладной математики и высокопроизводительных вычислений САФУ.
Tags:
Hubs:
+1
Comments 0
Comments Leave a comment

Articles

Information

Website
www.softline.ru
Registered
Founded
1993
Employees
1,001–5,000 employees
Location
Россия
Representative
Softliner