Pull to refresh

Суперкомпьютер на 10 петафлопс для МГУ

Reading time 3 min
Views 9K

Суперкомпьютер «Ломоносов»

Компания «Т-Платформы» заключила контракт с МГУ на проектирование вычислительного кластера пиковой производительностью 10 Пфлопс (1015 операций с плавающей точкой в секунду). Эта система станет одной из самых мощных в мире. На сегодняшний день в списке Топ500 лидирует японский суперкомпьютер К, с максимальной производительностью 10,51 Пфлопс (пиковая — 11,28 Пфлопс), на втором месте — китайский «Тяньхэ-1А» (2,57/4,7 Пфлопс).

По условиям соглашения с МГУ компания «Т-Платформы» разработает сам суперкомпьютер, а также комплекс инженерной инфраструктуры, обеспечивающей бесперебойность его работы. Говорится, что система будет построена на гибридной архитектуре CPU+GPU на новой платформе, другие характеристики пока не называются.

Для справки, суперкомпьютер «Ломоносов» по вычислительной плотности не имеет себе равных в мире: вычислительную систему удалось разместить на площади всего 252 м2. При этом вычислитель потребляет не более 2,8 МВт электроэнергии (спецификации в PDF).

В суперкомпьютере используется четыре вида вычислительных узлов и процессоры с различной архитектурой, в общей сложности 5 100 вычислительных узлов архитектуры x86 и 777 вычислительных узлов на базе GPU nVidia. Это был первый гибридный суперкомпьютер такого масштаба в России и Восточной Европе.

Платформа TB2 для «Ломоносова» была сконструирована инженерами «Т-Платформы» с нуля — все платы и механические компоненты являются собственными разработками компании. Основой решения TB2 является вычислительный модуль, в котором установлена 14-слойная системная плата оригинального дизайна с четырьмя процессорами Intel Xeon серии 55xx или 56xx, четырьмя трёхканальными модулями памяти DDR3 собственной разработки и интегрированными контроллеры системной сети QDR InfiniBand.


Системная плата

Дизайн коммутаторов системной сети сделан на основе эталонного дизайна Mellanox InfiniScale IV.


Коммутаторы системной сети

Два коммутатора, интегрированных в задней секции шасси, обеспечивают пропускную способность системной сети 1,6 Тбит/с, у них на двоих 32 внутренних порта для подключения всех вычислительных узлов и 40 внешних портов, 6 из которых используются для подключения систем хранения данных по сети InfiniBand или создания гетерогенных вычислительных систем — например, с узлами на базе PowerxCell 8i или GPGPU NVIDIA.

Каждый модуль памяти интегрирует функционал трёх DIMM-модулей и вставляется в системную плату горизонтально.


Модуль памяти

Модуль управления включает четыре функциональных блока, обеспечивающих мониторинг и управление системы, интеграцию управляющей и вспомогательной сетей стандарта 10GbE/Ethernet, интеграцию специализированных сетей барьерной синхронизации и глобальных прерываний, а также сети внешней частотной синхронизации вычислительных узлов. Специализированные сети снижают задержки, возникающие при синхронизации выполнения параллельных операций на крупных инсталляциях. Управление этими сетями осуществляется специально запрограммированной микросхемой FPGA.


Модуль управления

24-слойная объединительная плата объединяет все подсистемы шасси: вычислительные модули, систему питания и охлаждения, сетевые интерфейсы и систему управления.


Объединительная плата

Каждая системная плата выделяет около 570 Вт тепла и требует эффективного охлаждения. Оптимальный вариант дизайна радиатора был найден благодаря моделированию на суперкомпьютере мощностью 10 Тфлопс.


План системы охлаждения и радиатор

Композитный алюминиевый радиатор с медными вставками полностью закрывает системную плату и обеспечивает воздушное охлаждение блейд-системы. Использование лёгкого алюминия позволило уменьшить вес шасси до 153 кг.

Вот как выглядит само шасси, разработанное для установки в стандартные шкафы 19".


Шасси

Новый суперкомпьютер на 10 петафлопс обеспечит достаточный запас производительности для ресурсоёмких вычислений, который ведут учёные МГУ в аэрокосмической, атомной, биомедицинской, нефтегазовой и других научных областях.

Видеоэкскурсия по операционному залу «Ломоносова» (до модернизации)


По теме:
Суперкомпьютеры: третья мировая гонка
Tags:
Hubs:
+40
Comments 61
Comments Comments 61

Articles