17 июня 2013 в 14:57

Китайский суперкомпьюьтер Тяньхэ-2 возглавил мировой рейтинг Top500

Суперкомпьютер Тяньхэ-2, построенный оборонным научно-техническим университетом народно-освободительной армии Китая, оказался самым быстрым в мире. Его производительность составила 33,86 петафлопс по тесту Linpack, что позволило ему занять первую строчку в рейтинге 500 мощнейших суперкомпьютеров мира. Производительность предыдущего лидера рейтинга, Cray Titan, почти вдвое меньше — 17,59 петафлопс.


Один из вычислительных узлов Тяньхэ-2

Тяньхэ-2 построен на базе процессоров Intel Xeon. Компьютер состоит из 16000 узлов, каждый из которых содержит два процессора Xeon IvyBridge и три — Xeon Phi. Всего у него 3 120 000 вычислительных ядер и 1,4 петабайта оперативной памяти. Суперкомпьютер работает под управлением Kylin Linux. Связь между узлами осуществляется с помощью специально разработанной проприетарной сети ТH Express-2, сердцем которой являются тринадцать 576-портовых коммутаторов на базе ASIC-микросхем, сделанных по 90нм технологии, каждая из которых имеет пропускную способность 2,56 терабита в секунду.


Фрагмент сетевой инфраструктуры Тяньхэ-2

Файловое хранилище имеет ёмкость 12,4 петабайта. Потребляемая мощность — 17,8 мегаватт (24 мегаватта с учётом систем охлаждения и кондиционирования). Компьютер занимает площадь в 720 м2. Наиболее подробное описание суперкомпьютера Тяньхэ-2 — в докладе (PDF) Джека Донгарра из Национальной лаборатории Оук-Ридж.

+74
55594
36
ilya42 764,8 G+

Комментарии (91)

+4
lolipop, #
СКС не доставляет.
+1
spacediver, #
не-С КС :)
–21
Evengard, #
Интересно, я один подумал про биткойн после прочтения статьи?

Надеюсь, что всё же да. :) Лучше бы чего нить пополезней пусть делает)
+38
Evengard, #
Так и знал, что минусов нахватаю. Извините, извините.
+2
Barabek, #
Все равно наварился! )
+3
Coolfly, #
Потребляемая мощность — 17,8 мегаватт (24 мегаватта с учётом систем охлаждения и кондиционирования)

Страшно представить сколько стоит час его работы.
+39
uzverkms, #
3 ведра риса
+9
yparah, #
Электричество — это еще цветочки. Прикиньте полные эксплуатационные расходы (стоимость оборудования, его обслуживание, ремонт, зарплату персоналу, аренду земли если не своя, пожарники-санстанции и т д) — тогда действительно будет дорого. Но применение системе обязательно найдут — запросы человечества постоянно растут.
+14
forgotten, #
Насколько я понял из описания, организация, установившая этот компьютер, в основном занимается вопросами снижения запросов человечества путем снижения количества человечества.
+1
bliznezz, #
Стало-быть оружие массового поражения, скорее всего по индивидуальным признакам.
Лучше бы чего нить пополезней пусть делает)

(с) Evengard
+2
celen, #
Страшно представить, сколько за этот час он сможет подсчитать. А энергостоимость системы в час по моим примерным подсчетам будет около 60 килорубля на наши деньги. Звучит солидно, но, подозреваю, по сравнению с прочими затратами на обслуживание, программирование и ремонт это пустяки.
+3
logan, #
Страшно подумать, не сколько, а что он будет считать. Что-то мне подсказывет, что вряд ли это будет симуляция движения молекул в бутылке с молоком
+2
Grox, #
Ну, разве что в первичном бульоне.
+2
ColorFlow, #
страшно подумать, что через десяток лет дома у каждого будет стоять под столом такой вычислительный монстр
0
AraneusAdoro, #
Ну насчёт десятка вы загнули.
+2
red_andr, #
Скорее 20 лет. В 1993 году самым мощным был Thinking Machines Corporation CM-5/1024 с пиковой производительностью в 130 GFlop/s. То есть чуть быстрее современного восьмиядерника.
+1
mukizu, #
Очень сильно сомневаюсь, что через 10, а тем более 20 лет у многих вообще под столом что-то будет стоять.
+19
attuda, #
Гусары, молчать!
+2
logan, #
Ничего страшного. К этому моменту появятся новые языки программирования и новые парадигмы — и такую машину легко найдут, чем занять. Вот сейчас уже народ запускает Q3 на JS.
+2
Robotex, #
Растующую мощь современных компьютеров программисты компенсируют фреймворками (с)

А вообще грустно это — такие мощности по сути используются в холостую.
0
AraneusAdoro, #
Gonny:
Удивительное это дело — прогресс. Чтобы набрать и распечатать одну
страничку красиво оформленного текста мне уже не хватает мощности
компьютера, который с легкостью может управлять двумя тысячами советских
боевых спутников одновременно. Есть мнение, что если бы не microsoft, то
мы давно бы уже покорили вселенную.
image #39050
0
RaJa, #
Страшнее подумать о том, что большая часть его владельцев на нем будут тупо играть.
Я ради любопытства открыл на яндекс-маркете отзывы о топовых сегодняшних процессорах стоимостью в районе 10 и более килорублей. Основная масса пишет — игры тянет отлично, других отзывов почти нет.
Большая часть современных высокотехнологичных девайсов используют для развлечения. Игры и видео.
0
AraneusAdoro, #
Так игры — самые требовательные популярные программы. Не свёртывание белка же моделировать домохозяйкам.
0
RaJa, #
Не в этом дело, а в том, что самые мощные процы в основном покупаются и используются для развлечения, а не полезных дел.
Дома, кстати, полно задач — архивирование, кодирование видео для мобильных девайсов, обработка звука, фотографий высокого разрешения и т.п.
0
AraneusAdoro, #
Согласен, но с другой стороны: «домашним» пользователям же неважно, насколько они загружают проц, зато очень хочется, чтобы игры летали, а видео с музыкой конвертировались побыстрее, а для этого нужен мощный проц.
Исходящую трубу унитаза все видели? Так вот она такая толстая не потому, что траффик большой, а чтобы имеющиеся пики траффика пропускать с максимальной скоростью.
0
RaJa, #
Ладно, скажу проще — мне странно, что таких людей кроме игр ничего не интересует. На компьютер для игр тратятся суммы в 70-100 тысяч рублей. И таких среди покупателей мощных процессоров большинство судя по всему. То есть налицо смещение интересов в сторону развлечений. При таком положении дел найти толкового программиста лично мне, например, с каждым годом все труднее. Море фреймворков, языков программирования, наработок, прекрасное железо доступно, а по факту толковых программистов очень мало. Это для меня индикатор того, что работать и думать немодно, к сожалению.
0
AraneusAdoro, #
На компьютер для игр тратятся суммы в 70-100 тысяч рублей. И таких среди покупателей мощных процессоров большинство судя по всему.
Понты правят миром, что теперь поделаешь. Таких людей могут не интересовать даже игры, просто тот же Crysis сейчас некоторыми считается бенчмарком.

А думать сейчас действительно немодно.
0
RaJa, #
Вот это-то и огорчает. Crysis у меня тоже стоит, правда играл я в него в последний раз в прошлом году с полчасика. Да и вообще играл примерно тогда же. На игры нет желания тратить время — не очень интересно, кроме пожалуй некоторых симуляторов очень интересных ну и специфичных для меня — учился управлять вертолетом перед реальными полетами моделей. То есть люблю обучалки и моделирующие игры.
+1
a5b, #
www.netlib.org/utk/people/JackDongarra/PAPERS/tianhe-2-dongarra-report.pdf страница 15

NUDT заявляет о следующих приложениях:

NUDT claims to have a number of applications that are being ported to the TH-2. The list
includes:
• High-order CFD Simulation:HostA
  o Complex flow simulation of the full plane:C919
  o WCNS — Weighted Compact Nonlinear Scheme
  o 10 billion grid points
  o Over 1000 compute nodes (из 16 тыс)
  o 1 MIC= 70% of 2 Ivy Bridge

• Gyrokinetic Toroidal Code:GTC
  o Porting to TH-2 using CPU+MIC (TH-1A: CPU+GPU)
  o Over 4096 compute nodes
  o 1 MIC= 80% of 2 Ivy Bridge

• Business Opinion Analysis
  o Store and process 600TB structured/non structured data with Hadoop on 1024 nodes
  o Process 100 Million data records per day

• Security e-Government Cloud
  o 512 FT-1500 nodes (16 ядерный Sparc v9 на 40 нм, 65 Вт, 1.8 ГГц, подозрительно похож на развитие OpenSPARC T1/T2)
  o Increase server utility from 30% to 71%
+1
logan, #
This list includes не означает, что это все приложения. Каждое из них можно было запустить на значительно более простом и компактном устройстве, такого монстра строить резона не было. Вывод — он был построен под какую-то другую задачу, но ее пока нет (не готова?), и его занимают всякой «мелочевкой» по принципу «с бору по сосенке», чтобы не простаивал дорогостоящий монстр. Заодно и отладить его можно под нагрузкой.
0
a5b, #
www.hpcwire.com/hpcwire/2013-06-20/china_means_business_with_supercomputing_push.html

Inspur's Chief Scientist of HPC Applications, Ji Qing

… run on the Tianhe-2 on the research side. While many of these were the usual suspects (climate modeling, medical research, CFD)… to solve particular optimization problems in quantum mechanics as well as for larger computational chemistry projects.

On the industry side, however, it’s clear that China is seeing even bigger opportunities.… Tianhe-2 will play a major role in helping them model, design and test their own aircraft-an effort that one might guess will be extended to larger space exploration projects.

Another critical area China will explore using Tianhe-2 is seismic modeling and other research to benefit the oil and gas industry. While the nation might not be first to mind when one thinks of the segment, the Chinese oil and gas giant, BGP, will be early on the Tianhe-2 applications scoreboard as it boosts its discovery capabilities using the new super.
+1
MedVedar, #
Это действительно страшно, у нас в городе сталелитейный завод в пик дает нагрузку 4 мегаватта.
0
logan, #
Какой-то он маленький совсем. Хотя сталелитейный завод — не алюминиевый (и уж тем более не урановый), но электричества он должен жрать немало.
+1
agathis, #
Так он небось на угле в основном. Хайтек образца начала 18 века.
0
logan, #
Кокс наше все. Не тот кокс, настоящий. Я думал, большая часть сталелитейных предприятий перешла на индукционные печи.
–5
scarab, #
А внутри у него — неонка миллиард китайцев с калькуляторами.
0
jazzman, #
неужели удалось достичь низкой latency на оптике? мне казалось, что в подобных мегакластерах по-прежнему царит медь. специалисты, может просветите?
0
BelBES, #
Там стоит одна из разновидностей Infiniband'а.
+1
phprus, #
Проприетарный интерконнект таких систем может не иметь ничего общего с Infiniband.
Infiniband сейчас — это удел кластеров попроще.
+1
BelBES, #
TH Express-2 у них если быть точным. Судя по тем проводам, что демонстрируются на HPCC последние 2-3 года, везде используют модификации infiniband'а, хотя в проприетарщине действительно утверждать наверняка бестолку.
0
navion, #
Судя по тем проводам, что демонстрируются на HPCC последние 2-3 года, везде используют модификации infiniband'а

Если вы про CX4 (SFF 8470), то это стандартный кабель, используемый в сетевом оборудования и для подключения по SAS.
0
a5b, #
А мне кажется, что у них QSFP с такими кабелями PARALIGHT от TE Connectivity 2123287-6 40 Gbps. И вообще сеть использует те же чипы что и в Tianhe-1A
+2
celen, #
построенный оборонным научно-техническим университетом народно-освободительной армии Китая

Я так понимаю, китайцы с помощью этой крошки собираются кибермстить американцам и в особенности АНБ за взломы?
+23
celen, #
Точнее говоря, создание такого компьютера и публикация сведений о нем — явная демонстрация миру информационной и военно-технологической мощи Поднебесной. «Ну что, бледнолицые, теперь, в придачу ко всему прочему, у нас есть самый могучий на планете военный суперкомпьютер. Рекомендуем начинать бояться.»
+4
kyrie, #
Похоже на то. Главное чтоб они не повторили ошибок Советского Союза времен холодной войны, когда экономика уходит в масштабные и пафосные военные проекты, а население получает хлеб по карточкам и мечтает жить где-нибудь подальше отсюда.
+7
phprus, #
Заметьте, что вычислительная часть полностью американская, те это не только демонстрирует собственную мощь, но и, в совокупности с фактом, что суперкомпьютер можно сказать военный, показывает политику двойных стандартов в США (в китай на военные нужды экспорт процессоров разрешен, в РФ запрещен судя по истории с платформами).
+4
track13, #
ЕМНИП запрет на экспорт действует для техники, которая работает по военным стандартам, либо просто достаточно уникальна. А тут же обычные коммерческие процессоры, которые и на обычную технику ставятся.
+1
phprus, #
Нет. На все процессоры, мощнее калькуляторов.
Чуть ниже в комментария была ссылка habrahabr.ru/post/174775/ на эту историю и там есть подробности.
+1
track13, #
Ага, уже сам увидел.
Но это не двойные стандарты, это просто политика, она везде такая =)
0
phprus, #
Это политика двойных стандартов :)
От того, что мотивы политические, стандарты же не перестают быть двойными?
+3
track13, #
Я к тому, что политика любого крупного и не очень государства — сплошные двойные стандарты =)
0
rimpocha, #
Разве Интел свои чипы не в Китае производит? Очевидно не все и не новейшие? Просветите, кто знает :)
+2
akzhan, #
Из старого, — На данный момент у компании Intel есть 4 завода, способных массово производить процессоры по технологии 32нм: D1D и D1C в штате Орегон, Fab 32 в штате Аризона и Fab 11X в Нью-Мексико. пруф habrahabr.ru/company/intel/blog/109339/

Почему-то там не рассказали о Fab28 в Израиле.

С тех пор у них появилась фабрика в Ирландии, и процессоры на 14нм тоже планируют в США и в Ирландии.

О, нашел современную карту — inntec.ru/it/457-fabriki-intel-znachitelno-snizili-proizvodstvo.html

+2
rimpocha, #
Я тоже поискал :) en.wikipedia.org/wiki/List_of_Intel_manufacturing_sites

Fab 68 Dalian, China 2010 300 mm, 65 nm

65nm — это только Xeon Sossaman.
–1
DonkeyHot, #
показывает политику двойных стандартов в США (в китай на военные нужды экспорт процессоров разрешен, в РФ запрещен судя по истории с платформами).

Скорее это показывает политику РФ, а именно действия в обход процедур.
Экспорт хайтека не запрещен вообще, а запрещен без лицензии, наши лицензию не стали получать, а решили наврать о целях применения.
0
nadenok, #
Угу. Что-то вроде последнего китайского предупреждения.
+2
artemaliev, #
Самое интересное: это первый боевой кластер на Xeon Phi(MIC) процессоре. Не ужели Intel переплюнул CUDA.
+1
BelBES, #
Не переплюнули, числом взяли) Там сам кластер больше чем Титан, т.ч. при аналогичном энергопотреблении Kepler пока обходит MIC.
+1
BelBES, #
К слову говоря, в Titan стоит 16000 Nvidia Kepler, в Китайском кластере 48000 Xeon Phi. И на хосте 16000 CPU против 32000 CPU у Китайского кластера.
–4
Fall_Angel, #
Реквизиты для доступа не подскажите? Помайнить чуточку хочется.
+7
scarab, #
Надо спросить у АНБ :)
+4
sound, #
А что считают на таком монстре? На ум приходит: физические и химические процессы, прогноз погоды, «брутфорс»… Что реально?
–2
McBernar, #
Ферма после обновления тупить стала.
+5
therussianphysicist, #
Синтез нового биологического оружия, например.
+6
logan, #
симуляция ядерных взрывов, поведение белков (лекарства и не очень), погода и сейсмоактивность, расчеты для космоса (траектории движения небесных тел). Брутфорс маловероятен, но вот самообучаемый анализатор данных вполне возможен.
0
DarkByte, #
брут RSA, например.
0
Lincoln6Echo, #
Расчет переотражений поверхностей китайского истребителя 5-го поколения например.
Фасеточный дизайн для стелсов в стиле F117 / B2 — не айс.
Аэродинамические поверхности — айс, но считать их…

Да, фасеточный дизайн особо считать не надо, и выбор именно такого дизайна США признали был по причинам недостаточности мощностей компьютеров на тот момент.

[oftopic mode on]
Китайский J-20 летающий сейчас я бы не назвал истребителем 5-го поколения, это скорее летающая лаборатория, как в свое время у нас СУ-47, который лишь опробовал различные концепции и идеи для ПАК ФА(П).
Лично я после позавречерашней «засветки» в репортаже на первом канала кадров, управляемого на 360 гр. «плоского штопора» Т-50… — серийных истребителей способных выйти из плоского штопора на сегодня нет, (Су-35 и F-22 показывают несколько иную фигуру, которая по аэродинамике напоминает больше падение кленового листа, и это почти неуправляемо по крену и тангажу, для боя не годится). Если Т-50 действительно в плоском штопоре управляем и способен произвести перезапуск двигателя — я… цензура короче, фап-фап.
[oftopic mode off]
+2
egormerkushev, #
Блин, китайцам значит можно, а нам нельзя habrahabr.ru/post/174775/ 8(
+2
WToll, #
По-моему это как раз показывает что всем можно, было бы достаточно денег.
–2
zapimir, #
Так китайцы вроде и не считают штаты своим главным врагом, и чуть что ракетами не угрожают. Вот и торгуют с ними нормально.
0
egormerkushev, #
Тайвань что ли главный враг Китая? Вы шутите…
–5
Gexon, #
Китайский коммунизм — детище американской политики, противовес коммунизму советского союза в годы холодной войны.
+1
int80h, #
Конечно не считают и до сих пор являются единственным союзником Северной Кореи обещая за нее вступить в войну с любым противником только потому, что больше с этими злобными корейцами никто не хочет дружить. А еще не считают нужным конечно же грозить США ракетами, зачем, ведь это США последние 10 лет угрожали Китаю, построив у них под боком авиабазу с стратегическими бомбардировщиками и начав патрулировать их границу. А еще большинство населения помнит как США буквально только вчера признало Китай и очевидно теперь очень благодарны за это. Также они приветствуют создание американских НКО в стране, а вовсе не пытаются с ними бороться, не то что мы или индусы какие. Войну с американцами в Корее называют войной за «родные отчизны» по ошибке. В каждом втором фильме, будь то боевик с Джеки Чаном или местечковый сериал про Брюса Ли, они тактично забывают упомянуть, что большего врага, чем англосаксы (а заодно и японцы), история их страны не знала и никогда не забудет. И они вовсе не обижаются, когда Хилари Клинтон заявляет, что с Китаем неплохо бы начать холодную войну, ведь это так, просто слова смешной белой леди. Ну и китайцы конечно же с завидной периодичностью последние несколько лет, от лица государственного центра стратегических планирований, в своей главной газете «Жэньминь жибао» не печатают статьи, об том, что США планирует уничтожить Россию с Китаем и вовсе не рассказывают, а как было бы славно создать нашим странам альянс против США, выкинув последних из этой части планеты.
В общем, перечислять можно долго, но США для Китая — это не просто угроза, а именно что главный враг которого они оценивают как пытающегося уничтожить их страну.
+4
adamantine, #
Через пару лет, чувствую, новость будет:
«Китайский суперкомпьюьтер Тяньхэ-3 возглавил восстание против человечества»
+3
Vokabre, #
И был выключен китайской уборщицей.
+23
nochkin, #
На такой мощи sha256 используется для обычного компрессирования данных.
–5
fshp, #
Как вы себе это представляете? Какой бы замечательной не была бы хэш-функция, при длине данных больше, чем длинна хэша, обязательно будут коллизии.
+19
nochkin, #
Я представляю себе этот как специфичную шутку на тему криптографии в совокупности с высокой производительностью. Не более.
0
ZOXEXIVO, #
А не дороговато ли, Xeon'ами раскидываться?
0
ShapovalovTS, #
Интересно было бы почитать как они такой махиной управляют. Особенно интересно как они работают с таким количеством Xeon Phi (с точки зрения настройки и обновления ПО/firmware, разумеется).
0
geirby, #
Если есть люди чуть в теме, киньте линки, пожалуйста, на примеры использования таких вычислительных мощностей. Т.е., интересует не то, что он МОЖЕТ посчитать, а, собственно, ежедневная работа. Сегодня мы рассчитываем осадки над Атлантикой, а завтра?
0
Arktos, #
А завтра хостинг для ютуба. Может, хоть так тормозить перестанет
+1
Sap_ru, #
Самая очевидная цель — замена ядерным испытаниям. Там необходимая мощность практически неограничена — моделировать можно хоть на уровне отдельных атомов.
Во-вторых, погода. Долгое время самый мощный компьютер в мире принадлежал американским синоптикам. И не только погода, но и всяческая сеймическая активность и т.п. Там тоже сложность модели уходит в бесконечность.
В-третьих, органическая химия. Результат реакции зависит от формы молекулы. Либо, стоит задача получения молекулы известной формы (синтез вещества). А по большей части там только полный перебор.
В-четвёртых, разведка — это тоже бескрайнее поле для деятельности. От анализа спутниковой развед-информации (проанализировать несколько сотен кв. км с точностью один метр, это ничего себе задача). Опять же классификация увиденного. Радиоразведка — там тоже суперкомпьюетры нужны. Криптография. Чёрт с ним со взломом. Но даже определение способа кодирования и модуляции является крайне сложной и полезной задачей — в случае войны можно будет эффективно глушить противника.
+1
forgotten, #
> моделировать можно хоть на уровне отдельных атомов.

Вот это более чем сомнительно. Петафлопс — это всего лишь 1e15 операций, а в числе Авогадро с утра было 23 порядка.
0
Sap_ru, #
Так я именно о том, что для данной цели «много» вычислительной мощности не бывает. На данные момент считают дифференцированием по объему, считают месяц и получают приблизительный результат. Чем больше мощность компьютера больше точность и достоверность моделирования.
+1
ShapovalovTS, #
Например, в России есть такие задачи: hpc-russia.ru/book_ready.html
+1
RolexStrider, #
… но как же китайский народный MIPS?
0
a5b, #
Не MIPS-ом единым.

en.wikipedia.org/wiki/Loongson — MIPS
en.wikipedia.org/wiki/ShenWei — некий RISC
en.wikipedia.org/wiki/FeiTeng_(processor) — Sparcv9 (ранее в этой же линейке были клон Itanium2 и потоковый процессор, см www.ece.ust.hk/ece.php/event/detail/702)

4096 16-ядерных 1,8 ГГц FeiTeng-1500 (40 нм, 65 Вт) используется и в Тяньхэ-2, но не учитывались в тесте Linpack. При этом в некоторых задачах, например «Security e-Government Cloud» (в терминах NUDT) вполне используется.
+1
rimpocha, #
Господа хабра-юзеры! Я случайно обнаружил плагиат на данную статью в приличном на первый взгляд сообществе в контакте. Мой коментарий с просьбой указать ссылку на хабр удалили. Как предлагаете бороться? :)
+4
celen, #
Предлагаю забить.
+1
ilya42, #
Для смеха написал туда комментарий. Вообще, такие случаи обычно не сознательный плагиат, а следствие низкой культуры. Вроде как Маугли, воспитанный волками, не знает, что не стоит на людях в носу ковыряться.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.