Пользователь
30,2
рейтинг
27 июня 2014 в 17:19

Разработка → Linux доминирует на суперкомпьютерах как никогда раньше


Количество суперкомпьютеров под Linux в списке Топ-500

Много лет операционная система Linux является основной ОС для суперкомпьютеров. Но в последние годы наметилась интересная тенденция: Linux не просто доминирует, но его доминирование становится абсолютным, он буквально вытесняет всех остальных конкурентов.

В последнем рейтинге самых мощных суперкомпьютеров мира Топ-500 за июнь 2014 года зафиксирован новый рекорд: 485 из 500 суперкомпьютеров работают под Linux. Это 97%.

Для сравнения, в 1998 году под Linux работал 0,2% суперкомпьютеров, то есть 1 из 500, в 1999 году — 18 из 500.



Из остальных 15 компьютеров в списке 13 работают под Unix. Все они сконструированы на процессорах IBM Power, так что там, наверное, используется IBM AIX.

Под Windows осталось всего 2 суперкомпьютера. Лучший из них занимает 249-е место в рейтинге.
Анатолий Ализар @alizar
карма
749,5
рейтинг 30,2
Пользователь
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое Разработка

Комментарии (46)

  • +14
    Ну как бы все вполне себе логично, для работы всего этого счастья нужно вносить правки в ядро, что затруднительно в случае Windows.
    • –14
      Я сильно сомневаюсь, что на WIndows когда-либо работало больше одного суперкомпьютера. В этой среде Linux конкурирует с различными коммерческими юниксами все-таки.
      • +27
        Вы статью-то читали? Под Windows осталось всего 2 суперкомпьютера. Два — это таки больше одного.
  • +32
    Люблю графики… особенно в данном случае — топ500, а абсцисса размечена до 600.
    Если бы не было подписи про топ500, можно было сделать вывод, что соотношение стабилизировалось где-то на 85%.
    • +10
      т.е. ордината?
      • +10
        Конечно… пятница, очень хочется пить.
  • +11
    Происки вендекапца.
  • +1
    Почему не винды, понятно, Почему в топах нет FreeBSD? Не то, чтобы я этого хотел, просто любопытно.
    • +6
      FreeBSD не нужна.
      • +5
        Я не с целью объяснить, какая FreeBSD хорошая. Должны быть какие-то аргументы, кроме личных предпочтений? Ну, там, не подходящая архитектура для большого числа процессоров или что-то подобное?
        • –1
          Возможно бОльшее разнообразие возможностей работы с ядром, планировщиков и т.д.
          • +6
            Вот я как раз бы и хотел про это почитать. Самую мякотку, так сказать, технические подробности. Без них звучит скучно и неубедительно.
            • +7
              Подозреваю, что всё намного проще. Суперкомпьютеры — они для того, чтобы решать прикладные задачи. А для этого нужен инструментарий. В CERN, например, используют Scientific Linux в своём гриде, под него собирают все либы и т.д. Логично, что под него (линукс, в смысле) будет намного больше готового, а под фрю надо будет всё это пересобирать с переменным успехом. А раз под линукс больше инструментов — его на суперкомпьютеры и натягивают. Ситуация из серии «почему игры делают под винду».
              • 0
                В свое время из-за проблем с поддержкой современных на тот момент технологий (ЕМНИП, в FreeBSD были в том числе проблемы с многопоточностью/многопроцессорностью) FreeBSD проиграл конкуренцию линуксу, а в результате, по прошествии лет не удивительно, что и софт и аппаратные средства адаптируют для победившей платформы — для линукса.

                Да и сейчас у FreeBSD с поддержкой того же InfiniBand проблемы есть.
              • +3
                Просто инфраструктурные проблемы? Странно. Реально странно. Кроме того, тот же дебиан есть под bsd'шное ядро…

                То есть мне бы реально хотелось услышать про архитектурную разницу. Всякое мирское в стиле «без патча не собирается» — я искренне хотел бы верить, что хотя бы у суперкомпьютеров основания для выбора ОС выше, чем предпочтения пакетного менеджера…
                • +2
                  А знаете, именно так оно и может быть. Я тут общаюсь с разными физиками и прочими вычислятелями — в общем, им глубоко малоинтересно заниматься хакерством. Он у себя на рабочей машине чего-нибудь отлаживает на 100 точках, а потом хочет быстро посчитать то же самое на десяти миллионах точек. Если перенос с десктопа на суперкомпьютер вызывает хоть какие-то сложности — это проблема для самых главных пользователей суперкомпьютеров.
        • –2
          Вот например яндекс я рамблер тоже отказывались не так давно от freebsd. Там же в комментах есть и мини-срач по поводу технических подробностей.
          • 0
            Сергей Матвейчук как-то говорил, что (цитирую) в Яндексе откатывают обратно на фрю то, что успели перевести на линукс. Не взлетело.
        • +1
          Некоторые проблемы обозначены в 2007.asiabsdcon.org/papers/P02-paper.pdf — Reflections on Building a High-performance Computing Cluster Using FreeBSD, 2007

          For an organization with no operating system bias and straight-forward computing requirements, running Linux is the path of least resistance due to free clustering tool kits…
          In other situations, operating system choice is more complicated. Important factors to consider include chosen hardware platform, existence of experienced local system administration staff, availability of needed applications, ease of maintenance, system performance, and the importance of the ability to modify the operating system…
          Initially the disadvantages of FreeBSD (2003 и ранее) for our purposes were immature SMP and threading support, and an widely held view within the high performance computing community that if it isn’t a commercial supercomputer, it must be a Linux system.…
          The Linux focus of the HPC community has caused us some problems. In particular, many pieces of software either lack a FreeBSD port, or only have a poorly tested one which does not actually work out of the box.
          • +1
            То есть:

            а) инфраструктура
            б) экосистема
            с) инфраструктура
            д) сырая поддержка smp
            е) экосистема
            ж) инфраструктура
            з) экосистема

            То есть ничего технического, кроме того, что «раньше проблемы с smp были». Дальше лишь инерция рынков труда, экосистем ПО и best practice…

            Я, конечно, рад за линукс, но это такая очень шаткая победа получается — «кто первый встал, того и тапки».
            • 0
              По моему с виндой на десктопах, так и произошло. Они просто были раньше. И ничего, закрепились.
              • +2
                Но мне кажется, что есть некоторая разница между аморфной массой пользователей (которых устраивает дефолтное) и суперкомпьютеров, где архитектура во-первых пользователю понятна, а во-вторых важна.

                Впрочем, возможно, я переоцениваю квалификацию пользователей суперкомпьютеров.
                • 0
                  Я думаю дело в сертификации под железо и в поддержке ОС производителем. Для энтерпрайза это важно.
                  Например производители серверов делают сертификацию под Linux, а под FreeBSD — нет. При проблемах у заказчика интегратор может отправить его в саппорт производителя железа или в саппорт дистрибутива Linux.
                  А у FreeBSD другая ниша, не для юзеров из энтерпрайза, а для админов-красноглазников, кому внешняя поддержка, кроме коммьюнити, не особо нужна.
                  • 0
                    Поддержка вендора и полезность оной вообще, мне кажется, сильно преувеличены; Андрей Шетухин как-то очень хорошо про это написал:
                    У того же RedHat поддержка не распространяется на, цитирую: модифицированные пакеты и пакеты полученные не от Red Hat; планирование инфраструктуры; разработку политик безопасности; каналы Extras/Supplementary; компоненты, имеющие статус Technology Preview.

                    Все, что готов поддерживать Red Hat, это: установка; настройка; использование; диагностика.

                    Иными словами, платить надо за то, что должен уметь самостоятельно решать любой грамотный системный администратор. [...] Лично мое мнение: коммерческая поддержка Линукса на таких условиях вообще непонятно кому нужна, и вообще существует в природе скорее для маркетинговых целей.
                    И потом, если очень надо, то коммерческая поддержка для FreeBSD таки-предоставляется целым рядом контор в разных частях света.

                    Что касается HPC, то FreeBSD в этой нише сейчас практически никому не интересна: нет спецсофта и компиляторов, практически никакой поддержки GPGPU. Лет десять назад, например, NAG предлагали нативные версии своих матбиблиотек и компилятора для FreeBSD, насколько я знаю, но не сейчас. И если еще недавно без нативных программ, в принципе, можно было обойтись, запуская линуксячий 32-битный софт в эмуляторе, то с переходом на 64 бита, которые фрёвый линуксолятор до сих пор не умеет, стало все совсем плохо. :-(
                    • +3
                      Вы либо плохо прочитали, либо вообще не поняли о чём речь. А речь просто о том, что при использовании FreeBSD вам некуда посылать клиента, а в случае с RedHat'ом — есть куда. Грубо говоря убедившись, что проблема не в вашем пакете вы заводите в багтрекере RedHat'а баг, отсылаете его номер клиенту и… умываете руки.

                      Это позволяет производителям железа и специализированного HPC'шного софта здорово экономить на своей техподдержке. И потому они и не хотят связываться с разновсякими неподдерживаемыми системами.

                      Андрей Шетухин же описывает ситуацию, когда весь (ну или почти весь) софт у вас самописный. В этом случае, разумеется, вам техподдержа и RHEL не нужны и вы можете хоть FreeBSD использовать.

                      Но вы не поверите: HPC кластера покупают вовсе не интернет-компании, а всяко-разные физики, химики, метеорологи и геологи. У них элементарно нет кучи грамотных сисадминов. А потому — нужна техподдержка. Далее — см. выше.
    • 0
      www.google.ru/trends/explore#q=freebsd
      Ее не закопали только у нас
      • +8
        И что этот график доказывает?
        А вот по этому судя, получается дебианы только на кубе выжили?
      • +4
        Это не аргумент, для линуксов там такой же график.
    • +1
      Кстати Windows HPC Server была на удивление неплохой кластернйо системой. Но MS ушли в облака со своим Azure и вроди бы не собираются возвращаться в этот сегмент.
    • 0
      FreeBSD была. Собственно этот топ первый в котором FreeBSD вылетело окончательно на помойку истории.
      • 0
        Ага, то есть драма ещё интереснее. Была, но вылетела. ИМХО у этого всё-таки должны быть причины большие, чем экосистема и инфраструктура.
  • НЛО прилетело и опубликовало эту надпись здесь
  • +1
    А когда уже будет также на десктопах?
  • +1
    Любопытно. Получается, что ситуация в мире может кардинально измениться. Сейчас на пользовательских машинах (desktop'ах) винда стоит в 98% случаев (по крайней мере с год назад такая статистика была). И несмотря на попытки сделать Linux простым для пользователя и работающим из коробки, со всем необходимым софтом, винде он в этом плане пока проигрывает. Пройдет несколько лет, web-приложений станет еще больше, оффлайн как понятие будет постепенно исчезать, и в итоге история повторится: мощные компы и куча терминалов к ним. Т.е. все бытовые компьютеры станут легкими клиентами до облака, с железом, достаточным лишь для трансляции картинки. Там, в облаках, на суперкомпьютерах, будет Linux. А где тогда будет Windows??
    • НЛО прилетело и опубликовало эту надпись здесь
      • –1
        Ну, одна история не показатель. Думаю, что аварии первых автомобилей тоже наделали шуму. Хотим мы этого или нет, но все идет к тому. Интеграция, онлайн, облака. Все больше web-приложений, все больше сервисов, облачных хранилищ, софт в аренду и пр. Не вижу пока причин, почему эта тенденция может прекратиться. Гугл запустит свои воздушные шары с интернетом, и на Земле не останется устройства (и человека) вне сети. Увы.
        • –1
          Кипрская история с вкладами ничему не научила?
          • +2
            Чему-то, наверное, научила, но к переходу на обмен чемоданами золотых монет как бы не привела.
          • 0
            Где я сказал, что «онлайнизация» — это однозначно хорошо? Только констатирую факт того, что происходит.
      • 0
        Кстати, можно сказать спасибо нашим бешеным депутанам. Они, конечно, не нарочно, и не ради нас, но все же заставляют многих задуматься головой «а что будет если вдруг мои фоточки в этом удобном и модном облачке попадут под блокировку?»
    • 0
      Прогнозы «вот-вот останутся только мощные компы и терминалы к ним» звучат уже много лет.
      А воз в общем-то и ныне там.
      • +1
        Воз ныне там?
        Про себя могу сказать:
        1. Часто работаю из дома по vpn, т.е. у меня есть мощная виртуалка с развернутыми службами, могу к ней подцепиться из офиса, из дома, даже с телефона. Это реально удобно.
        2. Когда нужно вместе с кем-то накидать док, я его создаю в гуглодоке, кидаю ссылку. В итоге довольно много документов у меня там.
        3. Когда с письмом мне приходят вордовые документы я практически никогда их не сохраняю на диск, чтобы открыть вордом. Гораздо быстрее пролистать прямо в браузере, у mail.ru, гугла и многих других порталов есть встроенный офис.
        4. Фото и видео с телефона (там нет ничего неприличного или криминального) у меня автоматом заливается в облако, могу смотреть с любого другого устройства. Как итог, я все меньше пользуюсь флешкой.

        Еще раз: я не фанат облаков и большого брата, я говорю о тех изменениях в технологиях, которые реально удобны, и если не уходить с головой в теорию заговора, этим вполне можно пользоваться (если делать это разумно). Так вот, большинство этих вещей всего пару-тройку лет назад были только в зачатке. К вопросу про «воз».
    • 0
      К слову, 98% это какие-то совсем нереальные цифры, маков вроде около 10%.
      • +1
        Сдается мне у вас бред.
        www.top500.org/statistics/details/osfam/1 — Operating system Family / Linux
        485
        www.top500.org/statistics/details/osfam/2 — Operating system Family / Windows
        2
        www.top500.org/statistics/details/osfam/3 — Operating system Family / Unix
        12
        www.top500.org/statistics/details/osfam/7 — Operating system Family / Mixed
        1

        Ну и специально для вас про маки
        www.top500.org/statistics/details/osfam/8 — Operating system Family / Mac OS
        0

        Где 10%?
        0 — 10% от 500?
        Последний раз Family / Mac OS было хоть что-то в 2008 году.

        Вот про Mixed надо сказать отдельно, учитывая ограничение на коммент в сутки не могу ответить в нужную ветку.
        Не знаю как сейчас, но в прошлых рейтингах в Mixed были страшные сочетания, типа FreeBSD/Windows, так что вылет BSD-family из топа, но наличие одного Mixed может еще означать, что BSD осталось в виде этого самого Mixed, нужно смотреть точно по тому кто это такой остался смешанный.
        • +1
          Вы вообще о чем? )) Предлагаю вам сначала читать комментарий, на который был ответ, чтобы в следующий раз не было таких конфузов. Мой ответ был на комментарий «Сейчас на пользовательских машинах (desktop'ах) винда стоит в 98% случаев (по крайней мере с год назад такая статистика была).» Вы предлагаете оценивать пользовательские машины (destop'ы) по топу 500 суперкомпьюетров? :-D

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.