Пользователь
30,2
рейтинг
10 декабря 2012 в 03:42

Администрирование → 160 Mac Mini в одной серверной стойке

Наверное, если инженер видит маленький компьютер, то у него сразу возникает мысль взять сотню-другую таких малышек — и объединить их в кластер. Такое впечатление создаётся, когда видишь проекты вроде кластера из 64 компьютеров Raspberry Pi. Но это ерунда по сравнению с самодельной конструкцией из 160 Mac Mini, которая уже установлена и запущена в одном из дата-центров.

Год назад компания Apple свернула производство серверов Xserve на 1U, но свято место пусто не бывает, и любители техники Apple начали делать самодельные конструкции с максимальной плотностью процессоров в стойке. Оказывается, в стандартный серверный шкаф умелыми руками можно поместить сто шестьдесят Mac Mini Server — маленьких тихих десктопов с четырёхъядерными процессорами Core i7, предназначенных вообще-то для домашнего использования.

Оказывается, Mac Mini великолепно работают вместе, если соорудить для них пластиковые подставки для компактного размещения в шкафу и добавить усиленное охлаждение на дверцу. С таким охлаждением температура CPU находится в районе 30°C. Для сравнения, без вентиляторов они нагреваются до 99°C, разница существенная.

160 Mac Mini — вполне бюджетный кластер на 640 процессорных ядер с относительно низким энергопотреблением <30A (вместе с вентиляторами). В каждом Mac Mini установлены 16 ГБ RAM и 256 ГБ SSD.

Автор проекта в своём блоге описывает этапы работы и проблемы, которые пришлось решать. Кроме охлаждения и размера юнита, это ещё прокладка кабелей. К каждому блоку идёт кабель питания и Ethernet. Проблему с кабелями питания удалось решить за счёт кабелей 4-в-1, см. на последнем фото.

Фотографии












Анатолий Ализар @alizar
карма
749,5
рейтинг 30,2
Пользователь
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое Администрирование

Комментарии (81)

  • +6
    А что хостят на серверных маках?
    • +4
      • +2
        О, мило! Может кто-то проаргументировать минус? Мне действительно интересно, т.к. ответ по теме, наведена куча способов применения, хоть и ссылкою, личного мнения не выражает, а является чистым информационным потоком без шума. Что не так-то?
    • –1
      Под OS X ничего хорошего не захостить, она как юникс совершенно конченная. На эти мачки можно поставить линукс.
  • +25
    159 и у меня будет такой же.
    • +4
      А мне пока не хватает 160…
  • +26
    image
    • +4
      Например для build машин и/или continuous integration по на objective c (нативный компилятор/железо/OS)
      • 0
        Мне всегда было интересно, а почему виртуалка в таком случае не подходит?
        • 0
          Продолжайте интересоваться и вам станет известно, что OS X поставить на виртуалку или на «самопальное» железо задача не самая тривиальная.
          • 0
            И тем не менее, задача реализуемая. Я надеялся на более глубокий ответ.
          • +1
            Разве OS X сервер не поддерживается официально VirtualBox-ом?
            • 0
              Конечно поддерживается Mac OS X Server (Leopard, Snow Leopard) c Xcode 4.2, а для iOS 6 и эмулятора нужен 4.5 если вы понимаете о чем я.

              В Lion/Mountain Lion, Server превратился в «надстройку» над OSX размером в 300Мб.
          • +1
            на виртуальное железо как раз не проблема — Я ставил на VMware — особых проблем не возникало, а вот с VirtualBox пришлось делать «танцы с бубном»
    • +2
      Code School с помощью такой фермы рендерят в реальном времени эмулятор iOS для отображения в браузере.
  • НЛО прилетело и опубликовало эту надпись здесь
  • +13
    «Я только купил 160 Mac Mini и тут понеслось...»
  • +2
    У этой фигни на фото все очень грустно с охлаждением.
    • +2
      Слева дверь открытая с «охлаждением».
  • 0
    Здорово. Молодец, что планки оперативки покупал отдельно. На таком объеме сэкономил очень прилично. А с жесткими дисками решил не заморачиваться, видимо, так как там требуется полная разборка для того, чтобы извлечь оба HDD для замены на свой SSD. Да и пришлось бы потом продавать не только 320 планок памяти по 2GB, но и 320 винтов на 1TB. Хотя я считаю, что сэкономленные деньги могли бы покрыть те два дня, которые нужно было бы потратить на апгрейд своими силами такого парка машин.

    Интересно, что он собирается делать с такой стойкой.
    • 0
      с винтами всё это хозяйство сильнее грелось бы
      • +3
        Вы неверно поняли то о чем я написал. Если пройти по ссылке, то можно почитать о том, что оперативка докупалась отдельно, так как цена в Apple Store на нее просто запредельная. А заменить ее — дело одной минуты.

        Но в то же время был выбран апгрейд с 2х1TB HDD до 256GB SSD за 200 долларов. Не знаю, какие именно SSD ставит Apple, но считаю цену в 400 долларов несколько завышенной. Так что был еще резон брать стоковые 2 HDD с последующей заменой на SSD нужного объема и продажей 320 терабайтовых винтов.

        Однако, для замены HDD на SSD требуется полная разборка Mac Mini. Если предположить, что сборка-разборка будет занимать порядка 5-6 минут, то на 160 штук понадобится порядка 2 рабочих дней. Но экономия получается очень приличная.

        Я склоняюсь к такому варианту еще и потому, что при покупке варианта с HDD в Mac Mini будет идти кабель для подключения дисков SATA. Отдельно он стоит порядка 25-35 долларов. То есть, если в будущем планируется добавление HDD/SSD в имеющиеся Mac Mini, нужно будет покупать кусок кабеля за немалые деньги.
        • 0
          Ну видимо хотел сохранить гарантию и т.д. с заменой оперативки проще она же, если не ошибаюсь, предусмотрена пользовательская, а вот при самостоятельной замене HDD слетает гарантия. Думаю при покупке 160 маков всё таки стоит подумать о сохранении гарантийных обязательств производителя, а то мало ли что… я бы вообще их застраховал, на всякий случай =)
          • +1
            Не факт, что слетает гарантия. Да, нужно раскрутить все, что только можно, но в тоже время ни на одном видео по сборке/разборке Mac Mini для установки/замены HDD/SSD я не видел ни одной пломбы.
        • 0
          На новые винты надо будет ещё и ОСь налить.
          • +1
            Там экономия такая, что можно без проблем настроить один раз Mac OS Server, а потом залить этот образ на все 160 SSD через док-станцию.
    • 0
      В блоге есть информация о том что они «компилируют и тестируют приоложения под mac».
  • +30
    Наверное, если инженер видит маленький компьютер, то у него сразу возникает мысль взять сотню-другую таких малышек — и объединить их в кластер.

    Это не «инженер», это «слабо загруженный по работе сисадмин».
    У инженера сперва должна возникать мысль "а что за задачу я таким образом хочу решить? И нельзя ли ее решить каким-нибудь более традиционным, и, главное, поддерживаемыми производителем способом?" а следом за этим: "А какова будет надежность полученного решения, каковы затраты на обслуживание, и имеет ли такое решение экономическую целесообразность для данной конкретной задачи?"
    • 0
      image
      Ну например задача автоматического тестирования игр.

      Оказалось что купить mac mini самый оптимальный вариант (2 года назад). Еще есть несколько больших десктопов, которые все время ломаются, а эти отлично себе живут.

      На каждом одновременно можно запустить 4 игровых клиента. Для игр нужны видеокарты, а на обычных серверах с этим проблемы.

      У нас не 160 конечно :-)
  • +3
    linpack бы хоть запустили, а то от мобильных i7 всякого можно ожидать.
  • +48
    Прикинул в сравнении с 16 1U нодами с 4 opteron 6200:
    цена на оптероне 16* 7000 =112тыс уе, мак мини = 160*1500=240тыс
    потребление на оптероне 16*600= 9.6кВт, мак мини = 160*70= 11.2кВт

    Осталось сравнить быстродействие 1024 ядер оптерона 2.3ГГц и 640 ядер мобильного i7 2.3ГГц.
    Но, похоже, мак проиграет по всем статьям.
    • –16
      ждите много минусов от ярых Appleфилов — кстати те кто хочет Mac OS X хостинг перешли на VMware — благо там ввели поддержку EFI и набор хаков для запуска Mac OS X Server, что даже с учетом лицензии на ОС получается выгоднее по стоимости владения и плотности на единицу пространства.
      • +2
        Сомневаюсь, я привёл цифры, никаких эмоций :-)
      • +4
        Причем тут лицензия на ОС? Даже если вы ее купите — то установка mac os поверх vmware запущенной _не на apple железе_ будет нелегальна / нелицензионна.

        Это из «вредных советов»? ;)
        • +1
          images.apple.com/legal/sla/docs/OSXServer22.pdf

          English версия (оригинал)
          Q. Compliance with Laws. You agree to use the Apple Software and the Services (as defined in Section 5
          below) in compliance with all applicable laws, including local laws of the country or region in which you
          reside or in which you download or use the Apple Software or any Services.

          Russian версия
          Q. Соблюдение законов. Вы соглашаетесь использовать ПО Apple и Услуги (как
          определено в разделе 5 ниже) в соответствии с действующим законодательством,
          включая местное законодательство страны или региона, в которых Вы проживаете или в
          которых Вы загружаете или используете ПО Apple или Услуги.

          В РФ запреты секции 2A.1 не имеют юридической силы. Как раз будет легальна — т.к. есть принцип применительности права, если какая либо из частей договора противоречит действующему местному законодательству, то только эта часть будет считаться недействительной (исключенной).
          К слову на практике даже не во всех странах Европы Apple может доказать факт нелицензионного использования подобным образом — были реальные случаи на практике.
          • –1
            Ну да. А потом едем в США (по туризму или делам), и попадаем на нехилые проблемы — и дооолго можно объяснять что в РФ это законно и Американская компания Apple нарушает законы РФ (!).

            Конечно отбодаетесь наверное, особенно если завалялось лишних пару сотен тысяч долларов на адвокатов.

            Мне тут обычные юристы в UK трудовой контракт правили — 18 тысяч фунтов заплатил за несколько дней их работы — легко отделался еще.
            • +5
              Давайте конкретно:
              (1) Вы установили на свое корпоративное оборудование — таким образом ответчик, юридическое лицо
              (2) Если Вы приехали в США — то НЕ являетесь гражданином США, а самое главное нарушение в области интеллектуальной собственности рассматривается ПО МЕСТУ РЕЗИДЕНСТВА ОТВЕТЧИКА
              (3) Как будет связано частное лицо и компания?
              (4) По какой статье? Ведь DMCA не распространяется на международное право и тем более частных лиц которые работают в компаниях нерезидентах
              (5) Не забываем что в США можно подать встречный иск и за необоснованное обвинение потребовать компенсацию — причем ВЕСЬМА значительную
              (6) 90k$ за правку трудового контракта? Хм… хочу Вас поздравить — Вас нае**** — стоимость разработки подобного документа с нуля стоит как минимум в 3 раза меньше. (работал по фин. проекту где нужна была разработка юридических документов в т.ч. и в UK — например экспертиза документа стоит где-то 1.5-2$, остальное конечно больше — но по сумме никак не выйдет на 90k$)
              • 0
                Склярова, между прочим, обвиняли тоже в нарушении DMCA. Делал свои штучки он в России, а взяли его в США и дело рассматривали там.
                • 0
                  Не путайте кислое с пресным.
                  (1) есть обход DRM системы
                  (2) покупка ЛЕГАЛЬНО системы и использование ее по назначению
                  P.S. кстати Скляров выступал где? (правильный ответ DEFCON) — в качестве разработчика системы обхода DRM, а тут речь идет о работнике компании который НИКАК не несет ответственность за ее действия, а также установленное ПО.
    • +1
      И получается, что нет. Mac Mini выигрывает.
      Оптерон = 18.4 GFLOPS * 1024 = 18841 GFLOPS (http://www.hector.ac.uk/cse/reports/interlagos_whitepaper.pdf)
      Мак Мини = 73.6 GFLOPS* 640 = 47104 GFLOPS (http://download.intel.com/support/processors/corei7/sb/core_i7-3600_m.pdf)
      • +1
        Хотя нет, надо же по ядрам считать. Тогда результаты такие:
        Оптерон = 9.2 GFLOPS * 1024 = 9421 GFLOPS (http://www.hector.ac.uk/cse/reports/interlagos_whitepaper.pdf)
        Мак Мини = 73.6 GFLOPS* 640 = 11776 GFLOPS (http://download.intel.com/support/processors/corei7/sb/core_i7-3600_m.pdf)

        • +1
          В первый раз все правильно посчитали ведь.
          Откуда вообще взялась цифра 9.2 для оптерона? В спецификации указано 18.4 per core per second. И почему во второй раз цифры для Mac Mini не поменялись (73.6 * 640), а результат поменялся???
      • 0
        На 4 мак мини поделить не забудьте, потому что в даташите насколько я понимаю производительность указана для всех 4-х ядер вместе.
    • 0
      Opteron — 115 ватт * 1024 = 117760 ватт ~ 118 киловатт
      Мак Мини — 45 ватт * 640 = 28800 ватт ~ 29 киловатт

      • 0
        Аналогично, данные брал по потреблению процессоров целиком, тогда так:
        Opteron — 115 ватт * 64 = 7360 ватт ~ 7.36 киловатт
        Мак Мини — 45 ватт * 160 = 7200 ватт ~ 7.20 киловатт
        • 0
          Ну на самом деле считать по TDP бестолку, особенно это касается Intel, та не заморачивается c TDP и ставит их с большим запасом.
        • +1
          Не надо подгонять результат под мак мини :-)
          Мощность я считал при максимальной загрузке с учетом всех компонентов для оптерон ( 4 CPU + 64ГБ памяти + материнка+ ssd) выходило примерно 600-630Вт, округлил до 600, для мак мини взял из официального сайта 83Вт — 2HDD +ssd + память, округлил до 70. Мощности сравнимые, но маки на 1-2КВт потребляют больше.
          По быстродействию, из Ваших выкладок понять трудно, хотя с результатом я примерно согласен, быстродействие будет сравнимое. Но, это теоретические GFlops, с учётом AVX. В реальных приложениях может быть не так всё радужно для интела.
    • 0
      Зато ещё стоит учесть плотность размещения мощностей.
      В стандартной стойке 64 ядра Opteron, а с Мак Мини всего 16 (4 компа)
      • 0
        А почему в стандартной стойке вы считаете 64ядра Оптерона?
        Беру стандартный 1U cервер ( www.stss.ru/products/servers/T-series/TD214.2.html ) — получаю 32 ядра.
        Как-то я думал, что в стандартной стойке существенно больше, чем 2U серверов…
        • 0
          1U, 2 CPU, 16-core в каждом, если в стойку кроме серверов ничего не ставим, то получаем 42*32=1344 ядра на стойку
    • 0
      Как ни печально, но оптерон в этом сражении, скорее всего, проиграет. По крайней мере, тот процессор, что в макбуках pro уделывает 16 ядерные оптероны не почесываясь.
      • 0
        Во-первых, тут процессор мобильный против серверного оптерона,
        во-вторых, формально ядер почти в два раза больше. Конечно я понимаю, что половина ядер у оптерона несколько надуманы, но в том «процессор, что в макбуках pro уделывает 16 ядерные оптероны» извольте сомневаться.
        Сравнив пару неравенств (ну нету под рукой ни оптерона ни макбук про), то получается
        для моих задач, например, с AVX, Intel Core i7-2600K быстрее AMD FX-8150 процентов на 30-40%,
        а так как Intel Core i7-3720QM немного медленнее Core i7-2600K, то приходим к выводу, что Intel Core i7-3720QM будет лишь немного быстрее AMD FX-8150, процентов на 10-20%.
        Итого, 16 ядерный оптерон, который примерно как 2 AMD FX-8150 с меньшей частотой, будет всё же быстрее Core i7-3720QM, процентов на 30-50%.
        Кстати, есть же Geekbench, посмотрите и сравните.
        макбук про = 14500 баллов
        2 opteron 6282 = 41000 баллов
        opteron 6274 = 19000 баллов
      • 0
        Ну если не нравится оптерон, можно сравнить с интелом, нода на 4х 8ядерных Xeon E5-4620 будет процентов на 20 дороже оптерона 16*8500 = 136000уе, потребление процентов на 10 меньше = 9кВт.
        Надеюсь, что 512 (1024 с HT) ядер xeon будут по быстродействию на уровне 640 ядер мобильного CPU?
        • 0
          Да, e5-4620 шустрее.
          А вот E5645 уже будет несильно быстрее в некоторых задачах. Компиляции, например.
          • 0
            Просто мобильные (да наверно и не только) i7 на Ivy Bridge вышли довольно удачные, сужу по i3-2310M 2.1ГГц и i7-3517U. Последний почти в полтора раза быстрее при вдвое меньшем потреблении.
            Почему ivy не добралиcь до сих пор до серверных CPU- непонятно.
  • +9
    А теперь, внезапно, драма. Мини (и все остальные эпплы) совсем не планируются к использованию в highload. Другими словами, если все эти 160 штук одновременно решат поджарить яичницу, то у них это получится.
    • НЛО прилетело и опубликовало эту надпись здесь
      • +2
        Алюминиевый корпус в этом смысле почти ничего не дает.
    • +1
      *Официально* не рассчитан. Реально же работает прекрасно, что подтверждается годами использования mac mini в колокейшнах.

      («Но зачем?»)
  • +1
    Так вроде же давно компании предлагают услуги mac mini colocation, тоже держат их в стойке пачками.
    Или тут что-то другое?
    • 0
      возможно тем, что здесь не компания, а частный энтузиаст, и не colocation, где каждая машина хостит одну или несколько задач, а кластер

      P.S. под «не компания» я имею в виду «не хостер/датацентр». Наверняка этот товарищ все-таки где-то работает, т.к. пишет, что ему действительно нужны 40 юнитов с маками для работы, а не JFF
  • –3
    И ни одного комментария про вирусную рекламу эплов? О_о
    • +2
      О, да! Apple как никто другой нуждается в рекламе.
  • 0
    Гламурные сайты хостить самое то. Можно даже прописать в разделе контакты. Но, вот, когда 160 SSD дисков одновременно закончат свой ресурс, а поменять их довольно трудно, начнутся проблемы.
  • –3
    У меня даже слов нет.
  • +12
    160 Mac Mini — вполне бюджетный кластер...

    Это шутка такая? :)
  • 0
    А почему только 160? Там же еще сверху место осталось :)
    • +1
      и по бокам кучками…
      • +1
        На двухсторонний скотч посадить еще десяток можно снаружи
  • 0
    Использую старенький Mac mini 2.1 для хостинга своих проектов. Очень хорошая машинка для этого, холодная и тихая, проапгрейдил DVD на второй HDD, с помощью оптибэя.
    Сейчас понял, что 2,5 хард, является нехилым тормозом для железки, даже 7200 оборотов, собираюсь ставить SSD, под статику.
    • +2
      И Вы только сейчас поняли что САТА диски тормознутые?
      • 0
        Я сейчас это ощутил )
  • +19
    У нас было два пакетика травы, семьдесят пять ампул мескалина, сто шестьдесят компьютеров Mac Mini,…
    • +3
      Проклятые летучие мыши:)
  • +3
    Не очень новая тема.

    Очень много фотографий


















    • 0
      Я правильно понимаю, что они все работают без дополнительного охлаждения?
      • 0
        Значит в данном случае хватает кондиционеров :)
  • 0
    Оказывается, Mac Mini великолепно работают вместе, если соорудить для них пластиковые подставки для компактного размещения в шкафу и добавить усиленное охлаждение на дверцу.

    image

    Когда коллега в прошлом году ездил в Купертино, в гости, рассказывал, что им говорили об успешном опыте использования вот на этом примере — appleinsider.com/articles/08/10/24/informed_players_say_apples_mac_mini_still_kickin.html
    image
    Безусловно, плотность меньше. Но абсолютно реальный пример использования провайдером.
  • 0
    В этом что-то есть… избыточность производства… для каждого мини был выпущен корпус, и т.п., хотя можно было бы ограничиться шасси для встраивания… по сути нужна спецверсия мака — для серверных)
    • 0
      Так они и были, но их сняли с производства. Я думаю, что тут важен вопрос экономии на масштабе производства — им просто дешевле делать сотни тысяч таких унифицированных MacMini, чем собирать отдельно пару сотен или тысяч специальных серверов.
  • 0
    Если кому-нибудь интересно, вот инструкция и фиксы для запуска vSphere 5.x на последнем поколении миников:
    www.virtuallyghetto.com/2012/12/running-esxi-50-51-on-2012-mac-mini-62.html

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.