Крупнейший оператор дата-центров TIER III в России
99,53
рейтинг
11 сентября 2013 в 11:52

Разное → Дата-центр NORD на Коровинском шоссе

Знакомьтесь, это дата-центр NORD на Коровинском шоссе.
ЦОД состоит из трех корпусов (NORD 1, NORD 2, NORD 3) и на сегодняшний день является самым масштабным объектом компании DataLine. Общая площадь всех корпусов дата-центров NORD 7636 кв. м., на таких пространствах с легкостью разместятся 1280 стоек в 8 машинных залах.

Панорамный вид на локацию NORD: NORD 2 (серый) и NORD 1, тот, что у серого под боком. Общая площадь NORD 2 — 1713 кв. м, количество стойко-мест — 474. Общая площадь NORD 1 — 1320 кв. м, количество стойко-мест – 284. А серый корпус в стороне – это NORD 3, который был запущен в этом году. Общая площадь — 1880 кв. м, количество стойко-мест — 426. Там же, где котлован (сейчас уже залит фундамент), строится новый корпус NORD 4 общей площадью 11700 кв. м и на 2000 стоек. Запуск первых машинных залов NORD 4 запланирован на первую половину 2014 года.



NORD 1 и 2


NORD 3

Все залы выполнены в виде гермозон («дом в доме»). Перед запуском гермозону тщательно проверяют на герметичность, выливая на нее тонны воды. В общем, под такой надежной крышей не страшно разместить сервера с самыми важными данными.


Энергоснабжение

Электроэнергия от городской сети в NORD подается по двум независимым лучам, т.е электроснабжение дата-центра зарезервировано по схеме 2N. Если происходит сбой хотя бы на одном луче, то дата-центр автоматически переходит на энергоснабжение с помощью 9 дизель-генераторных установок (ДГУ). Пока ДГУ включаются в работу, электроснабжение в дата-центре осуществляется с помощью источников бесперебойного питания (ИБП).
Вот и наша «розетка» прямо под боком.


Масло и антифриз ДГУ постоянно находятся в подогретом состоянии, благодаря чему дизеля постоянно готовы к запуску и выходят на режим работы менее чем за минуту. В дата-центре NORD используются ДГУ производства FG Wilson в контейнерном исполнении. NORD 1 обслуживают 4 ДГУ, NORD 2 –три, NORD 3 – два. В ближайшем будущем у NORD 2 и NORD 3 появятся еще по две ДГУ. Все ДГУ зарезервированы по схеме N+1.


Топливные баки ДГУ рассчитаны на 6 часов работы, а действующие договора с подрядчиками на оперативную доставку дизельного топлива гарантируют сколь угодно долгую работу дата-центра даже при долговременном отказе городской электросети.


Пока ДГУ заводятся, электроснабжение всего дата-центра держится на ИБП. Все корпуса NORD оборудованы ИБП производства APC серии MGE Galaxy 7000. Их емкость рассчитана на питание всего дата-центра в течение 10 минут. Этого времени с лихвой хватит для завода ДГУ. ИБП зарезервированы по схеме 2N. К каждому ИБП подключены три линейки аккумуляторов.


Система охлаждения и климат-контроля

В ЦОД NORD поддерживается постоянный микроклимат: температура держится на уровне 25 ̊С (± 2), а влажность – 30-70%.
От кондиционеров охлажденный воздух подается под фальшпол и далее, через перфорированные плитки фальшпола, выдувается в «холодные» коридоры. Оттуда сервера забирают его с лицевой стороны и выдувают с обратной стороны уже горячий воздух ( традиционный принцип «холодных» и «горячих» коридоров).


Все оборудование в ЦОД «прохлаждается» под прецизионными двухконтурными фреоновыми кондиционерами.


На крыше и рядом с корпусами расположены внешние конденсаторные блоки, соединенные с кондиционерами двумя независимыми трассами.На каждый кондиционер приходится по два таких внешних блока. Вся система кондиционирования зарезервирована по схеме N+1.




Система охраны и видеонаблюдения

Надежная охрана и система контроля и управления доступом (СКУД) не пропустит непрошеных гостей в NORD.
А за теми, кто имеет доступ в святая святых, внимательно следят наружные и внутренние камеры системы охранного теленаблюдения (СОТ). Так что ни одно телодвижение в помещениях и прилегающих территориях дата-центра не останется незамеченным. Видеоархивы хранятся от трех месяцев.





Но и это еще не все: для желающих можно устроить настоящий Форт-Нокс — установить для отдельных стоек дополнительные ограждения, СКУД и камеры.


Наконец, все корпуса дата-центра NORD оборудованы сигнализацией («тревожная кнопка») ФГУП «Охрана» МВД России.
Чтобы попасть внутрь ЦОД NORD, нужно заказать пропуск не позже, чем за час до визита, на посту охраны предъявить документ, удостоверяющий личность, и под чутким руководством дежурного инженера отправляться исследовать просторы дата-центра.
Несмотря на свою неприступность, для клиентов DataLine, желающих проведать свое оборудование, двери дата-центра NORD открыты 24 часа в сутки, 7 дней в неделю.

Центр мониторинга

Здесь, на многочисленных мониторах, все инженерные системы ЦОДа, как на ладони: сюда транслируется вся информация о параметрах энергопотребления, состоянии систем холодоснабжения и готовности источников резервного питания – ДГУ и ИБП. На экраны ЦУПа попадают тикеты клиентов, отправленные из Личного кабинета.
Кстати о последнем, почти вся информация, которая появляется на экранах нашего ЦУПа, доступна и для клиентов в Личном кабинете.
Там же имеются сведения по оборудованию, которое задействовано клиентом в дата-центре, контрактная документация и информация по оплате услуг
Но это еще не все: в течение всего дня каждые 4 часа дежурные инженеры осуществляют обход всех машинных залов и инфраструктурных объектов. Так что все в ЦОДе NORD под неусыпным контролем


Система пожарной безопасности

Для всяких пожарных (в прямом смысле этого слова) случаев дата-центр NORD оборудован автоматической системой газового пожаротушения.
Она обеспечивает раннее обнаружение очага возгорания, оповещение (наша сирена мертвого поднимет) и автоматическое тушение.
В качестве огнетушащего вещества используется хладон 125, который подается по трубопроводам в защищаемые помещения.



Система супернадежна, так как зарезервирована по схеме 2N.


Телекоммуникации

Сетевая и кабельная инфраструктура зарезервирована по принципу 2N. IP/MPLS сеть распределена по двум дата-центрам, имеет точки присутствия на ММТС-9 и ММТС-10. Сеть подключена к нескольким точкам обмена трафиком (MSK-IX, DATA-IX, RETN-IX).

Все узлы соединены между собой резервируемыми волоконно-оптическими линиями связи (ВОЛС).
Суммарная пропускная способность интернет-полосы 50 Гбит/с, каналы связи — 150 Гбит/c.


И напоследок — красоты нашего дата-центра NORD.





Автор: @dataline
DataLine
рейтинг 99,53
Крупнейший оператор дата-центров TIER III в России

Комментарии (51)

  • +4
    Кстати, один из кластеров WoT гнездится в этом адском логове…
    • –1
      Никому не советую вести какие-либо товарно-денежные отношения с данной компанией (Dataline), за подробностями в ЛС. Возможно скоро опубликую.
  • +8
    Последние 3 фотки очень красивые :)
    • +16
      «geek porn»
    • +3
      Согласен. Можно их в разрешении по-больше?
      • 0
        Больше есть, но сюда уже не лезет
        • +2
          Скиньте, пожалуйста, куда-нибудь, на Dropbox, например. Уж очень хочется вторую картинку на фон. Ну или можно на электропочту — basicxp [a] basicxp.ru. Спасибо!
          • –1
            И на 8uk.8ak at gmail.com, если есть возможность.)

            Не в ту ветку, промахнулся.
        • 0
          И мне, пожалуйста, последнюю на leave@nixkid.com
          Как раз на обоину подойдет
          • +1
            Можт уже выложит кто-нить на дропбокс?
      • –1
        Надо писать «в раз-решении по-больше».
    • +2
      Да не только последние. Там все фотки прекрасны.
      Я считаю, что статье место прямо на porn.serverbear.com/!
  • +4
    Внешние блоки кондиционеров стоят почти прямо под деревьями. Их осенью листьями не забьёт?
    • 0
      Думаю поток воздуха из кондёров не дает залететь листьям.
      • 0
        А если дерево подгниет и рухнет, или циклон фортель выкинет?
        • 0
          Еще раз фото посмотрел и мне кажется там сеткой прикрыт вентилятор.
  • 0
    Они стоят там не первый год, и пока с такими проблемами не сталкивались)
  • +2
    И кто такие друиды?
    • 0
      это инженеры, которые в огне не горят, в воде не тонут ;)
  • +8
    Глядя на баннеры на фоне труб подумал: «Вот до чего ДЦ докатились в резерв ставят АЭС...»
    • +1
      КРОК-овцы вроде писали, что им как-то на каком-то картографическом сервисе ТЭЦ рядом с их новым ДЦ прописали как АЭС, из-за чего были сложности с сертификацией центра на tier.
      • +1
        Точно, так и было здесь
        ТЭЦ. Кстати, какие-то нехорошие люди написали в Викимапии, что это «Nuclear power plant», отчего иностранцы нам чуть не запороли сертификат TIER III с вопросом: «Русские, вы что, с ума сошли строиться около ядерного объекта?». Долго доказывали, что это обычная ТЭЦ.
    • 0
      Полагаю, однако, что питание идет не напрямик от ТЭЦ, а все же от обычного городского снабжения. К ТЭЦ напрямик подключиться — это нужен суепрдруид уровня не ниже 70-го :)
  • 0
    Что такое RETN-IX? Если верить Google, то это сочетание символов встречается только при упоминании вас.

    Электроэнергия от городской сети в NORD подается по двум независимым лучам, т.е электроснабжение дата-центра зарезервировано по схеме 2N. Если происходит сбой хотя бы на одном луче, то дата-центр автоматически переходит на энергоснабжение с помощью 9 дизель-генераторных установок (ДГУ). Пока ДГУ включаются в работу, электроснабжение в дата-центре осуществляется с помощью источников бесперебойного питания (ИБП).

    2 независимых луча не резервируют друг друга, поэтому при сбое хотя бы одного луча переходите на ДГУ?
    • 0
      Видимо просто retn www.retn.net/en/network/ix/
      • 0
        Это список IX, на которых присутствует RETN, но это не «точка обмена трафиком».
    • 0
      На самом деле резервирование по электропитанию у нас немного больше чем 2N: есть 2 независимых ввода от городской сети + ДГУ с ИБП.
      В случае, если один луч пропадает, подключаются ДГУ, в результате в работе оборудования заказчиков и элементов инфраструктуры ЦОД не происходит сбоев.
      Можно, конечно, работать и на одном луче, но что если с городской электросетью совсем апокалипсис и второй луч прикажет долго жить?
      Мы предпочитаем не дожидаться таких неприятных моментов, поэтому ДГУ включаются сразу, как только что-то происходит с одним лучом.
      • 0
        что если с городской электросетью совсем апокалипсис и второй луч прикажет долго жить?

        Когда откажет второй луч, то переходить на батарейки, а с них на ДГУ. Иначе, зачем вам 2 луча?

        Я думаю, что тут нужно смотреть на вероятность, что чаще происходит:
        1. последовательное отключение 2 вводов
        2. отключение только одного ввода.

        А насчет RETN-IX? Очень интересный термин.
        • 0
          Тут дело даже не в вероятности.
          Если оставить все на одном луче (без ДГУ), то нагрузка станет неоправданно высокой, и это при том, что наши ЦОДы заполнены более чем на 90%.
          Наши специалисты по проектированию считают, что такая схема резервирования лучше. Все-таки уже 4й дата-центр по такой схеме построили и вполне успешно эксплуатируем :)
          • 0
            Я думаю, когда на одном из двух вводов работать нельзя по причине, например, нагрузки, то это значит, что резерва по лучам нет: выход из строя одного всегда влечет за собой вывод другого.

            Я не критикую ваши ДЦ и опыт, просто хочу понять смысл.
            • 0
              На самом деле, оба варианта – и переход на резервный луч (с подстраховкой в виде ДГУ), и переход на ДГУ (оставляя резервный луч в качестве дополнительной подстраховки) – рабочие, здесь вы правы. И сразу перевести на резервный ввод тоже можно, даже при высокой нагрузке (поскольку резервный ввод – действительно резервный :) и рассчитан на ту же нагрузку, что и основной). Если говорить коротко, то мы для себя выбрали в качестве «штатного» варианта последовательность сначала ДГУ, потом резервный луч, — но и наоборот тоже можно.
  • 0
    Удалил повторяющийся вопрос.
  • +1
    По первой фотке: там сплошные серые корпуса! N1 — серый, N2 у серого под боком, N3 серый в стороне.
    Ни чего не разобрать =)
    • 0
      добавили крупных планов )
      • 0
        Можно было просто на фотке подписать где какой.
        • 0
          да что уж мелочиться =)
  • +1
    Не совсем понял про 50 и 150 гигабит. Это все, что есть на 3 здания?
  • 0
    Спасибо! Каждый день проезжаю мимо этого датацентра и теперь «побывал» внутри.
  • +3
    Напомнило
    image
  • 0
    А недавно в вашем супер-надежном ДЦ у нас вся стойка с серверами просто перезагрузилась, что привело очень неприятным последствиям для нас :(

    Ответили, дескать завис АВР… Как такое может произойти не пойму…
    • 0
      АВР который в стойке APCшный?
      • 0
        Вероятно, точно не скажу.
        Привел ответ техслужбы
    • 0
      А к каким последствиям может привести непредвиденная перезагрузка, в случае грамотного резервирования и резервного копирования?
      Разве что в это время производилось какое-то обновление баз или что-то схожее по действиям, но и в этом случае — в нормальных системах с живыми данными лучше, чтобы ничего не работало (т.е. вносятся поправки в «промежуточный» вариант базы, и потом записи копируются в «рабочую»). Да, это вносит некоторые дополнительные сложности, но повышает отказоустойчивость.
      Честно говоря, ни разу не встречался, работая с грамотно настроенными серверами, с проблемами от перезагрузок, зависаний и так далее. Расскажите, если не сложно :-)
      • 0
        Проблема в том, что тот же посгрес стартует очень медленно при больших объемах базы и некорректном завершении работы и общий простой наших сервисов составил минут 40. Из-за этого мы потеряли несколько десятков тысяч пользоватлей
        • 0
          Теперь понятно, какого рода последствия у Вас были.
          В таком случае, если критична потеря пользователей — наилучший вариант — это иметь распределенную систему серверов, хотя бы по двум различным ДЦ (естественно, с синхронизацией друг с другом). В таком случае, в случае дауна одной серверной группы, другая возьмет всю нагрузку на себя и проект продолжит более-менее сносно работать.
  • 0
    В качестве огнетушащего вещества используется хладон 125, который подается по трубопроводам в защищаемые помещения

    Автоматически? А если в этот момент там люди? Что будет приоритетнее — данные клиентов («людей спишем на производственный случай...») или есть какой-то контроль?
    • 0
      По крупицам информации, которую выдал по этому поводу гугл, несколько минут дыхания этим газом в той концентрации, которая необходима для тушения, для человека вовсе не опасно. За пару минут, я думаю, любой сможет оперативно свалить из помещения.
    • 0
      Конечно, есть контроль. Сначала все эвакуируются, потом пускается газ. Никто не дышит газом, даже пару минут)
  • –1
    Объясните, пожалуйста, почему холодный воздух подается через пол, а не через потолок?
    • 0
      Здесь все дело в законах физики: в основе такой системы кондиционирования принцип физического разделения горячих и холодных потоков. Холодный воздух тяжелее, поэтому он подается снизу, а нагреваясь, он поднимается вверх, где попадает в систему охлаждения.
  • –1
    Можем предложить аренду серверов xeon в этом цод по 4000rub/m :)

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное