Компания
161,50
рейтинг
11 июня 2013 в 10:29

Разное → Как мы строили отказоусточивый дата-центр уровня TIER-III

В 2009 году здесь был уже давно не использующийся склад уникальных компрессоров (в частности для системы «Энергия-Буран»), куда когда-то заезжал для разгрузки поезд.



Здание нам сразу понравилось. Мы выкупили его для строительства собственного ЦОД повышенной ответственности. Через несколько лет на месте цеха появился современный ЦОД, который стал третьим в России, сертифицированным по уровню Tier III Uptime Institute как объект.

Недавно я нашел довольно много фотографий со строительства. Думаю, вам будет интересно посмотреть, как всё это выглядит в процессе, обычно такие штуки не показывают.


А это 2012 год, машинный зал только начинает заполняться

Осторожно, под катом много фотографий

Вводная


Это был уже третий наш собственный ЦОД и далеко не первый и даже не двадцатый из тех, что мы строили или помогали строить по всей стране для различных заказчиков. Соответственно, к этому моменту мы уже имели отличную команду инженеров и проверенных поставщиков.

Базовые параметры ЦОД «Компрессор»
  • Отказоустойчивость: Tier III, подтвержденная Uptime Institute,
  • Охлаждение: N+1, в среднем 6 кВт/стойку (есть и 30 кВт стойки, они ставятся рядом с менее мощными в машзале),
  • Энергоснабжение: 2N, ИБП – 15 минут, ДГУ – 24 часа без дозаправки,
  • Вместимость – 800 стоек,
  • Помещения склада и персонала заказчика,
  • Охраняемая территория,
  • Здание в собственности,
  • Соединен оптоволоконным кольцом с сетью дата-центров КРОК,
  • 6000 кВт общей холодильной мощности, из них 1500 кВт резерв,
  • Сквозное резервирование системы холодоснабжения N+1 (3+1),
  • Среднегодовой расчётный PUE не хуже 1.45,
  • Запас холода 15 минут при отключении электроснабжения,
  • Температурный диапазон -36…+37 градусов (это абсолютный минимум и максимум за последние 10 лет в Москве).


Строительство «Компрессора» мы начали в 2009 году. Хотелось сделать всё по уму, поскольку специфика некоторых наших клиентов такова, что ЦОДы должны работать несмотря ни на что. Был выбран уровень TIER-III как наиболее соответствующий задачам (такие ЦОДы продолжают стабильно работать без изменений при выходе любого узла системы из строя и имеют показатель доступности 99,98%). Мы прошли сертификацию Uptime Institute по проекту и по объекту – до нас в России было всего два ЦОДа такого уровня.

Итак, на начало работ у нас было здание. В целом оно было в хорошем состоянии. Мы добавили перекрытия между первым и вторым этажом, плюс нарастили третий этаж под бытовые нужды (например, там сейчас столовая).

Сначала мы вывезли всё что нашли в цехе:


Вот так место выглядело в 2010 году, вид сверху. Это монтаж перекрытий второго этажа:


Тот же момент, вид изнутри здания. Здесь идет монтаж несущих опор второго этажа:


2011 год, монтаж перекрытий второго этажа завершен, устанавливаем внутренние перегородки:


Вот здесь видно высоту фальшпола, это январь 2011-го:


В том же январе 2011 технологические помещения уже были готовы к отделке:


А в феврале и марте мы монтировали двойной пол в помещении источников бесперебойного питания:


Двойной пол в помещении аккумуляторных батарей:


Здесь видна огнезащита несущих металлических конструкций, тоже февраль:


Фото марта 2011 года, строительство трассы между распределительной подстанцией дизель-генераторных установок и зданием ЦОДа:


А здесь хорошо видно проёмы, куда подаётся воздух под фальшпол. Высота около 1,2 метра, это из-за большой мощности.


Апрель 2011-го, строим трубопроводы. На фото — трубопроводы подачи охлаждённой воды к фанкойлам. Основные трубы имеют диаметр 400 миллиметров, а задвижки были по тонне, что создало ряд трудностей в монтаже.


Завершение контура охлаждения машинных залов


Монтаж трубопроводов для обвязки чиллеров и градирен, май 2011:


Июнь 2011-го, монтируем систему охлаждения, это монтаж чиллеров и драйкулеров на специальной конструкции сверху здания.




Их применение было связано с тем, что нужно было вписаться в имеющиеся габариты здания, поэтому чиллеры поставили на крышу.




А вот монтаж насосной станции в июле 2011 уже был завершен:


Шинопроводы тоже появились в июле 2011-го:




А вот здесь распредщиты:


Июль 2011, полным ходом идет монтаж подвесных потолков и лотков в машинных залах


В августе 2011 устанавливались внутренние блоки кондиционеров:


Вот так они выглядят в установленном виде:


Монтаж системы охлаждения распределительной трансформаторной подстанции:


Распределительная подстанция для дизель-генераторной установки на объекте подключения кабелей:


В августе 2011 мы начали также монтировать фасад здания. Здесь утеплитель уже почти смонтирован, устанавливают въездные ворота:


Тот же фасад здания с другой стороны:


А это монтаж кабельных лотков дизельной электростанции. Здесь пройдёт несколько тонн кабеля (фото — тоже август):


Топливнозаправочная площадка в августе была уже полностью готова:


Финальная окраска трубопроводов в помещении хладоцентра первого этажа:


Вот так в августе выглядела распределительная подстанция ДЭС, вид изнутри


Август 2011, совсем скоро Компрессор будет запущен, но сотрудницам КРОК уже не терпится на него посмотреть (на крыше с чиллерами):


Вот здесь дизель-генераторные установки, в процессе монтажа. Всего их было установлено 7 штук. Начало работ по монтажу кабельной системы. Фото сделано в сентябре 2011-го:


А это баллоны газового пожаротушения машзалов, тоже сентябрьское фото:


К сентябрю 2011 работы по установке вентилируемого фасада здания практически завершены:


В последнюю очередь делали отделку помещений и резервировали некритичное оборудование вроде микроволновок.


Вот и всё. После того, как фасад здания был полностью облицован, мы ещё привели в порядок территорию, поставили забор для охраны и посадили газон.

Ссылки


Вот здесь есть фотоэскурсия по данному ЦОД, здесь – больше деталей, а вот здесь – про особенности сертификации.

P.S. Если интересно, я напишу пост про оборудование, инженерные системы и поставщиков (кстати, некоторые отечественные поставщики очень даже неплохо себя зарекомендовали).
Автор: @Pvashkevich
КРОК
рейтинг 161,50

Комментарии (50)

  • +88
    Развалили космонавтику, одни дата-центры в стране!
    • +1
      Бабуля, перелогиньтесь! )
  • +1
    Любопытно, а кто у вас основные поставщики по энергоснабжению?
  • +3
    Спасибо.
    Про поставщиков расскажите.
    • +3
      Разные компании, например, электрощитовое оборудование — Schneider Electric. Давайте я лучше отдельным постом расскажу про то кто и что делал, там, в частности, целая эпопея как мы принимали отечественный кабель.
      • +1
        Да, ждем отдельный пост.
        Думаю, это будет большая статья :)
  • +3
    Масштабно! Подозревал, что строительство таких объектов дело трудоемкое, но всё-равно впечатлило! 8)
  • 0
    Жестко.

    Смотрел на картинки строительства ДЦ вКонтакте. Они как раз входят в тройку Tier 3 в России?
    • 0
      uptimeinstitute.com/TierCertification/certMaps.php — вот тут есть список сертифицированных, 3 только по проекту, 3 по факту. Как объекты сейчас Сбербанк, КРОК и DataSpace. Кстати, интересно, чей он.
      • +1
        Интересно, что в Германии нет ни одного согласно их карты. Немцы сертифицируются в другой конторе?
        • +28
          Немцы не сертифицируются, немцы работают.
      • 0
        www.dataspace.ru/about/investor_relations/
        я так понимаю, он более-менее независимый. Хотя, конечно, лучше спросить тех, кто реализовывал проект.
        • 0
          Видел, там информации о том, кто его использует, нет. Да и сайт странный, страница услуг в разработке. Типа, построили мегадорогой объект, а сайт забросили.
          • +1
            А кто использует, конечно, найти несколько сложней. Как минимум — «тинькофф». Судя по интернетам, там же «сидят» и некоторые другие банки.
            Сайт им, действительно, не нужен, на данном этапе ;) Я думаю, все их площади заняты давно и надолго. Смысла в рекламе услуг нет, так как ресурсы на их предоставление исчерпаны.
  • +2
    Весьма затратное дело — интересно когда (в какой срок) окупятся вложения?
    Пишите еще!
    • 0
      Спасибо. По этому объекту я не имею права называть конкретные числа, но порядок для класса таких объектов в целом — примерно 10 лет на возврат инвестиций.
      • +9
        Радует хотя бы наличие хоть каких-то долгосрочных проектов на территории РФ.
  • 0
    кстати, некоторые отечественные поставщики очень даже неплохо себя зарекомендовали

    Интересно, какие? Я думаю, тут список должен быть не велик.
  • –8
    Думаю, вам будет интересно посмотреть, как всё это выглядит в процессе, обычно такие штуки не показывают.


    100500 раз здесь уже это показывали… по-моему, уже все, кому не лень себе дата-центров настроили и показали это. У всех все круто и зашибись.
    Одни дата-центры в стране…
    • 0
      Ну так хорошо же! Больше ДЦ — больше линий связи — большая удовлетвореность потребителей.
  • 0
    Система пожаротушения какая у вас? откачиваете воздух и заполняете газом помещение?
    • 0
      Процитирую своего коллегу из поста про фотоэкскурсию:

      Процедура на случай пожара: отключение модуля, тушение руками, вывод людей, ручной пуск газа по кнопке с внешней стороны двери машинного зала. При этом оборудование и электрика продолжают работать, просто в зале не остаётся кислорода. На тушение и удаление дыма уходит от двух часов, при этом в зал нельзя заходить никому без костюма и баллона. Перезарядка системы пожаротушения и всех остальных, которые срабатывают, стоит около 2 миллионов рублей. Нажал на кнопку — потратил.
    • +1
      Откачивать не обязательно — газ сам своим давлением вытеснит ненужный воздух в ту же вентиляцию, даже если она не работает. Главное — вывести из помещения людей до пуска газа, т. к. в заполненном помещении кислорода в атмосфере не будет.
  • +2
    Интересно. Про оборудование, инженерку и поставщиков тоже интересно, пишите.
  • 0
    интересно сколько денег ушло и какова окупаемость? (если не коммерческая тайна)
  • +4
    Надо же, на стройке ни одного гастарбайтера не увидел. Нанимать таких на ответственное дело себе дороже?!
  • +6
    Сотрудница понравилась. Можете про неё написать?
  • 0
    интересно, пишите пост про оборудование, инженерные системы и поставщиков.
  • +1
    Не совсем понятно из фотографий — старую крышу Вы полностью снесли, потом добавили перекрытия между первым и вторым этажом, потом перекрытия между вторым и третьим, и потом третий и сделали новую крышу? Фото завода изнутри на момент покупки — это 2 этажа сразу, без перекрытий между ними? Заранее спасибо за ответ!
    • +1
      Да, изначально здание было однообъемным. Сначала планировали только сделать перекрытие между 2-м и 3-им этажами, но потом потребовалось добавить помещений для персонала (появился третий этаж над частью здания) и т.к. часть крыши уже была демонтирована для организации чиллерной площадки, то решили (раз от крыши и так почти ничего не осталось) полностью заменить ее на плоскую.
      • 0
        Спасибо! Вы хотели сказать, наверное, «планировали только сделать перекрытие между 1-м и 2-м этажами»?
        • +1
          Да, верно, спасибо.
  • +1
    Теперь, главное, чтобы тучи не налетели :)
  • 0
    Дата-центр находится территориально где-то возле авиамоторной?
    • 0
      Да, территориально возле Авиамоторной. На территории завода «Компрессор».
  • 0
    все равно стремновато хоститься в России
  • 0
    Расскажите как боритесь с пылью. Как вообще уборка в ЦОД осуществляется?
    • 0
      Ее там не должно быть, т.к. иначе вся пыль будет внутри серверов.
    • +1
      В продолжении постарался подробно ответить.
      • 0
        Благодарю
  • +1
    У китайцев квартиры меньше, чем у вас фальшполы.
    • +1
      Наклевывается идея поселить их в фальшполах и использовать вместо дизельных генераторов?
  • 0
    План России до 2120 года:
    … и чтобы у каждого был свой дата-центр.
  • 0
    Иэх, люблю я большой телеком и всякую красивую машинерию, иногда даже жалею, что свернул на тропу кодинга…
  • +1
    А кто проектировал объект, тоже в России?
    • +1
      Да, это наша работа.
      • 0
        Здорово! Я конечно дилетант, но внушает уважение.
  • +1
    Здание нам сразу понравилось. Мы выкупили его для строительства собственного ЦОД повышенной ответственности.

    Напомнило (контекст: физики просят С.П. Королева просят сделать одну из первых ракет для исследований слоев атмосферы):

    Если Королев хотел завести с кем-нибудь прочные деловые связи, он часто
    начинал с таких экскурсий, старался произвести впечатление наглядной
    демонстрацией размаха своих работ, а потом уже приступал к переговорам. Так
    было и на этот раз. Закончив экскурсию, Королев начал расспрашивать физиков
    об их планах. Сергей Павлович слушал очень внимательно, а когда они
    замолчали, спросил: – Какой общий вес вашей аппаратуры? У Вернова
    перехватило дыхание. Детекторы вместе с блоками усиления, формирования и
    кодирования сигналов, два передатчика и все кабельное хозяйство весили
    столько, что и подумать страшно. Вавилов радовался, когда Иванов обещал
    поднять ему на 40 километров 10 килограммов, а тут… – Пятьсот
    килограммов, – с дрожью в голосе произнес Вернов. Королев все понял. Сделал
    многозначительную паузу, чтобы Вернов осознал свое «безумие», и, наконец,
    произнес с улыбкой: – Пятьсот килограммов это пустяки… Это были совсем не
    пустяки, но какое же это наслаждение: быть сильным!


    (Ярослав Голованов. Королев: факты и мифы)
  • 0
    Подскажите, на сколько я понял, вы используете водяные чиллеры с градирнями. Почему сделан именно такой выбор? Почему не воздушные чиллеры? Не могли бы вы рассказать, почему вы делаете систему охлаждения именно так, как вы ее делате? Неужели подпольное охлаждение эффективнее? Зонируете ли вы потоки воздуха под фальшполом? Как вы охлаждаете «мега-горячие» стойки?

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное