Pull to refresh
135.52

Как мы строили отказоусточивый дата-центр уровня TIER-III

Reading time 4 min
Views 89K
В 2009 году здесь был уже давно не использующийся склад уникальных компрессоров (в частности для системы «Энергия-Буран»), куда когда-то заезжал для разгрузки поезд.



Здание нам сразу понравилось. Мы выкупили его для строительства собственного ЦОД повышенной ответственности. Через несколько лет на месте цеха появился современный ЦОД, который стал третьим в России, сертифицированным по уровню Tier III Uptime Institute как объект.

Недавно я нашел довольно много фотографий со строительства. Думаю, вам будет интересно посмотреть, как всё это выглядит в процессе, обычно такие штуки не показывают.


А это 2012 год, машинный зал только начинает заполняться

Осторожно, под катом много фотографий

Вводная


Это был уже третий наш собственный ЦОД и далеко не первый и даже не двадцатый из тех, что мы строили или помогали строить по всей стране для различных заказчиков. Соответственно, к этому моменту мы уже имели отличную команду инженеров и проверенных поставщиков.

Базовые параметры ЦОД «Компрессор»
  • Отказоустойчивость: Tier III, подтвержденная Uptime Institute,
  • Охлаждение: N+1, в среднем 6 кВт/стойку (есть и 30 кВт стойки, они ставятся рядом с менее мощными в машзале),
  • Энергоснабжение: 2N, ИБП – 15 минут, ДГУ – 24 часа без дозаправки,
  • Вместимость – 800 стоек,
  • Помещения склада и персонала заказчика,
  • Охраняемая территория,
  • Здание в собственности,
  • Соединен оптоволоконным кольцом с сетью дата-центров КРОК,
  • 6000 кВт общей холодильной мощности, из них 1500 кВт резерв,
  • Сквозное резервирование системы холодоснабжения N+1 (3+1),
  • Среднегодовой расчётный PUE не хуже 1.45,
  • Запас холода 15 минут при отключении электроснабжения,
  • Температурный диапазон -36…+37 градусов (это абсолютный минимум и максимум за последние 10 лет в Москве).


Строительство «Компрессора» мы начали в 2009 году. Хотелось сделать всё по уму, поскольку специфика некоторых наших клиентов такова, что ЦОДы должны работать несмотря ни на что. Был выбран уровень TIER-III как наиболее соответствующий задачам (такие ЦОДы продолжают стабильно работать без изменений при выходе любого узла системы из строя и имеют показатель доступности 99,98%). Мы прошли сертификацию Uptime Institute по проекту и по объекту – до нас в России было всего два ЦОДа такого уровня.

Итак, на начало работ у нас было здание. В целом оно было в хорошем состоянии. Мы добавили перекрытия между первым и вторым этажом, плюс нарастили третий этаж под бытовые нужды (например, там сейчас столовая).

Сначала мы вывезли всё что нашли в цехе:


Вот так место выглядело в 2010 году, вид сверху. Это монтаж перекрытий второго этажа:


Тот же момент, вид изнутри здания. Здесь идет монтаж несущих опор второго этажа:


2011 год, монтаж перекрытий второго этажа завершен, устанавливаем внутренние перегородки:


Вот здесь видно высоту фальшпола, это январь 2011-го:


В том же январе 2011 технологические помещения уже были готовы к отделке:


А в феврале и марте мы монтировали двойной пол в помещении источников бесперебойного питания:


Двойной пол в помещении аккумуляторных батарей:


Здесь видна огнезащита несущих металлических конструкций, тоже февраль:


Фото марта 2011 года, строительство трассы между распределительной подстанцией дизель-генераторных установок и зданием ЦОДа:


А здесь хорошо видно проёмы, куда подаётся воздух под фальшпол. Высота около 1,2 метра, это из-за большой мощности.


Апрель 2011-го, строим трубопроводы. На фото — трубопроводы подачи охлаждённой воды к фанкойлам. Основные трубы имеют диаметр 400 миллиметров, а задвижки были по тонне, что создало ряд трудностей в монтаже.


Завершение контура охлаждения машинных залов


Монтаж трубопроводов для обвязки чиллеров и градирен, май 2011:


Июнь 2011-го, монтируем систему охлаждения, это монтаж чиллеров и драйкулеров на специальной конструкции сверху здания.




Их применение было связано с тем, что нужно было вписаться в имеющиеся габариты здания, поэтому чиллеры поставили на крышу.




А вот монтаж насосной станции в июле 2011 уже был завершен:


Шинопроводы тоже появились в июле 2011-го:




А вот здесь распредщиты:


Июль 2011, полным ходом идет монтаж подвесных потолков и лотков в машинных залах


В августе 2011 устанавливались внутренние блоки кондиционеров:


Вот так они выглядят в установленном виде:


Монтаж системы охлаждения распределительной трансформаторной подстанции:


Распределительная подстанция для дизель-генераторной установки на объекте подключения кабелей:


В августе 2011 мы начали также монтировать фасад здания. Здесь утеплитель уже почти смонтирован, устанавливают въездные ворота:


Тот же фасад здания с другой стороны:


А это монтаж кабельных лотков дизельной электростанции. Здесь пройдёт несколько тонн кабеля (фото — тоже август):


Топливнозаправочная площадка в августе была уже полностью готова:


Финальная окраска трубопроводов в помещении хладоцентра первого этажа:


Вот так в августе выглядела распределительная подстанция ДЭС, вид изнутри


Август 2011, совсем скоро Компрессор будет запущен, но сотрудницам КРОК уже не терпится на него посмотреть (на крыше с чиллерами):


Вот здесь дизель-генераторные установки, в процессе монтажа. Всего их было установлено 7 штук. Начало работ по монтажу кабельной системы. Фото сделано в сентябре 2011-го:


А это баллоны газового пожаротушения машзалов, тоже сентябрьское фото:


К сентябрю 2011 работы по установке вентилируемого фасада здания практически завершены:


В последнюю очередь делали отделку помещений и резервировали некритичное оборудование вроде микроволновок.


Вот и всё. После того, как фасад здания был полностью облицован, мы ещё привели в порядок территорию, поставили забор для охраны и посадили газон.

Ссылки


Вот здесь есть фотоэскурсия по данному ЦОД, здесь – больше деталей, а вот здесь – про особенности сертификации.

P.S. Если интересно, я напишу пост про оборудование, инженерные системы и поставщиков (кстати, некоторые отечественные поставщики очень даже неплохо себя зарекомендовали).
Tags:
Hubs:
+104
Comments 50
Comments Comments 50

Articles

Information

Website
croc.ru
Registered
Founded
Employees
1,001–5,000 employees
Location
Россия