Компания
249,16
рейтинг
14 июня 2013 в 10:57

Разное → Инфраструктура отказоустойчивого дата-центра класса TIER-III



В средней части первого этажа ЦОД «Компрессор» два машзала, строго над ними — два машзала на втором этаже. В каждом зале по 1 МВт электромощности на стойки. На первом этаже трансформаторная подстанция, распредпункт, электрощитовая. Слева-сверху на схеме бытовой комплекс, помещение охраны. Справа от машзалов – помещение системы охлаждения – насосная станция. Рядом с машзалами (по бокам) коридоры с фанкойлами, по центру — коридор с распредщитами.

Второй этаж в принципе повторяет планировку первого этажа:



На месте трансформаторных подстанций — ИБП и аккумуляторы. Холодильная часть второго этажа — это насосная станция гликолевого контура (второй контур охлаждения). Плюс справа от машзалов установлен бак-аккумулятор на 100 кубометров на 15 минут автономного холодоснабжения ЦОДа (при отключении внешнего электроснабжения на время запуска дизельной электростанции для охлаждения машзалов используется уже заранее захоложенная вода из бака, которая подаётся в контур охлаждения).


Макет ЦОДа

Вот первый топик про строительство этого ЦОД.

Вводная


Прежде чем идти дальше, для начала коротко расскажу о ситуации. Сейчас у КРОК есть 3 ЦОДа, которые располагаются вот так:



Первые два – у нас в офисе и под соседним зданием парковки соответственно. Третий (как раз «Компрессор») находится подальше, но тоже в Москве, из-за развитой инфраструктуры и хороших каналов связи в столице и из любой точки города. Он расположен там, куда системный администратор или инженер спокойно может добраться минут за 40-50 из любой точки города или из центра на метро или машине.

Вообще, на сегодня мы участвовали уже более чем в 60 запусках ЦОДов разных компаний в России – где-то делали очень много, где-то консалтили, где-то выполняли только отдельный участок работ. Опыт накопился большой. Но начиналось всё просто: первый ЦОД был пилотный, со всеми классическими решениями. На базе него мы для себя поняли, насколько перспективно это направление и насколько аутсорсинговые ЦОДы востребованы. Тогда же мы начали проектировать и строить ЦОД «Компрессор». По ходу дела появилась возможность построить ещё один не очень большой ЦОД под парковкой. В нём впервые в РФ мы использовали ДДИБП (это очень интересный ИБП, где огромный ротор накапливает кинетическую энергию), плюс как на нем, так и на Компрессоре обкатали ещё несколько новых штук.


Первый ЦОД на 90 стоек и 1Мвт.


Второй ЦОД на 110 стоек и 2 Мвт.


ЦОД «Компрессор» на 800 стоек и 8 Мвт.

Базовые параметры ЦОД «Компрессор»
  • Отказоустойчивость: Tier III, подтвержденная Uptime Institute,
  • Охлаждение: N+1, в среднем 5 кВт/стойку (есть и 30 кВт стойки, они ставятся рядом с менее мощными в машзале),
  • Энергоснабжение: 2N, ИБП – 15 минут, ДГУ – 24 часа без дозаправки,
  • Вместимость – 800 стоек,
  • Помещения склада и персонала заказчика,
  • Охраняемая территория,
  • Здание в собственности,
  • Соединен оптоволоконным кольцом с сетью дата-центров КРОК,
  • 6000 кВт общей холодильной мощности, из них 1500 кВт резерв,
  • Сквозное резервирование системы холодоснабжения N+1 (3+1),
  • Среднегодовой расчётный PUE не хуже 1.45,
  • Запас холода 15 минут при отключении электроснабжения,
  • Температурный диапазон -36…+37 градусов (это абсолютный минимум и максимум за последние 10 лет в Москве).



Электроснабжение



Извините, меня предупредили, что если на схеме будет что-то читаться, то безопасники меня пристрелят, поэтому вот так.

Энергоснабжение
  • 8 МВА максимальное энергопотребление ЦОД,
  • 4 МВт (4х200х5 кВт) энергопотребление ИТ,
  • Энергия напрямую от генератора (ТЭЦ-11) по двум независимым кабельным линиям,
  • PUE по результатам замеров из полного потребления ЦОДа (включающего всех потребителей) к IT-стойкам 1,35-1,45 (зима), в отдельные дни было 1,25. 1,45-1,85 (лето). Запланированное среднегодовое – 1,45, идём чуть лучше плана,
  • Крупнейшая в России сборка ДГУ F.G.Wilson в контейнерном исполнении,
  • 7 ДГУ по 2000 МВА каждый,
  • Параллельная работа ДГУ на 2 шины,
  • Резервирование коммуникаций 2N,
  • Резервирование ДГУ N+1,
  • Запас топлива на 24 часа.


Бесперебойное энергоснабжение
  • Крупнейшая в России сборка ИБП GE Digital Energy,
  • 38 шт. GE DE SG series по 300 кВА каждый,
  • Автономия 15 мин,
  • Резервирование сборок ИБП 2N и N+1.


Оборудование
  • Электромонтажное и электрощитовое оборудование Schneider Electric,
  • Релейная микропроцессорная защита Sepam,
  • Распределительные щиты Prisma Plus серий P и G,
  • Шинопроводы Canalis KTA,
  • Кабельная продукция: более 100 км кабеля сечением от 1,5 до 400 квадратных миллиметров (некоторые нельзя согнуть руками, только специальным прибором) от отечественных заводов.




Полные 8 МВт достигаются при температуре +37 снаружи и полной загрузке машинных залов. Вход — 2 линии от ТЭЦ, причём нам пришлось дорабатывать их питающие ячейки и самим прокладывать инфраструктуру до ЦОДа. Затем 8 трансформаторов, 4 группы по 2 штуки. Мы старались минимизировать количество коммутирующих аппаратов. В России один автоматический выключатель на 2,5 килоампера стоит дороже, чем трансформатор. Поэтому мы оптимизировали схему исходя из минимизации затрат. На каждый машзал сейчас работает по два независимых трансформатора по 2000 киловольт-ампер каждый. Нечётные трансформаторы питают чиллеры и градирни, чётные — фанкойлы. Мы имеем возможность отключать любой из трансформаторов, и при этом работоспособность ЦОДа не нарушается. Справа на схеме — 7 резервных ДГУ по 2000 киловольт-ампер резервной мощности. Запас топлива хранится в двух ёмкостях по 25 кубометров.

ИБП — классические статические. 38 штук по 300 киловольт-ампер каждый. Для машзалов резервирование 2N, для инженерной нагрузки — N+1. Обеспечивается 15 минут бесперебойного питания.

Силовые трансформаторы отечественные, они вполне высокого качества. Всего — 8 штук. Делал их Подольский трансформаторный завод, они прекрасно работают, никаких нареканий. Кабельная продукция тоже отечественная, но мы тщательно проверяли каждый кабель при отгрузке, потому что не секрет, что при больших партиях наши заводы могут выгнать брак. Воевали за каждый метр.

Охлаждение


Система охлаждения – это баланс между экологичностью, ценой и эффективностью. Да-да, мы любим экологичные решения, и уже тогда думали про это, а не только про деньги.



Система двухконтурная, первый контур с водой — 200 тонн. В случае разлива никаких проблем. Вода ещё и хороша по теплофизическим свойствам. Баки-аккумуляторы у нас из железобетона, давление создаётся естественным столбом воды (система открытая).

Мы закладывали высокие параметры по температуре, чтобы минимизировать потери мощности на конденсации воды на теплообменниках. В нашем случае 13 градусов на подающей 18 градусов на обратной магистрали. В будущем, в следующих ЦОДах (мы их постоянно строим в России) хотим ещё поднимать температуру, можно двигаться дальше.



Внешний контур заполнен этиленгликолем. Чиллеры и драйкулеры включены последовательно — то есть расширяется температурный диапазон работы в режиме свободного охлаждения, можно практически до +15 на улице частично снимать тепло драйкулерами в режиме свободного охлаждения. 100% Фрикулинг с полным съёмом мощности доступен уже при +5 и ниже.

Применяли систему автоматизированного проектирования, что позволило оптимизировать итоговую схему. В процессе испытания получили все заложенные в проект значения по температурам, давлению и так далее совершенно чётко и без сложностей. Вручную было бы сложно из-за высокой разветвлённости трубопроводов.

Основные параметры:
  • 64 фанкойла STULZ на 4000 кВт мощности. 48+16 резервных. Для экономии мы используем все, что позволяет работать на более тёплой воде.
  • Вода 13/18 градусов Цельсия,
  • Увлажнитель на каждой 4-й машине
  • Мощность 97 кВт (Qявн = Qполн),
  • Расход воздуха 28800 куб.м/ч.


Поставщики:
  • Чиллеры и градирни: Nordvent,
  • Вентиляционное оборудование: LENNOX,
  • Насосное оборудование: GRUNDFOS,
  • Теплообменное оборудование: Alfa Laval,
  • Запорно-регулирующая арматура: BROEN, GROSS.


Под фальшполом нет ничего, кроме труб системы газового пожаротушения, и там ничего не зонируется, работаем на общий объем. Чиллеры все воздушные + «сухие» градирни, включенные в контур последовательно (сначала по потоку стоят градирни, потом чиллеры). Это позволяет расширить диапазон работы системы в режиме полного и частичного фрикулинга.

В предыдущем топике был вопрос по именно такому решению через фальшпол, расскажу чуть подробнее, почему. Работа через фальшпол достаточно эффективна, удобна и конструктивно проста практически для всех современных применений в ЦОДах. Одна из задач, которую мы решали при проектировании инженерных систем состояла в том, чтобы внутри машинных залов не было никакого «постороннего» (не относящегося к арендаторам) инженерного оборудования. Нужно это потому, что если, например, банк размещает у нас стойки, то чаще всего ставит специальные ограждения прямо в машзале. Любое обслуживание оборудования внутри зоны клиента означает необходимость звать их безопасников. Вопросы безопасности наших клиентов превыше всего.

Вторая задача – отсутствие воды в машинных залах и над ними (никаких «внутрирядников» и «холодильников» на перекрытиях). Работая через фальшпол мы обе эти задачи и решили, ведь фанкойлы у нас вынесены из машзалов в специальные боковые коридоры.

Ещё вопрос был про «мегагорячие» стойки. Они охлаждаются на общих основаниях. Рядом с ними ставим «пустые» стойки с заглушками. Есть условие — через одну перфорированную плитку фальшпола в наших условиях можно продуть количество воздуха, достаточное для снятия примерно 5 кВт тепла (одного «среднестатистического» серверного шкафа). Если сервер выделяет 30 кВт, значит ему нужно отдать 6 плиток.

Защита от пыли



Заготовка воздуха

В посте про строительство этого ЦОДа спрашивали про защиту от пыли. Вообще, вещь достаточно простая, но расскажу детальнее. Нужно несколько операций:
  • Во-первых, надо убрать всё после монтажа оборудования после застройки. Для этого мы привлекли специальную клиниговую компанию, которая зачистила всё так, как будто нужно было установить карантин для инопланетян.
  • Во-вторых, когда пыли внутри уже нет, важно не пускать её больше в ЦОД. Фильтрацию воздуха внутри машзалов обеспечивают фильтры фанкойлов EU4. То есть снаружи пыль может попасть только с посетителями.
  • В-третьих, любая пыль, пришедшая в ЦОД вместе с гостями, фильтруется теми же фильтрами, поскольку воздух внутри машзалов циркулирует фактически в замкнутом объеме с огромной кратностью.
  • И, в-четвёртых, в машинных залах обеспечен подпор воздуха специальной вентиляционной машиной (тоже с фильтрами, разумеется), то есть внутри залов обеспечено небольшое избыточное давление, которое не дает подсосать пыль извне.


Сертификация


Если коротко, то есть два подхода к сертификации – «стройте как мы сказали и всё будет ОК» — по TIA и «стройте по требованиям, и мы проверим объект» по UI. Мы сертифицировали по второй методологии, то есть прогоняли по ЦОДу фактические тесты, что довольно-таки редко в России. Список сертифицированных по TIER-III ЦОДов можно посмотреть вот здесь: uptimeinstitute.com/TierCertification/certMaps.php.
Разницу про подходы сертификации – вот здесь habrahabr.ru/company/croc/blog/157099.


Различия между уровнями TIER I – TIER IV

TIER-III по Uptime предполагает параллельное обслуживание, когда регламентные работы и аварии не вырубают ЦОД и не снижают его выходные параметры.

Делалось это так: сначала Uptime получает проектные документы на английском. Они выдают рекомендации, потом если всё хорошо — они выдают сертификат на проект. Специалисты ATD (специалисты сертифицированные UI) могут очень помочь на этой стадии, плюс они гарантируют соответствие проекта требованиям института. Это сертификация бумаг, то есть проекта.

Затем уже куда сложнее сертифицировать построенный ЦОД, чтобы получить сертификацию объекта. После утверждения проекта и строительства парни из UI приезжают на место. У нас они пробыли 4 дня, провели комплексные испытания с имитацией кучи отказов и имитацией регламентного обслуживания. Залог успеха — полное соответствие ЦОД проекту, плюс опыт работы команды обслуживания. Если вы до этого не проводили «учебных тревог» — высок шанс не пройти проверку. Для подготовки программ обучения и персонала можно опять же привлечь ATD, если нужна помощь.

Вообще, при проектировании и строительстве ЦОДа повышенной ответственности очень важно иметь лучших специалистов в каждой сфере. Как правило, сейчас это инженеры советской школы, крайне глубоко знающие предмет и имеющие огромную практику. Подрастает и новое поколение, благо IT в СНГ развивается довольно бурно. Ещё в проектной команде нужен человек от бизнеса, который обеспечивает соответствие целей проекта целям бизнеса. Он же поможет привлечь лучшие ресурсы в случае необходимости.

Нужны проверенные субподрядчики. Кроме самих работ нужно понимать, что комплексные испытания будут проводиться несколько раз, и хорошо если подрядчики будут помогать, это важно.

Очень важно привлекать службу эксплуатации в сам проект, чтобы к запуску не пришлось начинать учить всех заново. Хорошо когда эксплуатационная команда изнутри понимает что и как работает.

Вот и всё. Больше картинок есть вот здесь в фотоэскурсии. ТТХ объекта есть на www.croc.ru/dc.
Автор: @Pvashkevich
КРОК
рейтинг 249,16

Комментарии (21)

  • 0
    Энергия напрямую от генератора (ТЭЦ-11) по двум независимым кабельным линиям

    Это следует понимать как две независимые линии, обе из которых присоединены к распределительному устройству одной и той же ТЭЦ? Тогда они не такие уж и независимые.
    • +4
      Согласно требованиям Tier III Uptime Institute внешнее электроснабжение в любом виде вообще не рассматривается в качестве надежного источника питания. Без разницы от скольких внешних источников ЦОД подключен: 1, 2 или 3 источника – это все ненадежно, т.к. есть энергия или нет на этих вводах зависит от кого-то вне ЦОДа. Единственный надежный источник согласно UI – собственная генерация с автономией не менее 12-ти часов. Это требование в нашем случае выполнено.

      Далее, ТЭЦ – очень надежный источник, аварии на ТЭЦ – вещь крайне редкая (целый район Москвы «погаснет»), гораздо более вероятны отказы на промежуточных подстанциях и обрывы линий передачи. Так вот в нашем случае обе эти опасности сведены к минимуму, поскольку питаемся напрямую от ТЭЦ (без промежуточного распределения) и питаемся по двум подземным кабельным линиям 10 кВ, проложенным разными маршрутами. То есть порвать одновременно обе линии крайне сложно.
  • +1
    Не совсем по теме, но в чем вы рисовали план этажа?
    • 0
      Уточнил у коллег, это 3ds Max.
  • +1
    Вот интересно, а сколько стоит сертификация Uptime Institute?
    • 0
      До 2% стоимости ЦОДа.
      • –2
        Не дешего… хотя тут вряд ли что то дешевое.
  • +2
    Спасибо за статьи, познавательно.
    По энергоснабжению пару вопросов:

    1) F. G. Wilson обусловлен просто положительным опытом или есть какие-то дополнительные влияющие на выбор факторы?

    2) Почему GE? В конце концов, это трансформаторные ИБП с не самым высоким КПД, да и чисто моноблочные. На основе решений от
    Eaton и Emerson можно было бы реализовать защиту по схеме 2 (N+1) на основе силовых модулей с меньшими теплозатратами (и большей надежностью, соотвественно).
    • 0
      Во-первых, конечно же, положительный опыт.
      Во-вторых, трансформаторные (по нашему опыту) = надежные и простые. Это именно то, что нужно для длительной эксплуатации коммерческого ЦОДа большой мощности. Плюс уже упомянутый положительный опыт многолетней эксплуатации подобных машин. Ну и цена, разумеется – GE предложили очень хорошие условия. КПД у них вполне на уровне, гораздо больше теряется на распределении, нежели на разнице в топологии ИБП. 2N+1 не требует ни Аптайм, ни служба эксплуатации, и получается, что будут лишние капвложения, увеличивающие сроки окупаемости. По нашему опыту 2N вполне достаточно для многолетней надежной работы ЦОДа.
      • 0
        Спасибо. А мощность 300 — это уже обусловлено группами нагрузок, я так понимаю? Или ценой?
        • 0
          Да, мощность 300 обусловлена ценой. Сборки на больших и меньших типоразмерах выходили дороже.
      • 0
        гораздо больше теряется на распределении
        Тут речь о потерях в сети 0,4 кВ? Каковы примерно потери?
        • 0
          Потери по 0,4кВ около трех процентов от выхода тр-ра до входных клемм потребителей.
          • 0
            Еще раз посмотрел на планировку. Если общая площадь 5 тысяч квадратных метров, два одинаковых этажа один под другим, длина здания примерно вдвое превышает ширину, все равно длина кабеля от подстанции до потребителей не должна превышать двухсот метров, и это еще с запасом. Если у вас при этом потери около трех процентов, то в менее компактных сетях они должны быть значительно больше.

            Насколько хорошим считается показатель в три процента? Это потери на нагрев проводов или есть какие-то еще компоненты?
            • 0
              Потери в 2-3% были приемлемы для нас в данном конкретном ЦОДе. Чтобы уменьшить их ещё, нужно либо увеличивать сечение кабеля, либо делать сети более компактными.
  • +3
    возможно, я пропустил этот момент во всех текстах: от кого берется инет для ЦОД? и какой он «ширины»
    • 0
      На площадке КРОК присутствуют все крупные операторы связи. По желанию Заказчика может быть обеспечено физическое присутствие любого оператора. При необходимости Заказчик может проложить выделенную волоконно-оптическую линию для связи с существующими ЦОД или офисами Заказчика.
  • +1
    А зачем в ЦОДе комната переговоров, и клиентские помещения?

    Я в этом не эксперт, но во всех компаниях где я работал, ЦОД был либо вынесен отдельным зданием (как у вас), куда не то что клиентам, а даже и большей части сотрудников был закрыт доступ; либо находился на изолированных этажах за тремя периметрами охраны, и снова-таки с очень ограниченным доступом даже на буферный этаж.

    Поэтому стало интересно, почему у вас к этому делу другой подход.
    • +1
      Доступ в здание ЦОД, а тем более в машзалы, строго ограничен. Более того, система контроля доступа обеспечивает разграничение прав доступа в помещения даже для обслуживающего персонала, например, инженер по холодоснабжению не имеет доступа в машзалы, а ИТ-персонал не имеет доступ в технологические помещения.

      Необходимость в наличии помещений для клиентов обусловлена тем, что иногда инженерный персонал клиентов должен проводить достаточно длительные работы с оборудованием с необходимостью доступа к нему. Например при начальной настройке, как только оборудование приехало в ЦОД. У нас есть возможность предоставить таким сотрудникам рабочие места.
  • 0
    Спасибо, через год серию постов читать так же интересно как в момент публикации! :)
    • 0
      Через 3 года тоже=)

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное