Статья подготовлена Всеволодом Воробьевым, руководителем направления ЦОД Центра сетевых решений компании «Инфосистемы Джет»
Весной этого года мы построили большой дата-центр для одного из крупнейших отечественных банков – ВТБ24. За один год мы выполнили полный комплекс работ: от формирования технического задания и разработки проектной документации до выполнения пуско-наладки и сдачи ЦОД. Дата-центр площадью 400 м² (без учета гидромодуля) рассчитан на 92 серверных/сетевых шкафа. Его общая мощность – 1600 кВт, максимальная полезная мощность – 800 кВт.
Рисунок 1 Общий план ЦОД
Рисунок 2 Машинный зал ЦОД
После проведения строительных работ мы реализовали следующие инженерные системы:
Перед началом работ выделенные площади под ЦОД представляли собой обычные офисные помещения с офисной мебелью. В первую очередь нужно было демонтировать все перегородки и покрытия пола и стен, снять бетонную стяжку до бетонной плиты, выровнять пол, загрунтовать и покрасить в краску светлых тонов.
Параллельно шел демонтаж существующих конструкций в помещениях, а именно:
Перепланировку помещений реализовали в следующем объеме:
Рисунок 3 Каркас потолочного покрытия
Система электроснабжения ЦОД выполнена по полностью зеркальной схеме 2N (начиная с трансформаторов и заканчивая PDU в шкафах). Специально под ЦОД была построена новая трансформаторная подстанция. Комплекс ИБП для ИТ-нагрузки состоит из двух запараллеленных моноблоков по 500 кВА в каждом плече. Для насосов и прочих потребителей системы кондиционирования предусмотрен отдельный комплекс ИБП. Время автономной работы всего комплекса ИБП – 20 мин. В помещении щитовой для ИБП спроектирована и смонтирована специальная разгрузочная рама. Вся силовая разводка в машзале выполнена в лотках в пространстве фальшпола.
Установлены ДГУ уличного исполнения в шумозащищенном морском контейнере, оснащенном полным комплексом инженерной инфраструктуры. Для уменьшения вредного влияния выхлопа на окружающую среду используются катализаторы с серебряным фильтром.
Рисунок 4 Контейнер с ДГУ
Основная особенность данного проекта – характеристики системы кондиционирования. Мы использовали мощные энергоэффективные чиллеры, способные отводить до 1МВт тепла. В машзале ЦОДа применены как шкафные кондиционеры, стоящие по периметру, так и внутрирядные, образующие так называемые гермозоны, в которых можно устанавливать вычислительное оборудование мощностью до 30 кВт на стойку.
Система холодоснабжения одноконтурная. Для того чтобы сэкономить пространство в самом помещении, для оборудования гидромодуля была смонтирована пристройка к зданию. В гидромодуле находится насосная группа, гребенки, баки-аккумуляторы, расширительные баки и т.д.
Вся трубная разводка сделана не в пространстве фальшпола, а в подвальном помещении, что потенциально уменьшает последствия протечек, а также повышает удобство в обслуживании. Схема резервирования и ремонтопригодности системы полностью соответствует TIER III от Uptime Instituite.
Теплоносителем в контуре холодоснабжения является раствор пропиленгликоля (42%) с параметрами 10/15 °С. Циркуляция теплоносителя в магистральных трубопроводах предусмотрена одновременно по основному и резервному трубопроводу.
Система холодоснабжения оснащена автоматической системой защиты от протечек. При падении давления в контуре холодоснабжения перекрывается автоматическая запорная арматура, разделяя его на два независимых участка.
Насосная группа внешнего контура состоит из 2-х насосов (схема резервирования «1+1»).
Для поддержания работоспособности системы в случае сбоев в электроснабжении предусмотрены 4 бака-аккумулятора по 5000 литров каждый. Время автономной работы – 20 мин.
Для повышения надежности функционирования системы использован двойной ввод кабелей электроснабжения в установки.
Рисунок 5 Чиллеры
Рисунок 6 Шкафные кондиционеры
Рисунок 7 Внутрирядные кондиционеры
Рисунок 8 CFD модель ЦОД
Рисунок 9 Аккумуляторные баки
Рисунок 10 Гребенки
СКС в данном проекте не совсем обычная. Заказчик принял решение организовать топологию с центральным кроссом без промежуточных узлов. Причем новая СКС охватывает еще три существующие площадки. Схема реализации центрального кросса – cross-connect. Эта схема хоть и обладает некоторой избыточностью, зато полностью универсальна. На станционную часть кросса расшиваются сразу все порты центральных коммутаторов LAN и SAN. Шкафы с коммутаторами запираются, и к ним имеет доступ только высококвалифицированный персонал. На линейную сторону кросса приходят линки от всех серверных шкафов. Проектная емкость кросса составляет около 18000 портов! Нашим инженерам была поставлена задача оптимизировать данное решение. Интересным способом организации кросса стало использование MTP-панелей (кассет). Кроссировка между полями осуществляется тоже 12-волоконными МТР-шнурами. Таким образом, нам удалость снизить число шкафов под кросс почти в 5 раз (с 18 до 4 шкафов). Эта первая инсталляция такого решения в РФ.
Еще одно большое преимущество такого подхода – безболезненный переход на технологию 40G, так как вся линия между коммутатором и сервером может быть выполнена 12-волоконными МТР-кабелями. В случае применения оборудования 10/16G со стороны сервера и коммутатора используются гидры MTP-LC.
Вся СКС данного проекта построена исключительно на оптике ОМ4/OS2. Разводка полностью выполнена в сетчатых лотках в пространстве фальшпола.
Рисунок 11 Структурная схема СКС
Готовы ответить на дополнительные вопросы.
Весной этого года мы построили большой дата-центр для одного из крупнейших отечественных банков – ВТБ24. За один год мы выполнили полный комплекс работ: от формирования технического задания и разработки проектной документации до выполнения пуско-наладки и сдачи ЦОД. Дата-центр площадью 400 м² (без учета гидромодуля) рассчитан на 92 серверных/сетевых шкафа. Его общая мощность – 1600 кВт, максимальная полезная мощность – 800 кВт.
Рисунок 1 Общий план ЦОД
Рисунок 2 Машинный зал ЦОД
После проведения строительных работ мы реализовали следующие инженерные системы:
- система фальшполов;
- структурированная кабельная система, в том числе cross-connect;
- система бесперебойного электроснабжения;
- система распределения электропитания;
- система электроосвещения;
- система кондиционирования и поддержания влажности;
- система вентиляции;
- система гарантированного электроснабжения (ДГУ);
- система автоматического газового пожаротушения;
- система мониторинга и аварийной сигнализации параметров (электроснабжения, ИБП, ДГУ, кондиционирование, температура в зале);
- система охранного видеонаблюдения;
- система контроля и управления доступом;
- автоматизированная система диспетчерского управления.
Строительные работы
Перед началом работ выделенные площади под ЦОД представляли собой обычные офисные помещения с офисной мебелью. В первую очередь нужно было демонтировать все перегородки и покрытия пола и стен, снять бетонную стяжку до бетонной плиты, выровнять пол, загрунтовать и покрасить в краску светлых тонов.
Параллельно шел демонтаж существующих конструкций в помещениях, а именно:
- в помещениях, планируемых для размещения ЦОДа и ВРУ, заглушили и демонтировали все инженерные коммуникации и другое оборудование инженерных систем, не относящихся к системам серверной комнаты, демонтировали фальшпотолок, короба системы вентиляции;
- демонтировали элементы существующих распределительной и слаботочной электросетей;
- убрали радиаторы и стояки системы отопления, фанкойлы.
Перепланировку помещений реализовали в следующем объеме:
- выполнили сооружение потолочного перекрытия (оно защищает от затопления сверху);
- в выделенных помещениях смонтировали фальшпотолок, причем его конструкция включила в себя металлизированные плиты;
- существующие оконные проемы помещения заложили кирпичом;
- в помещениях ЦОДа и ВРУ установили фальшпол (его высота – 1000 мм). Для заноса оборудования на уровень фальшпола предусмотрели подъемный стол.
Рисунок 3 Каркас потолочного покрытия
Система электроснабжения ЦОД
Система электроснабжения ЦОД выполнена по полностью зеркальной схеме 2N (начиная с трансформаторов и заканчивая PDU в шкафах). Специально под ЦОД была построена новая трансформаторная подстанция. Комплекс ИБП для ИТ-нагрузки состоит из двух запараллеленных моноблоков по 500 кВА в каждом плече. Для насосов и прочих потребителей системы кондиционирования предусмотрен отдельный комплекс ИБП. Время автономной работы всего комплекса ИБП – 20 мин. В помещении щитовой для ИБП спроектирована и смонтирована специальная разгрузочная рама. Вся силовая разводка в машзале выполнена в лотках в пространстве фальшпола.
Установлены ДГУ уличного исполнения в шумозащищенном морском контейнере, оснащенном полным комплексом инженерной инфраструктуры. Для уменьшения вредного влияния выхлопа на окружающую среду используются катализаторы с серебряным фильтром.
Рисунок 4 Контейнер с ДГУ
Система кондиционирования
Основная особенность данного проекта – характеристики системы кондиционирования. Мы использовали мощные энергоэффективные чиллеры, способные отводить до 1МВт тепла. В машзале ЦОДа применены как шкафные кондиционеры, стоящие по периметру, так и внутрирядные, образующие так называемые гермозоны, в которых можно устанавливать вычислительное оборудование мощностью до 30 кВт на стойку.
Система холодоснабжения одноконтурная. Для того чтобы сэкономить пространство в самом помещении, для оборудования гидромодуля была смонтирована пристройка к зданию. В гидромодуле находится насосная группа, гребенки, баки-аккумуляторы, расширительные баки и т.д.
Вся трубная разводка сделана не в пространстве фальшпола, а в подвальном помещении, что потенциально уменьшает последствия протечек, а также повышает удобство в обслуживании. Схема резервирования и ремонтопригодности системы полностью соответствует TIER III от Uptime Instituite.
Теплоносителем в контуре холодоснабжения является раствор пропиленгликоля (42%) с параметрами 10/15 °С. Циркуляция теплоносителя в магистральных трубопроводах предусмотрена одновременно по основному и резервному трубопроводу.
Система холодоснабжения оснащена автоматической системой защиты от протечек. При падении давления в контуре холодоснабжения перекрывается автоматическая запорная арматура, разделяя его на два независимых участка.
Насосная группа внешнего контура состоит из 2-х насосов (схема резервирования «1+1»).
Для поддержания работоспособности системы в случае сбоев в электроснабжении предусмотрены 4 бака-аккумулятора по 5000 литров каждый. Время автономной работы – 20 мин.
Для повышения надежности функционирования системы использован двойной ввод кабелей электроснабжения в установки.
Рисунок 5 Чиллеры
Рисунок 6 Шкафные кондиционеры
Рисунок 7 Внутрирядные кондиционеры
Рисунок 8 CFD модель ЦОД
Рисунок 9 Аккумуляторные баки
Рисунок 10 Гребенки
Структурированная кабельная система
СКС в данном проекте не совсем обычная. Заказчик принял решение организовать топологию с центральным кроссом без промежуточных узлов. Причем новая СКС охватывает еще три существующие площадки. Схема реализации центрального кросса – cross-connect. Эта схема хоть и обладает некоторой избыточностью, зато полностью универсальна. На станционную часть кросса расшиваются сразу все порты центральных коммутаторов LAN и SAN. Шкафы с коммутаторами запираются, и к ним имеет доступ только высококвалифицированный персонал. На линейную сторону кросса приходят линки от всех серверных шкафов. Проектная емкость кросса составляет около 18000 портов! Нашим инженерам была поставлена задача оптимизировать данное решение. Интересным способом организации кросса стало использование MTP-панелей (кассет). Кроссировка между полями осуществляется тоже 12-волоконными МТР-шнурами. Таким образом, нам удалость снизить число шкафов под кросс почти в 5 раз (с 18 до 4 шкафов). Эта первая инсталляция такого решения в РФ.
Еще одно большое преимущество такого подхода – безболезненный переход на технологию 40G, так как вся линия между коммутатором и сервером может быть выполнена 12-волоконными МТР-кабелями. В случае применения оборудования 10/16G со стороны сервера и коммутатора используются гидры MTP-LC.
Вся СКС данного проекта построена исключительно на оптике ОМ4/OS2. Разводка полностью выполнена в сетчатых лотках в пространстве фальшпола.
Рисунок 11 Структурная схема СКС
Готовы ответить на дополнительные вопросы.