Электричество в дата-центре



    Работа любого дата-центра держится на «трех китах» — электроснабжении, охлаждении и системах безопасности. А ключевой инфраструктурой среди них, вне сомнения, является система электроснабжения.

    Бесперебойная основа


    Дата-центр Selectel «Цветочная 2» рассчитан на потребляемую мощность 2500 кВА и соответствует уровню Tier III, согласно которому каналы электропитания и охлаждения продублированы по схеме резервирования 2N. Это дает значительное преимущество в части надежности электроснабжения как клиентам, размещающим свое оборудование, так и службе эксплуатации самого ЦОД — работы по техническому обслуживанию или замене вышедших из строя компонентов могут производиться без отключения электропитания дата-центра (в том числе, оборудования клиентов).



    Электричество поступает в дата-центр по двум независимым вводам от городской электросети и подается на две трансформаторные подстанции ТП 10(6)/0,4. Подстанции являются собственностью Selectel и расположены в комплексе зданий, также принадлежащих компании. Это еще один важный для клиентов момент в части надежности инфраструктуры — в России довольно большое число дата-центров расположены на арендованных площадях, а потому зависят от конъюнктуры рынка аренды и даже от настроений собственников.



    В трансформаторных подстанциях высокое «городское» напряжение 6 кВ понижается до 380 В (400 В), и далее подается на главные распределительные щиты (ГРЩ) с системой защитной автоматики.



    Это электропитание может иметь различного рода помехи (всплески и провалы, высокочастотный шум и др.), а потому не пригодно для чувствительных к помехам серверов и коммуникационного оборудования, а также систем кондиционирования и автоматики самого дата-центра.



    Поэтому по шинопроводам электропитание 380 В (400 В) далее подается на 2 группы промышленных ИБП (источников бесперебойного питания), каждая из которых представляет собой модуль 6х400 кВА с функцией двойного преобразования. Здесь переменное напряжение выпрямляется в напряжение постоянного тока, а затем вновь преобразуется в переменное 380 В (400 В), но уже с идеальной формой синусоиды.



    Кроме функции очистки от помех, ИБП выполняют и другую важнейшую задачу — обеспечивают электропитание дата-центра от АКБ (аккумуляторных батарей) в случае полного отключения внешнего «городского» электроснабжения на время перехода на аварийный источник электроснабжения — ДГУ (дизель-генераторные установки). Для этих целей ИБП соединены с взаимно резервируемыми матрицами из 130 аккумуляторных 12 В батарей. Заряда этих батарей хватает на период работы дата-центра под полной нагрузкой до 10 минут. При пропадании внешнего электропитания, автоматика АВР (автоматического ввода резерва) запускает в отдельном помещении три ДГУ мощностью 1800 кВА каждая, которые могут обеспечивать электроэнергией дата-центр неограниченно долгое время.



    ДГУ имеют резервирование N+1, то есть для нормальной работы ЦОД «Цветочная 2» достаточно двух ДГУ, плюс одна ДГУ — в резерве. На территории дата-центра хранится запас топлива на 48 часов работы ДГУ, а также имеется сервисное соглашение с двумя поставщиками по экстренному подвозу топлива в случае продолжительного городского блэкаута.



    В среднем требуется до 3 минут для запуска ДГУ и их выхода на режим рабочей нагрузки — заряда батарей ИБП с запасом хватает на эту операцию. Чтобы обеспечить уверенный запуск дизелей даже в зимнее время, происходит постоянный подогрев охлаждающей жидкости в ДГУ, и этот параметр контролируется как при регулярных обходах, так и удаленно через систему мониторинга.



    Вводы внешнего «городского» электропитания и ДГУ подключены параллельно друг другу через АВР и их выходы запитывают вводно-распределительные устройства (2х ВРУ). С выхода двух ВРУ электропитание подается соответственно на 2 группы ИБП, затем с каждой группы ИБП по отдельным шинопроводам подается на щиты гарантированного электропитания (ЩГП), и затем уже непосредственно в машинные залы к распределительным шкафам питания стоек (ЩС). В этих шкафах напряжение 380 В (400 В) разделяется на шины 230 В для питания компьютерного и сетевого оборудования. ИБП обеспечивают европейский стандарт питания 400/230 В.

    В каждый машинный зал приходит 4 раздельных шинопровода от двух независимых источников, причем проложены они разными путями во избежание одновременного механического повреждения. Так происходит резервирование питания по схеме 2N.



    Точный учет потребления


    Каждый шкаф ЩС имеет в своем составе интеллектуальное устройство, ведущее учет потребления электроэнергии в каждой стойке с записью показаний в лог-файл. Хотя для клиентов, размещающих свои серверы или стойки в машинном зале, расход электроэнергии не влияет на стоимость аренды, для персонала дата-центра эти сведения крайне важны. Необычно высокое или наоборот, низкое потребление говорит о возможной неисправности и требует внимания персонала.





    С распределительных шкафов электропитание подается на стойки также по 2-м раздельным кабелям (по заказу клиентов, в т.ч. с устройством АВР в стойке). Серверы, имеющие по 2 блока питания (БП), подключаются к розеткам от разных вводов в стойку, а оборудование с одним БП — к розеткам АВР (опционально).



    Обслуживание и мониторинг — залог надежности электропитания


    Какая бы степень надежности ни закладывалась изначально в систему электропитания дата-центра, оборудование требует постоянного мониторинга и регулярного обслуживания. Вся информация о состоянии систем электропитания, включая ДГУ, собирается на больших экранах в Центре мониторинга. Кроме того, в случае возникновения отклонений от нормы, сообщения приходят на планшеты дежурных инженеров.



    Согласно регламенту, дежурные инженеры и электрики совершают постоянные обходы машинных залов и, соответственно, помещений, где размещено силовое электрооборудование. Каждый сотрудник имеет при себе планшет с планом осмотра. На планшете кроме плана обхода, также присутствует описание задачи осмотра в каждой точке обхода.



    После осмотра помещения или участка с оборудованием, сотрудник делает отметку в планшете, и по окончанию обхода автоматически формируется протокол обхода, который сохраняется в архиве дата-центра. Внешне это похоже на то, как пилоты обязательно зачитывают инструкцию (чек-лист) по проверке систем самолета перед взлетом, даже если знают эту инструкцию наизусть.

    Кроме мониторинга, электрооборудование с определенной периодичностью проходит регламентное обслуживание. Вначале оно в рабочем состоянии осматривается с помощью тепловизора на предмет греющихся контактов, затем отключается и протягиваются все контакты. Одновременно происходит очистка шкафов и иных агрегатов от пыли. К слову, вход в помещения с оборудованием разрешен только в бахилах, а в некоторые из них — еще и в пылезащитных комбинезонах. Вот такое сложное электрическое хозяйство обеспечивает питанием серверы и сетевое оборудование клиентов Selectel.
    Селектел 202,40
    Selectel — крупнейший российский IaaS-провайдер
    Поделиться публикацией
    Похожие публикации

    Вакансии компании Селектел

    Комментарии 16
    • 0
      Скажите, а как АКБ проверяются? Или ИБП настолько умные, что способны сигнализировать, если одна из АКБ сдохла?
      Наш APC 3000 регулярно про… ммм… пропускает момент, когда одна из батарей того-с. Понятно, что сравнивать APC 3000 и ваши ИБП совсем некорректно.
      • +4
        Для маленьких бесперебойников apc лучше не выключать selftest, а поставить его на 14 дней (ну или на 7, если идет экономия на аккумуляторах). Также либо поставить парашут/apcupsd и посматривать на логи/настроить матюгалку, либо воткнуть в ИБП карточку мониторинга и смотреть логи на ней (ну и бонусом настроить на ней минимальное время работы от аккумов, после падения ниже которого оная карточка будет грязно ругаться по SNMP/Email). Ещё никогда не использовать в ИБП аккумуляторы для систем видеонаблюдения и прочей безопасности — они на такие токи не расчитаны, а, да, и выкинуть все аккумы security force, они априори мусор и реальный массогабаритный макет (ага, набиты стеклом частенько), если уж хочется сыграть в русскую рулетку — есть дельта рыжая, она 100% лотерея (иногда она уже с завода вспухшая, иногда живет год, иногда и 5 лет выживает). Если используете не оригинальные сменные батарейные блоки(как делают все нормальные люди) и экономите на аккумах (delta/long, поддельная csb или yuasa), то перед сборкой блока надо пару КТЦ прогнать и промерять емкость батарей для одного комплекта, т.к. если собрать блок из 18а/ч и 12а/ч(реальный случай с дельтой), то долго он не проживет.
        • 0
          Спасибо за развернутый ответ! Я правильно понимаю, что даже «большие дяди» полностью полагаются на алерты от ИБП и никто прибором отдельные АКБ не ходит проверять?
          • +2
            В серьёзных ИБП и мониторинг серьёзнее. К примеру у хуавея на больших(>40КВа) бесперебойниках каждая батарея мониторится по температуре (на плюсовой клемме висит датчик) и вроде ещё по напряжению, и это штатно. Легендари релибилите [censored] каждый аккум штатно не мониторит (может это и возможно за доп. плату, но в гробу я эту лавку видел). Ну и плюс обслуживающий персонал обычно ходит с ИК камерой и смотрит, кто там греется. С тем, что современный ИБП умеет — лучше в блогах крока посмотреть, там была красивая статья про серьёзные бесперебойники и что и как там делается.
            • 0
              Я так понимаю, ваш опыт говорит о том, что с APC лучше не связываться ;) Каких производителей тогда порекомендуете? До 3кВт, 220В. Мы вот еще Ippon используем, но с ним такая же фигня бывает: периодические селф-тесты нормально проходят, а потом вырубается эл-во вместе с заупсованными серверами (ну или немного погодя, но значительно быстрее, чем при первоначальных замерах).
              • 0
                Eaton 5PX или 9130.
                • 0
                  Ну APC я не люблю за крайнюю степень понтов, которые ничем не обоснованы (и соответствующей ценой). До 3 кВА — если готовы переплатить, то то самое легендари можно поставить. Ещё можно посмотреть на Huawei серия UPS2000, они вполне себе кошерные
            • 0
              Продолжая вопрос про аккумуляторы, они у вас по какой технологии выполнены?
              • 0
                В домашних ИБП в 99.9% случаев ставят AGM. Ну и 0.1% колхозит кучу автомобильных кислотников чтобы запитать котёл на даче/получить 10 дней бесперебойной работы от упса.
                П.С. Всякий треп про «У нас GEL» — враньё, там обычный AGM.
              • 0
                По поводу Security Force — соглашусь, приходилось сталкиваться на слаботочных системах. А разве они вообще высокотоковые батареи для ИБП делают?
                • +1
                  Года два назад не делали, но народ же любит «о, на 100руб дешевле!!!!» и ставит это говно в ИБП, а потом ноет «ИБП говно, батарейки убивает»
            • 0
              Добрый день.

              Подскажите, как с точки зрения информационной безопасности вами оценивается использование инженерами планшетов с подключением к внешним сервисам для своей работы?

              Если посмотреть на последнюю картинку то можно предположить что обходы совершаются/логируются с помощью сервиса docs.google.com. Кроме того планшеты используются сотрудниками для личных целей, о чем могут говорить наличие в избранном ссылки на Ютюб, Кубики и т.д.

              С одной стороны явной дыры в этом конечно нет, но создаются предпосылки постороннего вмешательства в процесс мониторинга (взлом аккаунта docs.google.com, кража планшета и т.д.), а также зависимость бизнес-процесса от доступности сервисов google.

              Интересно, почему для этих целей была выбрана именно такая схема, а не был разработан собственный изолированный корпоративный сервис?
              • 0
                Спасибо за внимательность к фоткам. На таких мелочах, кстати, построены целые теории заговора, как в случае с сомнительными фото и видео американской лунной программы Аполлон.
                Если перейти к нашим, образно говоря, баранам — то в публикацию просто ушли не те фотки. Ну да, редактор тоже увидел ютуб в избранном на фото планшета и конкретный инженер получил нагоняй от своего начальника, а процедуру использования планшетов ужесточили. А в корпоративный блог пошли уже новые фотки.

                Теперь, как это работает. В работе используются службы Docs.google.com, привязанные к нашему корпоративному аккаунту. Каждый документ имеет заранее определенный уровень доступа даже среди сотрудников Селектел. Это удобно и безопасно. От компрометации google-аккаунта защищает использование двухэтапной верификации. Вариант кражи сведен к минимуму — планшет не выносится с территории дата-центра, безопасность которого подтверждается сертификатами и периодическим аудитом. У каждого пользователя планшета индивидуальная учетная запись, индивидуальные пароли — если заподозрим, что кто-то мог получить к нему несанкционированный доступ, то планшет вайпится. Кроме того, в таблицах не содержится критически важных данных.
                Учет показателей мониторинга также дублируется в нашей внутренней программе, которая анализируют показатели каждой точки обхода. Ну и на крайняк, если все отвалится есть бумажные листы обходов и бумажные журналы.
                Мы не запрещаем сотрудникам во время работы пользоваться интернетом в личных целях.
                Баланс между безопасностью и удобством тоже важен ))
              • +1
                Такие батареи, как на фотке — необслуживаемые. Если банка сдыхает, ИБП это понимает, по идее по SNMP должен сигнализировать об этом в систему мониторинга, типа zabbix'а, например. Статью не электрик писал — электрик бы написал, что «у нас используется 1-я особая категория электроснабжения» в соответствии с ПУЭ. Хотя и так понятно, что с электропитанием у вас все хорошо :-)
                • 0
                  +1
                  • 0
                    Так ваши дата-центры «соответствуют TIER-III» © или сертифицированы на TIER-III Facility? Это все же разные вещи.
                    Зачем используется куча батарей, если всё это прекрасно заменяется на дизель-роторными ИБП?

                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                    Самое читаемое