72,56
рейтинг
1 марта 2012 в 13:23

Разное → ЦОД в Ярославле: инженерные решения для бесперебойной работы

Сама идея строительства большого дата-центра в Ярославле вызвала оживление среди технических специалистов. Задача — создание оптимального по площадям и максимально эффективного технического сооружения.


ДДИБП

Вот заданные параметры:
  • Среднегодовой показатель Power Usage Effectiveness не должен превышать 1,3 при потреблении одной стойки около 20 кВт;
  • Должна быть возможность поэтапного (модульного) строительства;
  • Категория надежности электроснабжения по требованиям UPTIME INSTITUTE – TIRE 4 (100% дублирование узлов);
  • ЦОД должен быть удобным в эксплуатации.
Ещё вводные: система охлаждения должна продолжать работу даже после отключения основного питания, плюс кейс дожен быть экономически-обоснованным. Про другие условия можно прочитать в предыдущем топике про строительство дата-центра.

Выбор решения


В качестве источников гарантированного и бесперебойного электроснабжения решили применить ДДИБП (дизельный динамический источник бесперебойного питания), он же Flywheel UPS или DRUPS. Технология применялась ещё в СССР и носила название УГП (установка гарантированного питания). Принцип работы машины основан на обеспечении вращения альтернатора (синхронной обратимой электрической машины), которая может работать в режиме мотора или генератора.

Непрерывность вращения электрической машины во время проблем с внешним питанием обеспечивается за счет накопленной кинетической энергии. В качестве накопителя кинетической энергии используется громадный маховик прикрепленный к валу обратимой машины.

Маховики в качестве накопителей кинетической энергии используются в ДДИБП, ограничиваясь линейкой в 1 МВт. В более мощных устройствах ДДИБП имеют применение так называемые кинетические модули. Работа этих устройств основана на сочетании механических и электрических принципов.



Как это работает


При наличии удовлетворительного внешнего питания (из города)
  1. Синхронная электрическая машина (альтернатор — 3) вращается на холостом ходу в режиме электрического мотора;
  2. Кинетический модуль (накопитель энергии — 4) вращается на одном валу с синхронной электрической машиной (альтернатором);
  3. Дизель (1) с подогретым картером находится в режиме ожидания быстрого старта;
  4. Сцепление (2), соединяющее дизель с электрическими машинами, разомкнуто;
  5. Дроссель (5), используя энергию альтернатора «чистит» питание и на выходе получается почти идеальная синусоида.
  6. Байпасный автомат (9) разомкнут.
Если внешнее питание пропадает или становится неудовлетворительным
Раскрученный маховик по инерции продолжает вращаться, отдавая накопленную кинетическую энергию синхронной электрической машине. Она, в свою очередь, из режима электрического мотора переходит в режим генератора и вырабатывает электричество к потребителю.
  1. Кинетический модуль (накопитель энергии — 4) вращается и продолжает вращать синхронную электрическую машину (альтернатор — 3);
  2. Дизель (1) получает команду старт и раскручивается до необходимой скорости;
  3. Включается сцепление (2), соединяя вал дизеля с валом электрической машины;
  4. Электрическая машина продолжает вращаться за счет энергии дизеля;
  5. Кинетический модуль (накопитель энергии — 4) вращается, накапливая энергию.
Потребители электрической энергии продолжают получать электричество, не замечая проблему.

По статистике производителей ДДИБП, 98% инцидентов с внешним электричеством носит кратковременный характер, и времени автономии ДДИБП на раскрученном маховике достаточно для их устранения. Проблемы, которые носят более длительный характер, сопровождаются запуском и подключением дизельного двигателя к электрическим машинам путем сцепления муфты.

12 «за»

  1. Единичная система способна зарезервировать большую мощность;
  2. Просто в эксплуатации (особенно важно в регионах);
  3. Не требует установки кондиционеров для охлаждения (экономим на кондиционерах и мощности для них);
  4. Низкие операционные затраты на содержание в эксплуатации;
  5. Высокий КПД при минимальном объеме загрузки (практически линейный график от 40%);
  6. Минимальное количество силовой электроники.;
  7. Высокая наработка до вывода в капитальный ремонт (10 лет);
  8. Не требует резерва мощности для заряда аккумуляторных батарей (10-15% от объема мощности потребления систем ИБП);
  9. Устойчив к токам короткого замыкания;
  10. По стоимости сопоставимы с классическими системами гарантированного и бесперебойного питания применяемыми в современных ЦОД;
  11. Занимает меньшую площадь чем классический статический ДДИБП.
  12. На холостом ходу работает, как синхронный компенсатор.
На последнем остановится чуть подробнее. Перевозбуждённый синхронный двигатель на холостом ходу применяют в качестве компенсатора реактивной мощности. Мы получаем возможность не оплачивать реактивную составляющую электрической мощности, компенсируя ее применением ДДИБП.

Что такое активная и реактивная мощность?


В большинстве случаев электрические цепи содержат как активное, так и реактивное сопротивление. В цепях с активным сопротивлением электрическая энергия полностью преобразуется в тепло, совершая полезную работу. Единица измерения Ватт (Вт). В цепях переменного тока, содержащих наряду с активными сопротивлениями индуктивные и емкостные нагрузки, имеют место потери на реактивную мощность, обусловленную наличием магнитных и электрических полей в электрических цепях. Условно эта мощность не расходуется на полезную работу. Единица измерения вольт-ампер реактивный (вар) или киловольт-ампер реактивный (квар).

Учитывая, что ЦОД в Ярославле строится, как ранее писалось, у стен пивного завода Ярпиво, для наглядности можно рассмотреть пример на бокале пива. Бокал наполнен слоем бесполезной пены (реактивной мощности). Мы платим за нее в составе выпитого пива, но полезную работу выполняет только объем активной жидкости (активной мощности).



Сумма активной и реактивной мощности, — полная мощность.

Отношение активной мощности электрической цепи к полной мощности принято называть коэффициентом мощности или «косинусом фи» (cos φ):

Коэффициент мощности = Активная мощность/Полная мощность

Коэффициент мощности не может быть больше единицы. В случае, если активная мощность равна полной мощности, а это говорит об отсутствии реактивной нагрузки, cos φ = 1 (единице). Для практического примера,- cos φ сервера = 0,95, а cos φ кондиционера = 0,7. Отсюда уже видно, сколько в процентах заплатим за пену).

Практический выбор


При исследовании рынка мы выяснили, что передовых производителей, чье оборудование установлено в ЦОД всего четыре, все расположены на территории европейских стран.
  1. Piller – Германия
  2. Hitec – Голандия
  3. Hitzinger – Австрия
  4. Evrodisel – Бельгия
Все работают в больших диапазонах мощностей, имеют хорошую производственную базу, все представлены в ЦОДах и имеют положительную историю и отзывы. Соответственно конкурентная среда есть.

Интересные конструктивные особенности


Hitzinger, Evrodisel, Hitec
ДДИБП данных производителей имеют классическую схему размещения агрегатов (соосно). Кинетический накопитель двухопорный. Имеет жесткое соединение с альтернатором.

Вот так выглядит:



Преимущества: простота и минимальное количество силовой электроники.

Piller
Он работает по тому же примерно принципу, что и классические ДДИБП – но накопитель кинетической энергии не размещен на одной раме с остальными компонентами устройства. Кинетический накопитель имеет вертикальное расположение, по принципу «волчка». В данных устройствах применяется не механическая связь агрегатов а электрическая.

Принципиальная схема:



Выглядит это так:



Преимущества: кинетический накопитель может быть установлен отдельно от самого силового агрегата, накопитель помещен в герметичную оболочку заполненную газом, таким образом снижено сопротивление, что позволяет увеличить время автономии без запуска дизеля.

А вот фотографии устройств в реальности (не в нашем ЦОД):







P.S. Это топик был обещан в первом про ярославский ЦОД. Если у вас есть другие вопросы по работе дата-центра — постараюсь ответить в комментариях.
Автор: @a3koz

Комментарии (42)

  • +2
    Серьезный подход!
    • +1
      Стараемся, спасибо!
  • +1
    Где-то я уже видел такие синие генераторы ;)
    Молодцы, и правда серьезный подход!
    • 0
      Почему то производители дизелей любят этот цвет. У нас под старый бренд-бук подходит.
      • 0
        Любопытно, нашел вот такую брошюру, в которой на 6 странице про цвет двигателей говорится
        Siemens Motor Blue (other colors optional)
  • +3
    Блог билайна на хабре приятное исключение из маркетинговой политики крупных компаний.
    • +1
      Мы не нарочно. Спасибо.
  • +1
    Жаль людей в кадре нет — не понять какого размера эти монстры.
    • +2
      Почему нет? Вон, на последней фотке, например, двое стоят-болтают прямо под генератором (под зелёной подставкой).
    • 0
      Вот как-то так.

      • 0
        Мне прям эта картинка напоминает паровоз :)
  • 0
    Существуют ли подобные решения на нагрузку до 300-500кВатт?

    Интересует замена ИПБ для поддержания провалов, и как дополнительная няшка — дизель-генератор в одном.
    • 0
      Существуют, на отдельно от дизеля кинетические накопители (маховики) устанавливать может только Piller.
      • 0
        Примерные цены на такой набор известны?
        • 0
          Даже не знаю что вам сказать. Конечно известны.:)
  • 0
    А забавно у вас и у Мегафона посты про дата-центры в один день
    • 0
      Ага, мы тоже удивились. Но мы давно готовились, и этот (великий:)) день был определен сильно заранее.
      • 0
        Кто-то узнал про наши планы )
        • 0
          за вами следят :)
        • 0
          [trololo]а еще поговорка есть про одинаковые мысли[/trololo]
          • 0
            Мы с ними на разные темы пишем.
      • 0
        Значит ваши коллеги из Мегафон узнали и оперативно сделали свой обзор. Среди вас есть шпион
      • 0
        в команде завелся крот )
        • 0
          Главное — содержание
  • +1
    Не очень понятно вот что — когда электродвигатель отключается от внешней сети, маховик начинает замедляться, обороты генератора падают, это должно влиять на выдаваемое напряжение. Как с этим быть?

    Расскажите, пожалуйста, какая примерно масса и номинальная скорость вращения маховика?
    • +1
      Связь выходного напряжения и частоты вращения не прямая.
      Выходное напряжение выдается с дросселя. А тот, в свою очередь, берет дополнительную энергию с генератора.
      Частота вращения кинетического накопителя около 3500 об/мин.
      Падение частоты и амплитуды напряжения менее 1% в течение 30 сек. За это время дизель успевает стартануть.
  • +1
    А расскажите еще про ЦКС московского региона, а?
    • +1
      Вы имеете ввиду Центр Космической Связи?
      • 0
        Почти, Центр Контроля Сети. Или как он теперь называется?
        • +2
          У нас больше в ходу название NOC- Network Operations Center, я передам коллегам, что есть интерес к данной теме. Думаю это повод для отдельного поста.
  • +1
    Неделя ЦОДов на Хабре.
  • +2
    мля, только начал читать статью, как свет во всем здании отключили на два часа
    • 0
      Показательно ;)))
      • 0
        хабрэфект как-то)
  • +1
    Кинетическая энергия — опасная штука. Вспоминается Каширская ГРЭС, где развалившаяся турбина даже крышу проломила.

    Спрыгнет маховик с подшипника, покатится через город?
    • 0
      Тут маховик не такой большой, это чушка полтора метра в высоту и метр в ширину.
      Даже если спрыгнет — скорее просто сама повредится, за пределы бокса не укатится уж точно.
  • 0
    так что выбрано в итоге? понятно, что DRUPS, но какого производителя?
    • 0
      В итоге выиграл Piller
      • 0
        инсталляция уже ведется? только что слышал, мол «нет у Пиллера крупных инсталляций в России», потому и пошел в этот топик за сведениями.
        • 0
          Это правда, инсталляций в России крупных нет, но есть в Европе.
          У нас инсталляция тоже еще не началась.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное