Pull to refresh

Практика сокращения затрат на электроснабжение дата-центра

Reading time 18 min
Views 17K
Некоторые вопросы экономии электроэнергии в Центрах обработки данных

image

Введение


Одной из важнейших статей затрат на этапе эксплуатации центра обработки данных (ЦОД) является оплата потребляемой электроэнергии. Что неудивительно — все системы ЦОД, начиная с ИТ оборудования, ради нормального функционирования которого ЦОД и создается, и заканчивая системами охранной сигнализации и наблюдения — потребляют электроэнергию. Поэтому самый надежный способ экономить на электроснабжении — распродать вычислительные и телекоммуникационные устройства, и закрыть ЦОД. К сожалению, без работающей вычислительной и коммуникационной техники ведение бизнеса в современных условиях непредставимо, поэтому вариант полной ликвидации дата-центра в рамках данной статьи рассматриваться не будет.

Электропотребление ЦОД, как единой системы, складывается из потребления отдельных систем, как информационных и телекоммуникационных, так и систем инженерной инфраструктуры, включая и неизбежные непродуктивные потери. Чтобы добиться экономии энергопотребления в целом, необходимо изучить возможности снижения потребления каждой подсистемы.

Главными потребителями энергии являются, естественно, вычислительные и телекоммуникационные системы. Однако для нормального функционирования вычислительного и телекоммуникационного оборудования необходима работа, как правило — непрерывная, ряда вспомогательных, служебных систем. Эти вспомогательные системы и образуют инженерную инфраструктуру ЦОД.

Основные потребители энергии. Структура энергопотребления


Для стабильной, нормальной работы самого важного — ИТ оборудования — необходимо обеспечить комфортные условия: прежде всего, отвести тепло, выделяемое ИТ оборудованием, обеспечить относительную влажность воздуха в пределах 50±10%, создать условия для работы систем безопасности, и условия для работы обслуживающего персонала.

Итак, основные потребители:


  1. ИТ оборудование.
  2. Система поддержания климатических параметров (кондиционирования, увлажнения/осушения воздуха).
  3. Система вентиляции и газоудаления.
  4. Освещение.
  5. Системы безопасности (пожаротушение, охранно-пожарная сигнализация, дренаж, система контроля доступа, видеонаблюдения и пр.).

Помимо перечисленных, энергию потребляют:


  1. Система гарантированного питания (поддержание ДГУ в дежурном режиме — подогрев, подзарядка аккумуляторов, работа автоматики).
  2. Система источников бесперебойного питания (собственное потребление — работа инверторов, электроники, автоматики и пр.).
  3. Потери при транспортировке и распределении энергии (нагрев кабелей, потери в межсоединениях — в распределительных щитах, PDU и т. д.).

Практически вся электроэнергия, поступающая в центр обработки данных, в конечном счете преобразуется в тепло.
Electrical Efficiency Measurement for Data Centers, White Paper 154 by Neil Rasmussen, APC by Schneider Electric

В целом, чтобы найти пути снижения затрат на энергию, необходимо определить численные критерии оценки энергоэффективности, и проанализировать каждую из потребляющих энергию систем с точки зрения снижения потребления.

Метод оценки энергоэффективности ЦОД


Для оценки эффективности использования энергии в ЦОД существует несколько методик, различающихся, в основном, степенью учета изменений потребления (от времени, вычислительной нагрузки и т. д.). Мы используем самый простой.

PUE/DCE


Наиболее простой и наглядный метод оценки заключается в вычислении коэффициента энергоэффективности PUE (Power Usage Effectiveness), и обратного ему DCE (Datacenter Efficiency, по сути дела, коэффициента полезного действия). При этом «полезным действием» считается потребление ИТ оборудования, а коэффициент DCE (КПД ЦОД) вычисляется как отношение потребления ИТ оборудования к общему энергопотреблению ЦОД; коэффициент PUE – отношение общего потребления ЦОД к потреблению ИТ оборудования. Значение PUE может находиться в интервале от 1.0 до бесконечности. Значение PUE, близкое к 1.0, будет указывать на 100% эффективность — вся энергия используется только ИТ-оборудованием. Правда, практически этот показатель недостижим — в связи с изложенным выше.

image

На практике удобнее и нагляднее оперировать коэффициентом PUE. Это подтверждает и международная практика.
Для оценки ситуации «у нас» полезно знать мировую статистику по энергоэффективности. Так, «Журнал сетевых решений LAN» http://www.osp.ru/lan/2014/05/13041191/">утверждает, что
«среднее значение PUE снизилось с 2,5 в 2007 году до 1,65 в настоящее время»
(май 2014 г). В совместном исследовании компаний T-Systems и Intel от 2010 года “DataCenter 2020: hot aisle and cold aisle containment efficiencies reveal no significant differences” прогнозируется снижение коэффициента PUE к 2020 году для новых ЦОД с 1,8 до 1,4. То есть на сегодняшний день типовым можно считать PUE в пределах 1,8-1,5. Замечу, что для популярных ныне «зеленых» ЦОД значения PUE в пределах 1,1-1,02 являются, по оценке специалистов, спекуляциями, поскольку попросту не учитывают собственных источников энергии (ветряки, солнечные батареи и т. д.).

Методики проведения замеров потребления энергии


По мнению специалистов, детальное измерение PUE представляет собой достаточно дорогое удовольствие, хотя для грубой оценки больших усилий не требуется: «При типичных для российских ЦОД значениях PUE на уровне 1.8–2.5 в высокой точности измерений нет необходимости — достаточно измерять мощность на входе электроустановки и на выходах ИБП, питающих коммерческую нагрузку. Программа минимум — установка счетчиков коммерческого учета электроэнергии».

В наших дата-центрах применяется как раз примерно такая методика: электропотребление всего ЦОД определяется по данным приборов коммерческого учета и/или прямыми замерами токов на вводных линиях вводного распределительного устройства (ВРУ) при помощи токовых клещей (к сожалению, в проектах не были заложены системы технологического контроля токов и напряжений; экономия...); потребление ИТ оборудования определяется прямыми замерами токов на выходе ИБП токовыми клещами и/или по показаниям ИБП; суммарное потребление систем инженерной инфраструктуры определяется по данным приборов коммерческого учета и/или прямыми замерами токов на вводных линий вводного распределительного устройства при помощи токовых клещей, поскольку в нормальной ситуации питание ИБП/ИТ оборудования и систем инженерной инфраструктуры осуществляется с отдельных вводных линий — для основного ЦОД; для резервного ЦОД данные берутся из системы коммерческого учета, и из показаний текущей нагрузки ИБП.

Мы прекрасно понимаем, что точность измерений при этом оставляет желать лучшего: ни токовые клещи, ни система контроля ИБП не могут служить измерительным инструментом. Однако для грубой оценки их вполне достаточно. Для того, чтобы оценить достоверность измеренного электропотребления, вычисляется «теоретическое» потребление ИТ-систем и компонентов инженерной инфраструктуры, по паспортным данным вычислительного и телекоммуникационного оборудования. Разница между измеренным и вычисленным значениями позволяют сделать некоторые интересные выводы: о точности измерений, и точности данных, приведенных в документации, об уровне загрузки оборудования ИТ и инженерной инфраструктуры, о не учитываемых потребителях (в нашем случае, например, неучтенными потребителями электроэнергии ЦОД оказались рабочие места сотрудников группы мониторинга, подключенные к основным ИБП ЦОД).

Способы снижения электропотребления по системам


Для каждой системы (подсистемы) ИТ и инженерной инфраструктуры ЦОД характерны свои возможности и методы снижения энергопотребления. Рассмотрим основные системы и возможные методы снижения их электропотребления.

ИТ оборудование


Основной потребитель энергии, как неоднократно указывалось выше — ИТ оборудование. Методы снижения его потребления приведены в рекомендациях, например, специалистов компании Eaton:
  • Отключение от питания неактивного оборудования.
  • Виртуализация серверов, балансировка нагрузки на них.
  • Объединение серверов и ЦОД, использование блэйд-серверов.
  • Активизация функций управления питанием серверов.
  • Использование ИТ оборудования с высокоэффективными блоками питания.

Детальное описание методов и причин снижения электропотребления ИТ оборудования за счет их применения оставляю системным администраторам; впрочем, все это достаточно очевидно.
Применение перечисленных мер, в том числе, замена ИТ оборудования на более энергоэффективное, дает самый значимый для снижения общего электропотребления ЦОД результат, поскольку вклад ИТ систем в общее потребление является основным, и при его понижении соответственно уменьшается электропотребление остальных критичных в этом отношении систем: снижаются затраты на охлаждение, собственное потребление ИБП, потери на транспортировку энергии.

Источники бесперебойного питания


Собственное потребление ИБП обусловлено работой преобразователей-инверторов, входящих в их состав, электроники, автоматики, и тепловыми потерями. Эффективность ИБП определяется коэффициентом полезного действия, который вычисляется как отношение общей мощности системы, включая ИБП, к мощности, потребляемой нагрузкой. Современные ИБП обеспечивают КПД на уровне 0,75-0,98, наилучшие показатели при этом достигаются при уровне нагрузки ИБП в пределах 0,8-0,95 от максимальной паспортной мощности. Методы снижения собственного потребления ИБП следующие:
  • Основной метод — использование ИБП с высоким КПД.
  • Поддержание уровня загрузки ИБП на уровне 0,8-0,9 от максимального (максимальный КПД, см. выше).
  • Использование модульных ИБП, позволяющих регулировать номинальную мощность путем включения/выключения отдельных силовых модулей.
  • Поддержание оптимальных климатических условий работы ИБП (КПД ИБП снижается при повышении температуры окружающей среды).

Отдельным пунктом хотелось бы указать равномерное распределение нагрузки по фазам питающего напряжения. Современные ИБП, конечно, допускают 100% перекос фаз на нагрузке, но это не прибавляет им КПД.

Линии передачи энергии, системы распределения питания


Потери энергии в линиях связи и в распределительном оборудовании обусловлены следующими причинами:
  • тепловые потери при передаче энергии;
  • токи утечки.

Эти потери зависят от следующих факторов:
  • собственное электрическое сопротивление линий передачи электроэнергии;
  • длинна линий передачи электроэнергии;
  • геометрия линий передачи электроэнергии;
  • сопротивление и надежность изоляции;
  • качество соединений и контактов.

Методы минимизации потерь энергии в линиях передачи и в системах распределения:
  • Минимизация длин кабельных линий.
  • Использование кабелей с жилами из материалов с высокой электропроводностью (с низким сопротивлением), например, меди вместо алюминия.
  • Использование шин вместо кабелей.
  • Надежная изоляция, минимизация токов утечки.
  • Надежные соединения:
  • минимизация количества соединений;
  • тщательная протяжка механических соединений;
  • регулярная проверка качества соединений, в том числе, пирометром или тепловизором на предмет определения повышенного тепловыделения, что может говорить о плохом качестве соединения;
  • использование сварки или пайки вместо механических (резьбовых) соединений.
  • Регулярная проверка сопротивления изоляции силовых кабелей.
  • Использование электромонтажных и электроустановочных изделий только высокого качества.


Системы кондиционирования


Под эффективностью системы кондиционирования подразумеваем отношение затрат электроэнергии на работу системы к количеству отводимого от охлаждаемого оборудования тепла. Эффективность работы системы отвода тепла от ИТ оборудования (кондиционирование, климатизация) определяется многими факторами, в том числе, и перечисленными выше в отношении линий передачи энергии. Кроме того, общая эффективность системы охлаждения ЦОД существенно завит от следующих факторов:
  • Эффективность кондиционеров — отношение холодопроизводительности к потребляемой энергии.
  • Тепловые потери в магистралях теплоносителя.
  • Тепловые потери при доставке холода к ИТ оборудованию.
  • Уровень теплоизоляции охлаждаемых помещений (машинных залов, помещений ИБП, помещений щитовых и т. д.).
  • Эффективность распределения потоков холодного и горячего воздуха в охлаждающих помещениях и возле охлаждаемого оборудования, устранение потерь холода.

Методы снижения энергопотребления системы кондиционирования направлены на повышение эффективности охлаждения и снижение тепловых потерь (речь идет о фреоновых системах).
  • Использование современных энергоэффективных кондиционеров. Для «классических» бытовых кондиционеров на генерацию 1 кВт холодопроизводительности (точнее будет сказать, на отвод 1 кВт тепла) требуется 0,33-0,4 кВт электроэнергии; для промышленных прецизионных кондиционеров этот показатель сейчас может составлять 0,2-0,25 кВт электроэнергии на 1 кВт холодопроизводительности.
  • Своевременное техническое обслуживание холодильных агрегатов: загрязнение теплообменников кондиционеров может снизить эффективность на 7-12% из-за снижения коэффициента теплопередачи; загрязненные воздушные фильтры снижают эффективность охлаждения за счет возросшего сопротивления воздушного потока на 5-8%. Например, были зафиксированы случаи полной потери работоспособности кондиционеров, когда теплообменники конденсаторов были покрыты слоем тополиного пуха; теплообмен (отвод тепла от теплоносителя) был полностью блокирован, фреоновая смесь не конденсировалась из газообразного в жидкое состояние.
  • Своевременные планово-предупредительные ремонты: неисправные компоненты, в том числе, двигатели приводов вентиляторов, повышают электропотребление систем и собственное тепловыделение агрегатов. «Разбитые» подшипники или «провисшие» приводные ремни, например, в напорных вентиляторах, из-за повышенных потерь на трение снижают эффективность работы как вентилятора, так и агрегата в целом; кроме того, как и в предыдущем случае, повышается тепловыделение установки.
  • Выбор правильной схемы резервирования кондиционеров, исходя из требований надежности системы и эффективности ее работы. Наиболее эффективно кондиционеры работают при 80-85% нагрузки от максимальной паспортной; при больших уровнях нагрузки снижается срок эксплуатации агрегатов, при меньших — снижается энергоэффективность системы.
  • Точная настройка параметров работы холодильных агрегатов.
  • Правильное размещение датчиков температуры входного и выходного воздуха (актуально для сложных систем прецизионных и канальных кондиционеров).
  • Минимизация потерь холода в охлаждаемых помещениях, теплоизоляция стен, потолков и строительных конструкций охлаждаемых помещений для предотвращения через них теплообмена.
  • Минимизация длинны трасс хладагента.
  • Поддержание целостности теплоизоляции магистралей и трубопроводов теплоносителя (хладагента).
  • Минимизация длинны путей доставки холодного воздуха к оборудованию; здесь, однако, существуют некоторые особенности: например, в случае охлаждения ИТ оборудования из-под фальшпола подпольное пространство желательно иметь по возможности большего объема — в качестве аккумулятора холода, несмотря на удлинение путей подачи воздуха.
  • Обеспечение подачи холодного воздуха от кондиционеров непосредственно на передние панели монтажных шкафов с установленным ИТ оборудованием, использование воздуховодов для подачи охлажденного воздуха, и для отвода горячего.
  • В случае охлаждения из-под фальшпола — регулировка потоков холодного воздуха к ИТ оборудованию путем установки/удаления перфорированных плит (решеток), подбора решеток с разным процентом отверстий, использование плит «активного пола» (со встроенными вентиляторами, датчиками температуры и регуляторами скорости вращения вентиляторов).
  • Предотвращение смешивания потоков холодного и горячего воздуха; на практике — разделение машинных залов ЦОД (и прочих технологических помещений, где это целесообразно) на «холодные» и «горячие» коридоры, изоляция коридоров, организация изолированных «холодных» и/или «горячих» комнат.


Система вентиляции и газоудаления


Возможности экономии энергии в системах вентиляции и газоудаления ограничены. Система вентиляции в ЦОД предназначена в основном для обеспечения нормальной работы персонала, на функционирование ИТ систем не влияет, и, наоборот, может снижать эффективность работы систем охлаждения. Поэтому рекомендуется систему вентиляции запускать только на время работы персонала в помещениях ЦОД. Что касается системы газоудаления, то в нормальном состоянии она не должна работать, и запускается только после срабатывания автоматических систем пожаротушения.

Системы пароувлажнения


Судя по опыту, непрерывная работа системы пароувлажнения (увлажнения воздуха в помещениях ЦОД) не всегда обязательна. Наблюдения, проводимые в помещениях одного из наших ЦОД, показывают, например, что систему пароувлажнения целесообразно запускать только в зимний период, когда влажность воздуха на улице понижена из-за морозов («вымораживание» влаги; на этом же принципе работают системы осушения в прецизионных кондиционерах). В теплое время года, из-за архитектурных особенностей помещений нашего ЦОД, влажность «сама» поддерживается на уровне 40-55%. Впрочем, прежде, чем давать рекомендации для конкретной площадки, необходимо изучение особенностей ее расположения, учет климатической зоны и проведение длительных наблюдений.

Системы, в которых снижение электропотребления невозможно или нецелесообразно


В общем нецелесообразно искать пути снижения электропотребления ряда вспомогательных систем инженерной инфраструктуры ЦОД, поскольку эти системы:
  • как правило, уже имеют низкое собственное электропотребление, и его снижение представляется сложной инженерной задачей;
  • электропотребление этих систем минимально в рамках ЦОД, и его снижение не окажет сколько-нибудь заметного влияния на общую ситуацию.

К таким системам можно отнести:
  • Компоненты системы гарантированного электроснабжения — собственное потребление дизель-генераторных установок в дежурном режиме. Как правило, потребляется электроэнергия от внешнего источника для работы автоматики, системы управления, подзарядки аккумуляторных батарей, и поддержания температуры технологических жидкостей для обеспечения быстрого и надежного запуска ДГУ в случае перерыва во внешнем электроснабжении.
  • Система мониторинга климатических параметров.
  • Система контроля и управления доступом (СКУД).
  • Система видеонаблюдения и видеорегистрации.
  • Система охранной и пожарной сигнализации.
  • Автоматические системы пожаротушения.
  • Система защиты от затопления (дренажная система).

В целом понижение электропотребления этих систем возможным не представляется. Кроме того, последние две из перечисленных систем потребляют электроэнергию только в случае чрезвычайных ситуаций.

Практическое применение способов снижения электропотребления ЦОД


За время эксплуатации нескольких вычислительных площадок (центров обработки данных, серверных и телекоммуникационных узлов) применялся, был опробован и внедрен ряд способов сокращения затрат на электроснабжение, из перечисленных выше. Некоторые не привели к значительному снижению электропотребления, другие показали достойные результаты.
По системам и площадкам можно привести следующие данные.

ИТ оборудование


Замена ИТ оборудования на более энергоэффективное — самый затратный, но и самый эффективный вариант решения. В качестве показательного примера можно привести процесс замены серверов тяжелого класса, систем хранения и блэйд-серверов на нашей новосибирской основной площадке. За 8 месяцев, с июля 2014 по февраль 2015 года, за счет замены ИТ оборудования мощность машинного зала (ИТ нагрузки) сократилась со 120 до 84 кВт. Соответственно, снизились затраты энергии на охлаждение оборудования в машинном зале, нагрузка на систему ИБП и ее собственное потребление; мощность, потребляемая системами инженерной инфраструктуры, снизилась с 56 до 37 кВт; общее потребление ЦОД упало со 180 до 120 кВт:
image
И все это при том, что до июля 2014 года общей тенденцией было постепенное увеличение потребляемой мощности; пиковые значения достигали 160 кВт мощности ИТ оборудования, и 228 кВт — общей потребляемой мощности:
image
Собственно, практика подтвердила тезис, приведенный в начале статьи: лучший способ экономии электроэнергии в ЦОД — отключение ИТ оборудования.

Источники бесперебойного питания


На площадках Новосибирска используются высокоэффективные ИБП Newave ConceptPower Upgrade, в Москве в главном ЦОД — ИБП APC Galaxy. Все ИБП имеют достойные характеристики, например, КПД двойного преобразования ИБП Newave при нагрузках на уровне 75-100% от максимальной составляет 96%; даже при уровне нагрузки 25% от максимальной изготовитель обещает КПД не ниже 92%.
ИБП установлены в кондиционируемых помещениях, климатические условия работы для них оптимальны.
Регулирование уровня загрузки ИБП, к сожалению, не представляется возможным из-за принятых схем резервирования.
Вопросом выравнивая нагрузки по фазам занимались с момента ввода ЦОД в эксплуатацию: установка любого нового ИТ оборудования — или перемещение существующего — проводились с учетом этого фактора.

Линии передачи энергии, системы распределения питания


В целом, все меры по снижению потерь в линиях передачи электроэнергии и в системах коммутации и распределения, были приняты еще на этапе строительства наших ЦОД.
Из-за принятых схем резервирования и технических и эксплуатационных особенностей часть проверок, нацеленных на выявление потерь, выполняется по ситуации, а не на регулярной основе: измерение сопротивления изоляции, например, проводятся только при отключениях линий энергоснабжения; то же самое касается протяжки болтовых и винтовых соединений в щитовом оборудовании. Регулярно проводится обследования силовых и распределительных щитов с использованием пирометров для выявления ненадежных соединений. Впрочем, качество используемых материалов и оборудования и условия эксплуатации кабельных линий и коммутационной аппаратуры (защита от внешних воздействий, постоянные температура и влажность) дают гарантию отсутствия значительных потерь электроэнергии при транспортировке, во всяком случае, в пределах территории ЦОД.

Системы кондиционирования


В рамках решения задачи по оптимизации и повышению эффективности работы систем кондиционирования проведено достаточно много мероприятий.

На этапах проектирования и строительства центров обработки данных выбирались современные на момент проектирования и энергоэффективные модели кондиционеров. Так, в основном ЦОД Новосибирска установлены прецизионные кондиционеры Stulz, в резервном ЦОД канальные кондиционеры Daikin; в главном ЦОД г. Москва установлены прецизионные системы HiRef. Эффективность этих систем лежит в зоне 0,22-0,27 кВт потребляемой электрической мощности на 1 кВт холодопроизводительности.

Заключены долгосрочные договоры с сервисными компаниями на проведение регулярного технического обслуживания систем кондиционирования. В ходе эксплуатации выявлены и устранены неисправности, которые приводили к повышенному электропотреблению: в основном ЦОД Новосибирска, например, дважды заменяли двигатели вентиляторов (повреждение обмоток, повышенное тепловыделение), в трех кондиционерах заменили подшипники в вентиляторах.
На данный момент выбраны оптимальные схемы резервирования кондиционеров; большие работы были проведены по установке оптимальных настроек рабочих параметров кондиционеров, особенно в первые два года эксплуатации (2008-2010), в то время специалисты сервисной организации от нас практически не вылезали. При изменении состава и/или перемещении ИТ оборудования внутри машинных залов в обязательном порядке проводится оценка изменений с точки зрения эффективного охлаждения; ведется непрерывное наблюдение за температурными режимами, и при необходимости вносятся корректировки в настройки кондиционеров.

В первые годы эксплуатации остро стояла проблема неравномерного охлаждения ИТ оборудования после переключения кондиционеров в рамках принятой схемы резервирования: в разных зонах машинных залов температуры устанавливались со значительной разницей, например, в левой части рядов шкафов могла установиться температура на 3-5ºС ниже номинальной, тогда как в правой части на 3-5ºС выше. Проблему решили переносом датчиков температуры входного воздуха от кондиционеров ближе к ИТ оборудованию. Это обеспечило не только равномерное охлаждение ИТ оборудования, но и выравнивание нагрузки на кондиционеры, и, в конечном счете, снижение энергопотребления.

Большое внимание уделяется оптимизации воздушных потоков, в основном, холодных, для обеспечения достаточного и равномерного охлаждения ИТ оборудования. Достигается это заменой перфорированных плит фальшпола и использованием модулей «активного пола» (для основных ЦОД), и непосредственной регулировкой воздушных потоков при помощи регулируемых решеток и дефлекторов на воздуховодах (резервный ЦОД г. Новосибирска, см. фото) при перемещении или изменении состава охлаждаемого оборудования.

image

При проектировании и строительстве центров обработки данных заранее была предусмотрена возможность разделения машинных залов на «холодные» и «горячие» коридоры. Эта возможность была реализована на новосибирских площадках сначала в резервном ЦОД (октябрь 2010 г., фото выше, видны панели от крыш шкафов до потолка), затем в основном ЦОД (май 2011 г.):

image

После разделения коридоров в основном ЦОД Новосибирска потребление электроэнергии системой кондиционирования снизилось на 9-17% в зависимости от времени года.
В резервном ЦОД отдельные воздуховоды холодного воздуха были заменены на коллекторы с дефлекторами и регулируемыми решетками; по приблизительной оценке, это снизило электропотребление кондиционеров на 4-7%.

Системы пароувлажнения


Практически применяются упомянутые выше рекомендации: на теплое время года системы пароувлажнения кондиционеров отключаются, магистрали воды перекрываются; ведется непрерывный контроль относительной влажности в помещениях ЦОД по данным систем мониторинга климатических параметров. При необходимости (падении относительной влажности до 30-35%) системы на непродолжительное время включаются. Уровень эффективности (экономии электроэнергии) данного мероприятия оценить сложно.

Результаты применения мер по снижению электропотребления


Наиболее полные, а потому показательные данные имеются по основному ЦОД г. Новосибирска.
Об общем снижении электропотребления за счет замены и уменьшения парка ИТ оборудования говорилось выше. Снижение электропотребления ЦОД на 60 кВт — результат более чем достойный. Однако кроме абсолютных показателей, большое значение имеют и относительные, характеризующие общую энергоэффективность.
В качестве основного показателя используем коэффициент PUE, описывающий общую энергоэффективность ЦОД как единой системы.

История борьбы за киловатты примерно такова:

1. 2008-2009 годы. Этап окончательного ввода ЦОД в эксплуатацию, «притирка»; об энергоэффективности в это время практически не думали, поскольку хватало иных разнообразных проблем: «набивка» ЦОД оборудованием, которое перемещали, в том числе, с других площадок, оптимизация размещения оборудования в зале, отладка систем инженерной инфраструктуры, в частности и кондиционирования, и прочее. И, между прочим, ликвидация непрерывных аварий в инженерных системах. Поэтому PUE в 2008 году держался на уровне 1,55-1,56, а в 2009 вполне стабильно на уровне 1,49.
2. 2010 год. Специальные меры снижения потребления не проводились, PUE колебался от 1,58 зимой до 1,402 летом, при среднегодовом значении 1,44.
3. В 2011 году начали работы по повышению эффективности и надежности системы кондиционирования. Были расширены пути подвода воздуха к конденсаторам кондиционеров, проведено перемещение ИТ оборудования в машинном зале для равномерного охлаждения, упомянутый выше перенос температурных датчиков входного воздуха, и ряд других мероприятий. Среднее значение PUE за год 1,44. При том, что к концу года он вырос до 1,55, поскольку в связи с повышением общей мощности ИТ оборудования ЦОД была расширена система ИБП.
4. В 2012 году окончательно разделили коридоры в машинном зале, начат процесс модернизации ИТ оборудования. Оптимизированы воздушные потоки, для улучшения охлаждения тяжелых систем использованы плиты «активного пола». Улучшены условия работы конденсаторов кондиционеров, расширены «окна» для притока и отвода наружного воздуха. Результат: PUE в среднем за год 1,4.
5. 2013. Специальных мероприятий по улучшению PUE не проводилось; к концу года ликвидирован ряд утечек теплоносителя в магистралях, что, надо полагать, привело к некоторому снижению PUE.
6. 2014. Снижение PUE обусловлено, в основном, модернизацией и заменой ИТ оборудования, и, соответственно, изменением схемы резервирования кондиционеров с 4+1 на 3+2.
7. 2015. Приведены данные за первые три месяца текущего, 2015.

В целом, динамика положительна, коэффициент PUE удалось снизить со средних значений 1,55-1,57 в начале эксплуатации ЦОД до 1,32 (на 04.03.2015).

image

Результат хороший, учитывая высокие сложность и затратность мероприятий по повышению энергоэффективности, и учитывая, что для многих дата-центров значение PUE 1,6 является недостижимой мечтой (Эффективность инфраструктуры дата-центра):
«Согласно исследованиям Uptime Institute, стандартный дата-центр имеет среднее значение коэффициента PUE 2.5. Это значит, что на каждые «входящие» 2.5 ватт только один ватт доходит до серверных стоек. Большинство объектов могли бы достичь коэффициента PUE=1,6, используя оборудование более эффективно и внедрив передовые методы работы.»

Заключение


За годы эксплуатации (2008-2015) дата-центра средних масштабов в общем-то элементарными, общепринятыми средствами удалось снизить общее потребление энергии со среднего уровня 200 кВт до 110-120 кВт. Расходы на оплату электроэнергии, таким образом, сократились примерно на 40-54%, что, согласитесь, не самый плохой результат.
Следует иметь в виду, что возможностей для уменьшения значений PUE все меньше; достигнуть значения 1,0 просто не представляется возможным — по чисто физическим причинам.
Последний график показывает, что мероприятия, направленные на повышение энергоэффективности дата-центра, проводились, и принесли результат. Скажу прямо, достижение такого результата потребовало немало сил и денег. И есть у меня подозрение, что мы достигли предела, и в ближайшие годы значение коэффициента PUE так и будет держаться на уровне 1,39-1,43.

P. S. Статья носит скорее обзорный, а не специальный характер, поэтому на некоторые неточности в определениях можно не обращать внимания.
Tags:
Hubs:
+6
Comments 7
Comments Comments 7

Articles