Компания
472,29
рейтинг
10 июля 2012 в 13:52

Разное → ЦОД повышенной ответственности: фотоэкскурсия

Больше 15 лет мы строим и обслуживаем дата-центры для клиентов. Наш третий собственный дата-центр «Компрессор» — объект, в котором воплотилось многое из накопленного опыта.


Распределительная


Стойки

Ниже рассказ про устройство ЦОД в картинках и объяснения, где, что и как работает.

Осторожно, трафик.

Краткая вводная


ЦОД был нужен нам для сдачи в аренду заказчикам. Чаще всего — банкам, компаниям финансового сектора и вообще крупным организациям из сфер, где есть высокие требования к надежности. Поэтому мы сразу решили строить по правилам Uptime Institute для дальнейшей сертификации по TIER III.

Uptime Institute — организация, накопившая море всяких разных практических случаев с ЦОДами и сделавшая выводы для каждой ситуации. Стандарты охватывают много-много вещей, которые часто кажутся проектировщикам ЦОДов несущественными — а страдает надежность. Полностью сертифицированных по TIER III ЦОДов в РФ реально считанные единицы: обычно или объект строится «примерно по стандарту» без гарантий, или же ориентируются на стандарт TIA-942, который не предполагает проверки. А без проверки заявления о надежности – только слова.

Что это за уровни надежности?


Если говорить очень грубо, TIER I подразумевает, что в случае поломки работа ЦОД останавливается и системы чинят. TIER II говорит, что ЦОД работает непрерывно, но при необходимости останавливается для обслуживания критичных узлов или ремонта поломок. TIER III в случае единичных отказов чинится без остановки, поэтому много чего дублируется (останавливается только в реально крайних случаях, когда одновременно ломается несколько узлов). TIER IV подразумевает полное дублирование: фактически, вокруг стоек строится два TIER-вторых ЦОДа в одном здании. Стоимость квадратного метра, соответственно, 15К, 20К, 25К и 40К долларов, но это для Америки. У нас, к сожалению, из-за таможни и российской специфики, раза в 2-3 дороже. И то только для реально больших ЦОД, где есть экономия на масштабе.

В нашем случае допустим только отказ уровня «упал метеорит», позволяющий в общей сложности приостановить работу на 1 час 35 минут в год, то есть отказоустойчивость — 99,982%.

Как выбиралось место


Требования были следующие:
  • Близко от Москвы: наши заказчики — организации, которые требуют синхронной репликации данных между ЦОДами, поэтому дальше 20-40 километров от уже имеющегося у них ЦОДа (а он таки есть) уходить нельзя. Чем ближе — тем лучше.
  • Удобное расположение: постоянно приезжают представители заказчика, поэтому расположение в доступности от метро критично. Плюс — удобная парковка.
  • Конечно же, наличие электричества. ЦОД потребляет 8 мегаватт — то есть нужно две независимых линии такой мощности плюс место для дизель-генераторов.
  • Возможность сертифицироваться по TIER III, что подразумевает удаление от госучреждений, ЛЭП, бензоколонок и других подобных объектов.


Вот здание, которое мы нашли за несколько лет до запуска ЦОДа – таким оно было тогда:



Раньше это был склад компрессоров на соответствующем заводе. В этот «домик» даже въезжал поезд для разгрузки. Учитывая, под какие нагрузки считался фундамент (6 тонн на квадратный метр при цодовской норме 1,2 тонны), оно нас полностью устроило. Мы сделали всю «начинку» здания и крышу заново. Понятное дело, можно было построить ЦОД и далеко за городом: это привело бы к экономии и по стоимости строительства, и, отчасти, по электричеству. Но в нашем случае возможность удобно доехать и быстро синхронизироваться важнее. Миллисекунды, которые добавляет расстояние при синхронной репликации (скорость света) имеют свойство складываться в минуты на сложных операциях записи, важных для банков.

Вообще, рынок ЦОД для заказчиков делится на 2 основные части: в первом случае речь идет о продаже юнитов в стойках — это обычно решения для небольших компаний, которым, например, нужно держать сайт или, реже, 1-2 маленькие прикладные системы. В таких ЦОД питание подаётся без резерва, много технических оговорок типа требований к оборудованию заказчика (хотя бы по размерам стойки), часто вообще нельзя поставить своё железо. Вторая часть рынка работает для крупных заказчиков. Работа с железом в таких ЦОДах выполняется без ограничений: оборудование может быть хоть круглым (в истории такое было – CRAY), а один сервер может занимать даже несколько стоек. В нашем случае многие заказчики дополнительно ограждают своё оборудование в машинных залах. К нам можно приезжать часто, работать столько сколько нужно — и любым составом. Правда, о больших делегациях лучше предупреждать: смена охраны усиливается, когда в машинном зале более 5 человек.



К ЦОДу подходят две независимых линии питания от города, каждая – по 8 мегаватт. Третья — резерв — это 7 дизель-генераторов по 2 МВА каждый. Дизели работают по схеме N+1, то есть 6 всегда в действии, один может обслуживаться. Нагрузка на дизель не должна превышать 80%, поэтому система построена с запасом в полтора раза. В сумме с учётом этого и потерь мощности они дают чуть больше необходимых 8 мегаватт. Из них 4,5 уходит на железо, 2,5 — на охлаждение, Оставшийся мегаватт расходуется на прочую инженерку и другие системы – свет, бытовые кондиционеры и так далее.



В случае потери обеих линий питания срабатывают ИБП, и автоматика переключает ЦОД на дизели. Тут есть очень важный момент: пусковые токи некоторых систем достаточно высоки, поэтому если просто перекинуть всю нагрузку на дизели в один момент, дизели могут не справиться. ИБП отрабатывают несколько минут, поэтому есть время переключать оборудование последовательно, блоками, с задержкой, например, 10 секунд. Дизель стартует за 1 минуту, ещё за 4 происходит полное переключение, и весь ЦОД переходит на автономное питание.

Рядом со зданием стоят дизели:



Тесты резервного оборудования выполняются с определенной периодичностью: это нужно, чтобы резерв всегда был готов и функционален. Например, дизель под нагрузкой проверяется раз в месяц. План тестов обычно включает некий аварийный сценарий, который подразумевает использование всех систем, то есть ЦОД отключается от обеих линий питания, включаются ИБП, мониторинг автоматически переключает все железо на дизели, система охлаждения использует резервуар с охлажденной водой для сброса тепла (она частично отключается на несколько минут на переключение, за исключением внутреннего контура) и так далее. Затем «авария» устраняется, и автоматика возвращает все в штатное состояние. Это очень жесткая процедура тестирования, но она необходима для спокойствия инженеров и заказчиков. В реальности подобные ситуации случались у нас в ЦОД за последние 3 года только один раз: одно направление из города тестировалось вручную, второе погасло. Все отработало штатно.

Снаружи ЦОД около дизелей примерно 30 тонн меди в кабеле.



Дизели питаются соляркой из баков: вот два люка.



В каждом хранилище умещается по 30 кубометров. От баков отходят топливные кольца, проходящие через все дизели. Трубопроводы также резервируются, перед каждым отводом трубы стоит задвижка. Так можно перекрыть всего один ввод к одному дизелю: второй ввод этого дизеля и оба ввода остальных машин продолжат получать топливо.

Одного такого бака хватает на сутки работы.



Вот так выглядят трубопроводы к дизелям. На трубах кожухи с зимней оболочкой, изолирующей трубу и нагревательный кабель. Вторая труба «голая» — конкретно она сейчас на профилактическом обслуживании.



Трубы топливных колец и задвижки. И еще снятый на время профилактики кабель обогрева трубы, чтобы зимой проблем с топливом не было.

Перед вводом в эксплуатацию машинный зал тестируют, ставят 10 нагревателей по 100 КВт на трое суток, при этом проводится тест кондиционеров. Почему так и почему так долго — ниже, когда дойдём до такого тестового зала.

Заходим в само здание


Люди проходят через стандартную проходную, а вот оборудование попадает сюда гораздо интереснее — через вот такой зал:



Здесь есть два погрузчика, плюс можно легко разгрузиться на пандус с гидроборта. Пандус совпадает по высоте с высотой фальшпола — 1,2 метра. Главное при езде на погрузчике по машинному залу — помнить, что он тормозит столько же, сколько разгоняется. Для серверов массой более 1,5 тонн это очень важное правило.



Вот стоит IBMовский System P795 — это сервер массой около 1700 килограмм, который нельзя наклонять больше чем на 10 градусов, иначе сразу теряется гарантия на него.



Похожий как-то ставили в наш ЦОД и в резервный ЦОД другой компании. У нас приехала машина, подошла бортом к пандусу, наши сотрудники взяли сервер и поставили, даже рассказывать не о чем. Во втором ЦОД родилась целая байка про то, как они его доставляли — там пандус узкий, пришлось заносить руками, причём шестеро здоровых мужиков его кое-как кантовали, а ещё один смотрел за уровнем, чтобы не дай бог не лишиться дорогой гарантии. А еще там сервер по высоте в дверь не проходил, мешал магнитный замок, пришлось экстренно срезать болгаркой.



Для сравнения — процедура доставки железа в наш ЦОД очень простая: приезжает спец из IBM, заходит, смотрит, радуется, вызывает экспедиторов. Полы, кстати, подготовлены ко всякому: они жесткие, и даже самое тяжелое железо нормально по ним катается. Ещё один заказчик вспоминает, как вывозил железку под тонну по покрытому ковролином полу, и чего ему стоило вытащить её из своего бывшего ЦОДа.

Вот лифт: он поднимает 2,5 тонны. Он сквозной: если надо на первый, просто проезжаете его, если надо на второй этаж — поднимаетесь.



По дороге, кстати, до уровня фальшпола есть туалет для инвалидов, это тоже требование стандарта. Правда, российского, но мы же соблюдаем все правила.



Электричество приходит на трансформаторную подстанцию, потом идёт в ГРЩ (распредщит).



АВР — аварийный ввод резерва. Все на экранах видно в мониторинге, от каждого модуля уходит Ethernet-кабель.



Для некоторых ответственных устройств удалённое управление выключено осознанно: дело в том, что клики на компьютере не безопасны — пресловутый «человеческий фактор». И нам важно, чтобы подходили и делали руками, это куда более осознанно. При этом, напоминаю, переключение на резерв при отключении двух основных линий делается автоматом — в таких ситуациях нет даже 30 секунд подумать и побегать.



В это помещение электричество подаётся из-за стены от трансформаторов по шинопроводам, снизу из фальшпола — от дизелей. Щиты выбирают канал и отдают наверх на ИБП.



Обратите внимание на эти замечательные шинопроводы:


Шинопровод выглядит как рельса слева на заднем плане

Они очень облегчают обслуживание: штуки модульные, экономят место, легко заменяются, при необходимости легко сделать ветку. Если бы вместо них положили обычный кабель, то его пришлось бы укладывать целой бригадой. Даже небольшие кабели приходится сгибать вдвоем-втроем, а о таких и говорить не приходится. Еще у него был бы радиус изгиба полтора метра, шинопровод изгибается под прямым углом.

Кстати, есть и обычные кабели. Они идут к некритичным потребителям – освещению (есть резервное), внешнему контуру кондиционирования и т.п. Здесь резервирование только дизелями, ИБП не нужно. Они аккуратно уложены, несмотря на внушительные сечения – до 240 мм2 на одну жилу.



Красные трубы — это пожарная система. Используется 125-й хладон, он связывает кислород, нетоксичен. Под фальшполом тоже находятся распылители и датчики: любой более-менее заизолированный объём снабжается своей системой.



Техника безопасности всегда важна. В углу необходимые для зала штуки:



А вот щиты, которые управляют питанием стоек заказчиков. Тоже задублированы. Вводные автоматы проверяют напряжение и показывают всё в системе мониторинга, а автоматы стоек показывают состояние включен/выключен, тоже в системе мониторинга Это очень удобно, например, при коротком замыкании в оборудовании заказчика сразу видно кто, что, где — и что с этим всем делать.



Наши инженеры в стойку лезут только по одному поводу: при задымлении. За последние три года случился один более-менее нештатный случай: в системе хранения данных во встроенном ИБП вышел из строя аккумулятор, появился характерный запах горящей проводки. В машзале не вышло локализовать источник (в залах сильный ветер). Запах быстро рассеялся. Мы связались с заказчиком, получив разрешение, зашли в решетку, посмотрели индикацию, обнаружили неисправность и сообщили. Вообще, сценарий на подобные случаи достаточно интересный: при любой нештатной ситуации в течение минуты прибывает «космонавт» — пожарный в защитном «скафандре» с кислородным баллоном (он умеет ходить по залам уже после пуска огнетушащего газа), охрана и инженеры. Кстати, самое удивительное, но пожарный на всех учениях реально укладывается в норматив при том, что бежать ему минимум 20 секунд.



Машинные залы спроектированы так, чтобы максимально разделить зоны ответственности. Говоря более простым языком, если заказчик решит огородить своё оборудование, наши инженеры не должны заходить внутрь огородки: то есть все системы должны находиться за решеткой. Это вынесено из опыта: в нашем втором ЦОД нужно постоянно получать согласование на замену какой-нибудь мелочи в зоне клиента (и звать его спецов и безопасников в гости, стоять за спиной инженера: такова процедура). С другой стороны, есть риск, что сам заказчик что-нибудь изменит на инженерном оборудовании: в общем, лучше не пересекаться.



Внутри загородок только видеокамеры, распылители газа и трубки газоанализаторов. Остальное за пределами машзалов.



Здесь сильно дует, сюда поступает холодный воздух из двух коридоров, в каждом из которых по 8 фанкойлов. В фальшполе и фальшпотолке нет сплошных преград. Холодный воздух выдувается через решетки снизу, горячий забирается сверху. Таким образом, холодный воздух поднимается через стойку, где нагревается, идёт вверх и уходит на охлаждение.



Камеры просматривают стойку. Когда заказчик двигает железо, стойки – то камеры все отслеживают. Камеры в коридоры ставятся по мере постройки коридора, это удобно для нестандартного оборудования и организации перегородок между заказчиками.



В нашем первом ЦОДе мы сначала расставили камеры и инфраструктуру типа кабелей к стойкам, а потом всё переделывали, потому что одинаковое железо у двух разных заказчиков не встречается. Кабели не прокладываются до появления заказчика — чтобы заказчик получал ровно то, что ему нужно. Общие кроссы не очень желательны, это многих тревожит.



В машинном зале тоже есть распылители газа. Система рассчитана на полное распространение газа за 10 секунд после того, как сработает (в том числе, по фальшполу и фальшпотолку).



Используется система раннего обнаружения возгорания: обычной датчик ловит 60 градусов или задымление — это случай, когда уже что-то полыхает. У нас — куда более чуткие трубки газоанализаторов на потолке.



Процедура на случай пожара: отключение модуля, тушение руками, вывод людей, ручной пуск газа по кнопке с внешней стороны двери машинного зала. При этом оборудование и электрика продолжают работать, просто в зале не остаётся кислорода. На тушение и удаление дыма уходит от двух часов, при этом в зал нельзя заходить никому без костюма и баллона. Перезарядка системы пожаротушения и всех остальных, которые срабатывают, стоит около 2 миллионов рублей. Нажал на кнопку — потратил.

Вот стойка и ближайшая инфраструктура. Для всего используются модульные решения. Коробки кабельной системы двигаются. Используются оптические кассеты, разъем как пачкорд, только 12 волокон, позволяют очень быстро монтировать и вносить изменения по ходу эксплуатации.











Стойка обязательно заземляется. Для оборудования на низких токах это критично.

Другой зал, тут под полом вода – кольцевые трассы для подачи холода и отвода тепла:



Куча перемычек на этих кольцах: они резервируются (даже задвижки, чтобы через 10 лет не обнаружить при аварии, что какая-то не закрывается). Везде установлены датчики. Под помещением мини-бассейн с уклоном для приема воды в случае протечек и помпа — чтобы электрика была в безопасности.

Датчики пожарной сигнализации, VESDA. Это и есть сердце системы раннего обнаружения пожара:



Используется обычное заземление и система уравнивания потенциалов. Подвод к фальшполу, сами плиты фальшпола тоже токопроводящие. Любой объект в машзале заземлён. По залу можно ходить босиком и все трогать — не долбанет.

А это щитовая и инверторная.



Помещение стоит без кондиционеров, потому что КПД ИБП очень высокий, тепла крайне мало, а то, что есть, отводится обычной приточкой. Воздух готовится в венткамере с помощью фильтров, увлажнителей и осушителей.



Батареи находятся в отдельном помещении, потому что им нужна своя температура. Чуть холоднее — и снижается емкость. Если нагреть на лишнюю пару градусов — срок службы падает с десяти лет до двух. После наполнения машзалов здесь будет около ста тонн аккумуляторов. На аккумуляторах есть клапаны сброса давления (выделяется водород), что создаёт риск объемного взрыва, поэтому в помещении отдельная система вытяжки.



Красные трубы выводят воздух на улицу.



Контакты батарей не изолированы. Одна такая линейка может шарахнуть на 400 Вольт. При этом в отличие от переменного тока, эффект не локализуется на коже, а куда больше сказывается на внутренних органах, что весьма опасно. Вообще, выше частота — меньше опасности от тока.



Это пандус для крана: ведь нужно резервировать и пути доставки оборудования. Пандус для крана нами уже использовался при завозе инженерки.



Кстати, догадаетесь, зачем нужны решетки в полу прямо у выхода с пандуса?



А в этом зале проводится жесткий тест охлаждения.



В зале стоят нагреватели по 100 КВт, которые греют воздух 72 часа. Во время проверки очень важно понимать, что температура не увеличивается при долгом нагреве: ведь в коротких тестах непонятно, погрешность это или накопление тепла стенами. Это делается так долго по той простой причине, что в ЦОД никто не измеряет возможности стен, потолков и оборудования как аккумуляторов тепла. Воздух прогревается за 5-10 минут, дальше всё тепло уходит в стены и т.п. Был случай, когда помещение другого ЦОДа держало тепло 4 часа (и нельзя было включить оборудование, которое автоматом вырубается на отметке 35 градусов). Только если температура не меняется ни на градус, тест считается законченным.



В помещениях, где ходят люди — водяное пожаротушение. Объемы с разным типом пожаротушения – газовым и спринклерным – изолированы друг от друга. В зоне персонала поддерживается комфортная температура.





Это насосная. Здесь два контура охлаждения.



Учитывая, сколько питания берёт система, нужно было бы ставить огромный зал с ИБП для поддержания во время переключения на дизель. Естественно, есть решение элегантнее: достаточно держать бассейн с 13-градусной охлаждённой водой, который даёт то же самое, что ИБП (ведь результат работы электрики — холодная вода), но без потерь и без задержек, плюс без сложного обслуживания. В бассейне — 90 тонн заранее охлажденной воды, ее хватает на 15 минут штатной работы минимум, как и электричества от ИБП. Остальное – за счет дизелей. Наружу тепло отводится через второй контур с чиллерами и градиррными. В чиллерах, кстати, не вода, а водяной раствор гликоля, типа водки, чтобы не мёрз зимой. Пересечение контуров — в теплообменниках.



Трубы в идеале должны стоять без замены 10 лет. Чтобы они не зарастали, вода обязательно очищается.

Бассейн видно сзади (за лампами) – это его верхний край.



Крыша — тут чиллеры и сухие градирни.



Летом используются фреоновые доводчики, в остальное время достаточно внешнего воздуха для режима фрикулинга. Гликолевый раствор гоняется через радиаторы, снаружи которых — внешний воздух. Когда один из радиаторов стоит, в нём много чего может помёрзнуть, поэтому при включении потенциально возможна заморозка. Для предотвращения этого используются обводные трубы, они не пускают перехоложенный раствор, пока он не нагреется.





Вот пандус сверху:



ТЭЦ. Кстати, какие-то нехорошие люди написали в Викимапии, что это «Nuclear power plant», отчего иностранцы нам чуть не запороли сертификат TIER III с вопросом: «Русские, вы что, с ума сошли строиться около ядерного объекта?». Долго доказывали, что это обычная ТЭЦ.



Здесь подготовка воздуха для подачи в помещения ЦОД – венткамера:









На первом этаже – трансформаторы:





А тут — помещение типа коворкинга для делегаций заказчика.



Во-первых, конечно же, заказчикам нужно место, чтобы конфигурировать сервера после установки. Во-вторых, здесь остаются люди, которым в какой-то момент нужно быть в шаговой доступности от железа. В-третьих, если вы приходите в ЦОД в легкой одежде, можно довольно быстро простыть в машзале, поэтому нужно место чтобы пить горячий чай. Здесь же могут находиться смены админов, когда у клиента штук сто стоек.

Это столовая. Здесь уютно и тоже задублировано все оборудование.











Вот такой дата-центр повышенной ответственности.
Автор: @Pavel_Kolmychek
КРОК
рейтинг 472,29

Комментарии (117)

  • –12
    экскурсия
    • +18
      Поправил. Пожалуйста, следующий раз в личку.
  • 0
    Как долго (минуты-часы-дни) сидите на дизелях при DRT?
    • +5
      Если вопрос про DRP, то это не только про ЦОД. В случае полного отключения питания из города дизели под полной нагрузкой могут работать 24 часа на одном топливохранилище, а их два. Топливо поставляется по договору, привозят в течение 4-5 часов, так что с точки зрения стандартов дизели могут использоваться и как основной источник электричества неограниченное время.

      • 0
        Я там тоже был )
      • 0
        Да, верно.
  • +5
    Народная примета: если на хабре пиарят какой-нибудь ЦОД, то вскоре там случается ()() Поглядим…
    • +5
      На ЦОД last.fm свет отключили. Накаркал!
  • +4
    гм, если насыпать в один топливный люк сахарку, накроются все дизели? Или это как-то диагностируется/фильтруется, помимо охраны территории?
    • +4
      Топливные баки находятся под замком и камерами, за забором. Вскрыть оперативно невозможно, охрана круглосуточная. Но даже если что-то случается с одним хранилищем, у нас есть резервное того же объема – 30 кубических метров. Даже в случае порчи топлива в одном из баков продолжаем работать.
      • НЛО прилетело и опубликовало эту надпись здесь
  • 0
    Кстати, какие-то нехорошие люди написали в Викимапии, что это «Nuclear power plant», отчего иностранцы нам чуть не запороли сертификат TIER III с вопросом: «Русские, вы что, с ума сошли строиться около ядерного объекта?»


    А почему бы кстати и нет?
    • +3
      Меня другое в топике позабавило — почему нельзя строиться рядом с государственными учреждениями? Мне в голову приходит только забота на случай народных волнений/революций…
      • +4
        В США демонстрации мешают проезду. А могут понадобиться пожарные. Любимое место демонстраций — госучреждения.
        • +4
          Это же шоссе Энтузиастов :)
          • +1
            Если конкретнее, скорее всего это территория завода «Компрессор»
      • 0
        Думаю вопрос во многом в правовом регулировании доступа к таким помещениям. В частности, рядом с госами вполне могут существовать правовыве основания для ограничения доступа к здания на время каких либо событий (от выборов, до визита высшего руководства)
      • 0
        Народные волнения, первоочередная цель террористов или потенциального противника, перекрытие дорог гос. службами и т.п… Логично, по большому счёту.
      • +1
        — Здесь нельзя парковать строить ЦОД, это Дом правительства, здесь депутаты кругом!
        — Ничего, у меня сигнализация хорошая!
        • 0
          Хотел застрайкить «парковать», но strike through как-то коряво работает
    • +4
      «какие-то нехорошие люди написали в Викимапии, что это «Nuclear power plant»»
      Увы, но многие принимают за АЭС обычные промышленные градирни. (я про водоохлаждающие башни)
      • +4
        Да это понятно. Пускай принимают. Не понятно чем плохо строить ДЦ в непосредственной близости от АЭС? С точки зрения бытового пользователя — наоборот, энергия вот она, без всяких там перекупщиков. Под боком фактически.
        • 0
          Территория с повышенной опасностью техногенных катастроф, я полагаю. Как было бы с ЦОД, построенным возле Фукусимы, к примеру?

          Современные АЭС, безусловно, очень надёжны, но аварии иногда происходят.

          С другой стороны, должны быть нормы с чётким указанием зоны отчуждения вокруг АЭС, где нельзя ничего другого строить. Т.е. совсем уж рядом с ней просто не выйдет.
          • 0
            Кажется мне, что вероятность аварии на АЭС все равно в разы меньше, чем у этого, да и вообще у какого-бы то ни было ЦОДа.
            • 0
              Вероятности складываются :)
              • 0
                не складываются, а умножаются, так что всё ещё хуже )
                • 0
                  В данном случае таки складываются :) Умножение вероятностей уменьшает их и используется когда считается вероятность всех событий произойти одновременно, а в данном случае нам достаточно, чтобы любое из событий произошло, чтобы настал блэкаут.
                  • +1
                    Вероятность того что события A (с вероятностью a) и B (с вероятностью b) не произойдут равна (1-a)*(1-b)
                    1-a — вероятность того, что A не произойдёт и
                    1-b — вероятность того, что B не произойдёт
                    • 0
                      Мы об одном и том же:
                      Формула сложения вероятностей
                      Для любых событий A и B выполняется равенство:
                      P(A + B) = P(A) + P(B) – P(AB).
  • +6
    Продублирована даже микроволновка :) Круто!
    • +17
      Продублированы даже пакеты молока в холодильнике.)
      • +3
        Лимон не продублирован!
        • +3
          Он отказоустойчивый!
        • +2
          Лимон — это не цельный ресурс, а источник ресурса. Hint: его можно слайсить.
    • НЛО прилетело и опубликовало эту надпись здесь
    • +2
      пластиковые тарелочки на микроволновке, конечно, продублированы, но при длительной работе микроволновка может сильно нагреваться (под тарелочками наклейка «Осторожно, горячая поверхность!»), тарелки расплавятся, потекут на трансформатор и магнетрон, вместе с салфетками воспламенятся — пожар в дата-центре!
      В общем, уборщицу тоже нужно обучать высокой ответственности :)
  • +4
    А можете в дополнение к материалу выложить план здания с указанием всех сигнализаций и камер? =)
    • +14
      Да, вот он по ссылке.
      • +2
        План красивый, только не хватает рассписания пересменки охранников.
  • +2
    Если честно, даже не верится, что такое может окупиться. Pavel_Kolmychek, а можно узнать примерную стоимость всего проекта?
    • 0
      Стоимость проекта назвать по понятным причинам не могу. Но могу сказать, что такие проекты окупаются обычно лет за десять.
      • 0
        и сразу начинается капитальный ремонт с заменой труб?)
        вы написали что трубы живут 10 лет
  • +5
    Шикарен сервер, который нельзя наклонять более чем на 10 градусов. Интересно, это не мешает его возить на самолете или корабле?
    • +4
      А что там настолько критичного к крену может быть? Интересно
      • +4
        Знание, что его не роняли и сильно не трясли.
        • +6
          Можно и строго вертикально уронить.
        • +2
          Для этого ставятся обычные стресс-датчики (наклейки), набором на нужные нагрузки. Наклон тут не подходит. И действительно непонятно как в случае с транспортировкой самолётом (взлёт).
          • +4
            Возможно, такие сервера целиком на самолетах не возят, а по частям, а уже недалеко от места собирают и бломбируют. Хотя, само по себе требование «не наклонять» для сервера странное.
            • +1
              Когда сервер весит сотни кг. и построен по модульной схеме — т.е. набивается платами, то нагрузки при наклоне могут вызвать даже микротрещины в местах соединения, т.к. все расчитано на вертикальную нагрузку.

              images.51cto.com/files/uploadimg/20110113/1601056.jpg
    • +2
      А его держит в руках Бендер, у него же есть гироскоп.
      • 0
        Есть опасность, что он его согнёт.
        • +5
          Украдёт и пропьёт.
    • +1
      Эти серверы и СХД все крупные вендоры (IBM, HP, EMC и т.п.) собирают в Европе. Возят их обычно на автомобильном транспорте. Есть компании, которые готовы и на самолете доставить, просто условия доставки нужно заранее проговаривать.
    • +1
      Подобного оборудования достаточно много.
      К примеру на старой работе мы выгружали себе фотонаборный аппарат Heidelberg, там вообще условие разгрузки — крен не более 5 градусов (ибо высокоточная оптика и лазеры) и физическое наличие их инженера, который распаковывает ящик на месте. А запихивали мы его в оконный проем цокольного этажа, проем размеров всего на 1-2 см по кажому измерению больше ящика, хземля вровень с нижним краем проема, а пол в помещении на метр ниже. Квест тот еще был. Система вытаскивания поддона тоже предусмотрена (снимается верх ящика, в станину аппарата вкручиваются специальные упоры шире поддона, в которые вкручаваются болты для поднятия станины над поддоном), все с уровнями и т.п. Вес всего около 500 кг
  • +4
    Не хватает общего плана здания. Как оно выглядит сейчас?
  • +3
    Больше всего меня удивляет так это то что это востребовано кем то, потому что до последнего времени мне казалось что «большим дядам» вообще пофигу как там что у них стоит и где, оказывается есть сознательные «Дяди» =)
    • 0
      У «больших дядь» есть инженеры, которые знают что где и как должно стоят.
      • +3
        По собственному опыту «дядям» по барабану на мнение инженеров, лишь бы подешевле.
        • +1
          Значит, ваши дяди просто недостаточно велики.
          Или подвизаются в недостаточно хайтечной сфере
  • 0
    Интересно было бы увидеть помещение техподдержки, если это возможно.
  • +3
    Красиво всё, аккуратно. Хочется пожелать только одного — что бы такое же отношение сохранялось долго. Когда у нас на заводе немцы вводили оборудование от siemens в эксплуатацию, тоже можно было делать такие фотографии, где порядок и идилия. А через год оборудование перестали мыть после каждой смены, только раз в месяц. Потом всё реже и реже. Как и заточка ножей. Потом перестали делать ТО и через 10 лет настал невообразимый беспорядок, грязь и поруха, что показывать это просто стыдно. Надеюсь у вас такого не будет.
  • +1
    Всегда интересовал вопрос о системах газового и порошкового пожаротушения. На практике работали с порошком и были инциденты ложного срабатывания (весь зал засыпало порошком)

    с учетом того, что в стойке постоянно циркулирует воздух, при возгорании одного из компонентов стойки высока вероятность быстрого распространения огня на другие узлы.
    Возникают вопросы как работает автоматика:
    1. датчики дыма расположены над каждой стойкой? по-секторам?
    2. газ подается в весь зал?
    3. Как ведет себя автоматика, если в зале находятся люди (ручное отключение автоматики, ручной запуск систем тушения.

    • +1
      1) Датчики расположены над зоной выдува воздуха, зал разделен на 4 сектора. Срабатывание датчиков по каждому из секторов отображается в системе диспетчеризации отдельно.

      2) Газ подается на зал и прилегающие коридоры с фанкойлами (внутренними блоками кондиционеров). Эти помещения интенсивно обмениваются воздухом, поэтому считаются одним объемом для системы пожаротушения.

      3) Система пожаротушения работает в полуавтоматическом режиме. Это значит, что все сигналы с датчиков рассылаются на 3 круглосуточных смены – пожарной безопасности, физической безопасности и сопровождения ИТ. В течение минуты после срабатывания три человека уже стоят рядом с машинным залом. Если задымления нет, то заходят в зал втроем, если есть, то только сотрудник службы пожарной безопасности. Дальше действия идут по схеме:

      a. Проверяют, что в зале нет посетителей, если есть, их выводят;

      b. Отключают питание от источника задымления, если возможно.

      c. Если этим причина задымления не устраняется, то используют углекислотные огнетушители, которые есть в каждом зале. Они не повреждают оборудование.

      d. Если недостаточно и этих мер, то покидают помещение и запускают газ.

      В ЦОД установлена система раннего обнаружения возгораний (VESDA), она очень чувствительна. Поэтому риск распространения огня с одного устройства на другое минимален. Газ не останавливает работы оборудования и не повреждает его. С точки зрения стандартов использовать порошок или воду для тушения в машинных залах категорически запрещено. Мы даже с бутылкой воды или с яблоком посетителей в машинный зал не пускаем, хотя желающие были.
      • 0
        А как происходит охлаждение зала при работе системы пожаротушения? или у воздуха зала замкнутый цикл? Приточная вентиляция в том или ином виде наверное есть?
        • +1
          рискну предположить, что точно так же, как и при несрабатывании СГПЖ. Сам по себе хладон — такой же газ, только при воздействии на него высокой температуры (близкой к температуре горения) он разлагается, в результате чего образуются «вещества» препятствующие горению, из-за чего горение прекращается.

          Приточная вентиляция, надеюсь, есть. Только воздушная смесь в ней должна быть специально подготовлена — высоко очищена, усушена/увлажнена (по необходимости). Вообще, в машзалах стараются поддерживать избыточное давление, чтобы «грязь» «выдувалась» из него, а не тянулась (с посетителями/работами/проч).
      • +1
        вопрос — почему использовали менее «технологичный» хладон-125, а не более удобный Новек1230?
  • 0
    Вы даже молоко в холодильнике задублировали… о_О
    • +1
      А Вы на всякий случай продублировали комментарий про продублированное в холодильнике молоко :D
      • +2
        ребят, вам надо в тех поддержку этих цодов. будете клиентам сообщения дублировать
      • 0
        А получилось как обычно «я всегда буду читать коменты перед тем как писать коменты!»
        А вообще получилось в тему, дублируем комент о дублировании «чего-то там»
  • 0
    Это на Авиамоторной что ли?
  • 0
    Глядя на фото все время представлял себе Гордона Фримена с монтировкой.
  • +10
    geekporn. Я в восторге.
  • +1
    А где ссылка на стоимость услуг?
    • +2
      Учитывая, что стоимось объекта не раскрывается, а окупиться планируется за 10 лет…
      стоимость услуг ппц какя высокая! точнее ППЦ!
  • +6
    С такой интенсивностью вентиляции входить можно тольков свитере и с бородой, строгий отбор инженеров у заказчика. Чтобы мог полный рабочий день в этих морозильниках работаь.
  • +1
    Я хочу у вас хоститься.
  • 0
    И тут оптика в шкафах соплями висит :(
    Посоветуйте кто-нить недорогие органайзеры для оптических патчкордов? Циску не предлагать, я не хочу отдавать 500 баксов за кусок железа :(( Желательно чтобы это было доступно в Питере/Москве.
    • +1
      посмотрите в сторону Panduit. Не реклама, но весьма удобно (я бы сказал, что стоит своих денег). SysTiMax мне не понравился.
  • 0
    Шикарный ЦОД и обзор как надо. Какая в итоге ёмкость получилась? Написано про возможную сотню стоек у заказчика, а сколько всего?
    • 0
      4 зала по 200 стойко-мест каждый.
  • 0
    Как в таких ЦОДах организован мониторинг?
    Явно не nagios. Буду благодарен за детали или линки.
    • +1
      Мониторинг делится на три части:
      1) Все инженерные системы подключены к централизованной системе мониторинга и управления (контроллеры — Kieback&Peter, ПО – SCADA-система zenOn от Copa-Data, основной протокол обмена данными – BACnet);
      2) Заказчики свое установленное оборудование, как правило, мониторят самостоятельно, это ограничения от их внутренних служб безопасности;
      3) Наше ИТ-оборудование и оставшихся заказчиков собираем на тот самый nagios. Он подходит хорошо, т.к. не привязан к вендорам, хотя и приходится многое настраивать руками.
      • 0
        3) Наше ИТ-оборудование и оставшихся заказчиков собираем на тот самый nagios. Он подходит хорошо, т.к. не привязан к вендорам, хотя и приходится многое настраивать руками.
        

        Вы же наверное все потом выводите в «ЦУП» на большой экран/несколько экранов?
        Как это реализовали (если не секрет)?
  • 0
    В ближайшем времени планируем перенести сервер с учетной системой со своего локального ресурса (доступного через интернет) на внешний. Причина — нестабильный канал провайдера, частые отключения элемектроэнергии на длительно время. Рассматриваем варианты выделенного сервера или VDS, нагрузка впринципе небольшая, большой только траффик (сканированные документы).

    Статус документов — ДСП.

    Вопрос: какие конкретно бумажки может предоставить ваш хостинг, для подтверждения уровеня защищенности ваших серверов, сертификации системы охраны в вашем ДЦ, уровень пожаной безопасности, и т.д.? И вообще, есть ли у вас такое, или все взаимодействие и ответственность определяются только договором?
    • 0
      Походу им такое не интересно. Я похожий вопрос задавал в личку. Ноль эмоций…
    • +1
      Звоните в отдел продаж с подобными вопросами, думаю так будет правильнее, врядли те, кто сидят на хабре хоть как-то связаны с продажами.
    • 0
      Под ваш запрос больше подходит Виртуальный датацентр КРОК. По этому вопросу лучше обратиться к моему коллеге – Максиму Березину. Его почновый адрес – Mberezin@croc.ru
  • НЛО прилетело и опубликовало эту надпись здесь
    • 0
      Не, у меня тоже не отображаются. Хабрасторадж недоступен.
  • 0
    Как так получилось, что система охлаждения у вас на 2,5 МВт, а оборудование может потреблять до 4,5 МВт? Как я понимаю, сервер с потребляемой мощностью в 600 Вт выделяет около 600 Вт тепла?
    • +3
      Для того, чтобы отвести тепло не нужно столько же энергии =) Грубо говоря каждый ватт затраченный на охлаждение может перекачать ватт эдак 5 тепла наружу. Отношение между полезной энергией (на работу оборудования, с вычетом охлаждения, упсов и т.д.) и входящей в дата-центр называется PUE, и этот показатель может варьироваться от 2.5 в самых неэффективных ЦОДах, где на каждый полезный ватт приходится ватт на охлаждение и ещё полватта на всякие накладные расходы, до 1.1 в самых эффективных.
      • +2
        Спасибо за ответ. Этот вопрос задавал мой коллега по ЦОДу, завтра он тоже что-нибудь здесь откомментирует.

        В принципе, логично — система не замкнута, поэтому тепло отводится вовне, и поэтому энергия на отвод может быть сколько угодно меньше самой отводимой энергии.
        Например, чай в стакане можно охлаждать вообще с нулевыми затратами, выставив его на улицу (что и делается во всех системах охлаждения).
        • +2
          Вот-вот, совершенно верное понимание :)
  • 0
    Просто интересно, какая доля из оборудования этого ДЦ была произведена в России. У кого-нибдуь есть предположения?
    • 0
      Есть :) Ноль.
    • 0
      Хотя нет, фреон вполне может быть русским. Ну и шины электрические.
  • 0
    Жаль, что автор статьи пропустил момент комментариев. Много вопросов, мало ответов :(
  • +1
    А кто работает на ЦОДе?

    вы писали что есть пожарный который моментально наряжяется в «космонафта» и идет устранять пожар… т.е. на объекте всегда находится в несколько смен пожарный?

    а кто еще — охранники, уборщики, инженеры… сколько там вообще людей работает?

    и еще интересна общая стоимость проекта
  • 0
    Здание и земля под ЦОД находится в аренде или выкуплено у завода?
  • 0
    Я не понял одного — сертифицирован ЦОД по Tier III или нет? Пока ТРИ ЦОД в РФ в стадии получения Tier III и только один сертификацию прошел: telecombloger.ru/7890
    • 0
      А ничего, что статье по ссылке уже почти полтора года?
      • 0
        И что? Какой ответ на мой вопрос?
        • 0
          Я не имею отношения к Кроку, но тут uptimeinstitute.com/TierCertification/certMaps.php есть этот ЦОД, сертифицированный на уровне «design documents»
          • 0
            Да, уже нашел. Хотелось бы понять, будут ли сертифицировать по Tier III дальше, а не только design documents.
  • 0
    Tier III и отказ уровня «упал метеорит» на моноблочных ИБП? Нет, SGшки — штуки хорошие и довольно надежные, но все же.
  • 0
    Это насосная. Здесь два контура охлаждения.
    Учитывая, сколько питания берёт система, нужно было бы ставить огромный зал с ИБП для поддержания во время переключения на дизель. Естественно, есть решение элегантнее: достаточно держать бассейн с 13-градусной охлаждённой водой, который даёт то же самое, что ИБП (ведь результат работы электрики — холодная вода), но без потерь и без задержек, плюс без сложного обслуживания. В бассейне — 90 тонн заранее охлажденной воды, ее хватает на 15 минут штатной работы минимум, как и электричества от ИБП.

    Не совсем понятно, для чего используется именно охлаждённая вода. Не могли бы вы немного пояснить этот момент? Это система кондиционирования? Тогда почему не хватает «обычных» кондиционеров? Вода призвана охлаждать само здание, чтобы облегчить работу кондиционерам?

    Отдельный вопрос — тушение газом. Он скорее не к вам, а общий. Окислителем может выступать не только кислород. После начала горения из оборудования каких только веществ не выделяется. На этот случай, я так понимаю, в помещение есть дежурный пожарник с углекислотным огнетушителем, я прав? Или вариант некислородного горения в регламентирующих документах не рассмотрен как фантастический?
    • +1
      так ведь на первый вопрос ответ в вами же отквоченном тексте. Кондиционерам нужно электропитание. При переходе на ИБП зачем тратить энергию на кондиционеры, если экономичнее брать готовый хладогент (вода при +13). Да и 90 тонн воды — это не такой уж и большой резервуар.

      «После начала горения из оборудования каких только веществ не выделяется.»
      Ну вот тут Вы, скорее всего, всё-таки перегнули. Что значит «каких только»? Есть сертифицированное обородование от нормальных поставщиков для работы в дата центре. И из чего оно сделано и чем его тушить в случае пожара прекрасно известно. Аналогично и с другими материалами — они ведь не выбираются просто так. Включая покрытия полов, стен, потолки и т.п.
      • 0
        Я невеликий спец в системах охлаждения (или просто туплю где-то). Вода используется как «резервная» система охлаждения здания? Или что она охлаждает? Я понял причину использования охлаждённой воды, но не понял способ. Вопрос в том, как же именно используется вода, что она охлаждает и теперь ещё, каким образом это заменяет кондиционеры.
        Я где-то за словами потерял смысл. Он может быть очевидный ;) Поясните его, пожалуйста.

        Про сертификацию оборудования и материалов отделки я как-то не подумал. В случае, когда известно, что из окислителей только кислород, связывать его — хороший выбор. Согласен ;)
        • +1
          Т.е. как работают кондиционеры — имеется контур, заправленный обычно фреоном или чем-то подобным. С одной стороны его обдуваем вентиляторами, с другой получаем холод, который и подаём в охлаждаемое помещение. Т.е. погуглите принцип работы холодильников и кондиционеров. В описываемом случае в час Ч просто переключатся с холода, генерируемого кондиционерами, на холод от воды из бассейна. Пройдя по теплообменникам она заберёт избыточное тепло из охлаждаемых помещений.

          Основная фишка и причина экономии в статье описана. Т.е. не тратим ценное электричество на кондиционеры, которые бы охладили хладагент, а берём готовую холодную воду, которая сделает практически тоже самое. Тратим электричество только на подачу холодной воды.
          • +1
            ну как бы не совсем так в отношении ЦОДов и других крупных объектов. Подробнее в моем комментарии чуть выше.
    • +1
      Охлажденная вода — это «охладитель», холодильник в терминах физики.
      Охлаждение крупных объектов устроено иначе, нежели охлаждение квартиры.
      В квартирах всем привычны кондиционеры (работающие по принципу домашнего холодильника, с компрессором и хладагентом).
      На крупных объектах (ЦОДах, ТЦ, гостиницах, прочее) применение классических кондиционеров с классическими хладагентами (фреоном) не эффективно и трудозатратно, поэтому применяется чиллерная система на обычной воде (вернее, она не обычная, а специально подготовленная, но не суть). 2 контура — внутренний и внешний. Во внутреннем контуре охлажденная вода поступает на фанкойлы в зале, охлаждая воздух и нагреваясь сама. Далее «теплая» вода приходит в теплообменник с внешним контуром, отдавая ему свое тепло и снова охлаждаясь. Внешний контур гонит тепло на чиллеры (в данном случае, установленные на крыше), где проходит через внешний теплообменник, обдуваемый уличным воздухом.

      Теперь у нас нет электричества, тепло от внутреннего контура не можем отдать на чиллер через внешний контур.
      Вопрос: что делать и для чего же нам нужна охлажденная вода?
      • 0
        Вот теперь всё встало на свои места ;) Просто вместо охлаждения воды в чиллерах, гоняют воду из бассейна. Вполне логично и теперь более-менее ясно. (Остались нюансы с переключением контуров туда-сюда, но это уже «технические подробности». Спасибо за пояснение.
        • 0
          Бинго!

          Переключение контуров можно сделать через дополнительный теплообменник (что сложнее и надежнее), либо через отключение внешнего контура и переключение теплообменника на работу с охлажденной водой.
          Количество задвижек нам как бы намекает :)
  • +1
    1700 / 6 = 283 килограмма на каждого мужика. Что ж, на мастера спорта по становой тяге они сдали.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное