Экскурсия по Селектелу: ДЦ «Технодом»
«Идея запостить фотографии из наших ДЦ родилась давно. Но то времени нет, то у фотографов-любителей, вроде меня, руки не из того места растут, то ещё что-то. Наконец, собрались вместе свободное время и прямые руки.
В этом цикле статей мы покажем как выглядят наши ДЦ.
Итак, старейший дата-центр Селектела (с которого компания, собственно, и началась), под кодовым названием »Технодом".
Небольшая видео-экскурсия:
Она же — машинный зал, payload (в буквальном смысле) для любого дата-центра. Именно тут находятся маленькие кусочки плавленного кремния, ради которых работает всё остальное оборудование и люди.
(картинки кликабельны)
Традиционно, основным форматом, использующимся для размещения серверов, являются 19" (19 дюймов), их высота измеряется в юнитах (вершках, хе-хе). Сервера плотно монтируются один над другим в специальные шкафы с вертикальными направляющими. Шкафы иногда ещё называют «стойкой». В «Технодоме» используются шкафы 42 U размером (внутренние направляющие имеют высоту 42 юнита, плюс чуть-чуть снизу, плюс чуть-чуть сверху, плюс чуть-чуть с боков на стенки и место для кабелей — то есть фактический размер шкафа больше, чем 1.8 метра в высоту и 48 сантиметров в длину). Реальная полезная нагрузка шкафа несколько меньше, так как туда ещё монтируются розетки (тоже 19"). Размеры самого шкафа: высота 2030, ширина 600 мм. Глубина шкафов разная — на выбор 620, 820 и 1020мм.
(под катом — ещё фотографии серверной, оборудования и людей)
<habracut/>
Селектел традиционно использует модель холодного коридора: Холодный воздух под давлением нагнетается в коридор, откуда его забирают вентиляторы серверов и выкидывают в «горячий коридор», который на самом деле во-первых не горячий, а во-вторых не коридор — это всё свободное место серверной, кроме «холодных коридоров». Холодные коридоры действительно холодные, долго там находиться неуютно. В SLA записано обещание держать там температуру +20±2°С, градуса, в реальности там обычно эти самые +20-2. А с учётом постоянного холодного сквозняка из вентиляции (в этом месте и все 15 градусов может быть), это место точно не для человеков.
Холодный коридор образуется двумя рядами шкафов (они делают боковые стенки коридора), крышей сверху и лёгкими дверьми с обеих сторон коридора.
Все сервера монтируются так, чтобы щели воздухозаборников смотрели в сторону холодного коридора (обычно это «морды» серверов), а горячий воздух выдувался «наружу» (его забирает система кондиционирования, прогоняет через фильтры, осушку/увлажнение, охлаждение и пускает обратно в холодный коридор).
На фотографиях серверной вид в холодный коридор. Общая площадь ДЦ — три с половиной тысячи квадратных метров. Полезная ёмкость — 320 шкафов (13440 юнитов), размещённых на 1400 квадратных метрах серверных площадей.
Унификация делает своё (чёрное?) дело — не смотря на то, что это фотографии трёх разных холодных коридоров, понять, что они разные можно только по этому предложению (считайте это игрой на внимательность — найдите 16 различий между коридорами).
Большинство серверов имеет разъёмы питания, подключения сети и т.д. с «горячей» стороны, так что все работы по коммутации, подключению/отключению и т.д. прохоят именно оттуда.
На этой фотографии хорошо виден горизонтальный кабель-канал — именно он используется для подключения серверов к сети (ну и между собой).
Чтобы в холодных коридорах былотепло и уютно холодно и сухо нужна могучая система охлаждения. В отличие от нежных кремниевых кусочков, кулеры от кондиционеров предназначены для размещения на улице.
Мы сделали чуть-чуть иначе — кулеры размещены в сквозном коридоре, что их защищает от дождя и птичьих бомбардировок.
С обоих сторонах вентиляторы для выдувания горячего воздуха из кондиционера. Используется стандартная схема N+1 (то есть стоит простаивающая хотспара). Кондиционеры Lessar.
Оно же, крупным планом:
Что важнее для дата-центра — электричество или интернет?
3 мегаватта мощности. Разумеется, бесперебойники и дизель-генераторы. Наверное, тут следовало бы рассказать много интересного про электричество, но это не моя стихия. Скажу только, что в помещения электрического хозяйства меня, например, не пускают (нет нужного доступа — там шесть киловольт). Два ввода обслуживаются 4мя трансформаторами, к щитам идёт 380 вольт, ко всей технике уже идёт обычные 220.
Обратите внимание на батарею — в то время, когда вся цивилизованная серверная охлаждается, контейнер с генератором отапливается. Шторки (горизонтальные металлические планки) автоматические, открываются одновременно с включением генератора.
Генераторов — 4 шт. Три размещены на улице, один, на всякий самый крайний случай, в здании (в отдельном помещении с отдельной вентиляцией, разумеется). Пуск автоматический.
Периодически (примерно раз в месяц) их включают для проверки, по своим впечатлениям могу сказать, что сожжённая солярка на несколько мегаватт пахнет не сильно хорошо.
Немного о дизель-генераторах (я подошёл к техническому директору за подробностями) — у каждого дизель-генератора два стартера, собственные бесперебойники для запуска (аж две штуки).
Снизу можно как раз одну из этих батарей увидеть:
На время, пока генераторы включаются, разумеется, есть источники бесперебойного питания. Находятся они в отдельном помещении. Это промышленные упсы General Electric, собранные в 4 кластера (плюс традиционная хотспара).
Что важнее для дата-центра — электричество или интернет? На самом деле, «интернет» это слишком узкое понятие для ДЦ, для него важна связность. Далеко не все линки, выходящие из дата-центра являются интернетом, многие из них — приватные сети, серые волокна, объединяющие отдельные сервера в единую конструкцию и т.д.
Все ДЦ Селектела имеют линки друг с другом через нашу оптику. (Карта прохождения линков: selectel.ru/services/rentvols/)
Святая святых, узел связи:
Разумеется, есть прямые линки до мест максимальной концентрации интернета в городе — Боровая, 57 и Большая Морская, 18. Кроме того, в ДЦ присутствует несколько операторов — RunNet, Retn.Net, Мегафон, ОБИТ, Раском, МТС, Комстар-ОТС. Входов оптики в здание два — через колодец и по воздуху (резервная линия).
Основным средством тушения пожаров, как бы ни было странно, являются огнетушители и видео-наблюдение. Если же это не поможет, то есть тяжёлая артиллерия — газовая система пожаротушения.
Разумеется, есть. Около 100 камер видео-наблюдения, табельное оружие. Проход по RFID-меткам (карточки).
Часть камер используется для наблюдения не за безопасностью, а для наблюдения за оборудованием. Разумеется, всё пишется в архив.
В этом цикле статей мы покажем как выглядят наши ДЦ.
Итак, старейший дата-центр Селектела (с которого компания, собственно, и началась), под кодовым названием »Технодом".
Видео
Небольшая видео-экскурсия:
Серверная
Она же — машинный зал, payload (в буквальном смысле) для любого дата-центра. Именно тут находятся маленькие кусочки плавленного кремния, ради которых работает всё остальное оборудование и люди.
(картинки кликабельны)
Традиционно, основным форматом, использующимся для размещения серверов, являются 19" (19 дюймов), их высота измеряется в юнитах (вершках, хе-хе). Сервера плотно монтируются один над другим в специальные шкафы с вертикальными направляющими. Шкафы иногда ещё называют «стойкой». В «Технодоме» используются шкафы 42 U размером (внутренние направляющие имеют высоту 42 юнита, плюс чуть-чуть снизу, плюс чуть-чуть сверху, плюс чуть-чуть с боков на стенки и место для кабелей — то есть фактический размер шкафа больше, чем 1.8 метра в высоту и 48 сантиметров в длину). Реальная полезная нагрузка шкафа несколько меньше, так как туда ещё монтируются розетки (тоже 19"). Размеры самого шкафа: высота 2030, ширина 600 мм. Глубина шкафов разная — на выбор 620, 820 и 1020мм.
(под катом — ещё фотографии серверной, оборудования и людей)
<habracut/>
Селектел традиционно использует модель холодного коридора: Холодный воздух под давлением нагнетается в коридор, откуда его забирают вентиляторы серверов и выкидывают в «горячий коридор», который на самом деле во-первых не горячий, а во-вторых не коридор — это всё свободное место серверной, кроме «холодных коридоров». Холодные коридоры действительно холодные, долго там находиться неуютно. В SLA записано обещание держать там температуру +20±2°С, градуса, в реальности там обычно эти самые +20-2. А с учётом постоянного холодного сквозняка из вентиляции (в этом месте и все 15 градусов может быть), это место точно не для человеков.
Холодный коридор образуется двумя рядами шкафов (они делают боковые стенки коридора), крышей сверху и лёгкими дверьми с обеих сторон коридора.
Все сервера монтируются так, чтобы щели воздухозаборников смотрели в сторону холодного коридора (обычно это «морды» серверов), а горячий воздух выдувался «наружу» (его забирает система кондиционирования, прогоняет через фильтры, осушку/увлажнение, охлаждение и пускает обратно в холодный коридор).
На фотографиях серверной вид в холодный коридор. Общая площадь ДЦ — три с половиной тысячи квадратных метров. Полезная ёмкость — 320 шкафов (13440 юнитов), размещённых на 1400 квадратных метрах серверных площадей.
Унификация делает своё (чёрное?) дело — не смотря на то, что это фотографии трёх разных холодных коридоров, понять, что они разные можно только по этому предложению (считайте это игрой на внимательность — найдите 16 различий между коридорами).
Большинство серверов имеет разъёмы питания, подключения сети и т.д. с «горячей» стороны, так что все работы по коммутации, подключению/отключению и т.д. прохоят именно оттуда.
На этой фотографии хорошо виден горизонтальный кабель-канал — именно он используется для подключения серверов к сети (ну и между собой).
Мрачные застенки охлаждения
Чтобы в холодных коридорах было
Мы сделали чуть-чуть иначе — кулеры размещены в сквозном коридоре, что их защищает от дождя и птичьих бомбардировок.
С обоих сторонах вентиляторы для выдувания горячего воздуха из кондиционера. Используется стандартная схема N+1 (то есть стоит простаивающая хотспара). Кондиционеры Lessar.
Оно же, крупным планом:
Электричеcтво
Что важнее для дата-центра — электричество или интернет?
3 мегаватта мощности. Разумеется, бесперебойники и дизель-генераторы. Наверное, тут следовало бы рассказать много интересного про электричество, но это не моя стихия. Скажу только, что в помещения электрического хозяйства меня, например, не пускают (нет нужного доступа — там шесть киловольт). Два ввода обслуживаются 4мя трансформаторами, к щитам идёт 380 вольт, ко всей технике уже идёт обычные 220.
Обратите внимание на батарею — в то время, когда вся цивилизованная серверная охлаждается, контейнер с генератором отапливается. Шторки (горизонтальные металлические планки) автоматические, открываются одновременно с включением генератора.
Генераторов — 4 шт. Три размещены на улице, один, на всякий самый крайний случай, в здании (в отдельном помещении с отдельной вентиляцией, разумеется). Пуск автоматический.
Периодически (примерно раз в месяц) их включают для проверки, по своим впечатлениям могу сказать, что сожжённая солярка на несколько мегаватт пахнет не сильно хорошо.
Немного о дизель-генераторах (я подошёл к техническому директору за подробностями) — у каждого дизель-генератора два стартера, собственные бесперебойники для запуска (аж две штуки).
Снизу можно как раз одну из этих батарей увидеть:
На время, пока генераторы включаются, разумеется, есть источники бесперебойного питания. Находятся они в отдельном помещении. Это промышленные упсы General Electric, собранные в 4 кластера (плюс традиционная хотспара).
Связь
Что важнее для дата-центра — электричество или интернет? На самом деле, «интернет» это слишком узкое понятие для ДЦ, для него важна связность. Далеко не все линки, выходящие из дата-центра являются интернетом, многие из них — приватные сети, серые волокна, объединяющие отдельные сервера в единую конструкцию и т.д.
Все ДЦ Селектела имеют линки друг с другом через нашу оптику. (Карта прохождения линков: selectel.ru/services/rentvols/)
Святая святых, узел связи:
Разумеется, есть прямые линки до мест максимальной концентрации интернета в городе — Боровая, 57 и Большая Морская, 18. Кроме того, в ДЦ присутствует несколько операторов — RunNet, Retn.Net, Мегафон, ОБИТ, Раском, МТС, Комстар-ОТС. Входов оптики в здание два — через колодец и по воздуху (резервная линия).
Пожары и их тушение
Основным средством тушения пожаров, как бы ни было странно, являются огнетушители и видео-наблюдение. Если же это не поможет, то есть тяжёлая артиллерия — газовая система пожаротушения.
Охрана
Разумеется, есть. Около 100 камер видео-наблюдения, табельное оружие. Проход по RFID-меткам (карточки).
Часть камер используется для наблюдения не за безопасностью, а для наблюдения за оборудованием. Разумеется, всё пишется в архив.
комментарии (84)
Ну и пробные запуски проводят не реже раза в месяц, это если все по науке делать.
Топливо получается проведением химических реакций, в которых используются катализаторы, часть катализатора может попадать в продукты реакции и приводить к тому, что реакция будет медленно идти дальше. Именно это происходит с нестабилизированным полиэтиленом — на солнце он продолжает полимеризацию и становится хрупким, в результате рвется как бумага.
Проблема с застаревшим топливом для нас достаточно абстрактна, так как хранящееся в баках топливо не доживает до 5 лет и сгорает гораздо раньше, все-таки отключения центральной сети происходят часто, а расход у таких ДГУ высокий (100-400 литров в час, в зависимости от мощности).
Возможно, в вашем случае это не приводит ни к каким отрицательным последствиям, но важно помнить, что такая проблема есть.
Вы не могли бы назвать примерно, как часто бывают отключения и как долго они длятся? Это интересно, потому что все привыкли оценивать по отключениям в жилом фонде, а есть подозрение, что к электроснабжению населения энергетики подходят более трепетно.
Про Технодом не скажу, на цветочной свет мигает (всё, кроме аварийного освещения в офисных зданиях мимо упсов/дизелей работает) примерно раз в месяц. Крупные аварии редко. Помню, мы с интересом читали про аварию, когда весь Московский р-н отключали (нас тоже). За вычетом неработающей кофе-машины никто не пострадал.
У Яндекс так же в их ДЦ:
А еще клиенты-то есть?
Стойки операторов вообще в другом помещении, другие стены, другое СКС и, судя по кондиционеру сверху, другое охлаждение. За что так нас ненавидите?
По поводу «За что так нас ненавидите?» — вопрос непонятен.
На первой фотграфии — есть свич или циска или что-то подобное.
На второй фотографии — цифры на двух стойках, на первой нет
На третьей фотографии — у вытяжки немного неровно прикреплено потолочное покрытие.
Кстати, вторая и третья фотка — это один и тот же коридор.
Означает ли это, что у нас нет камер видео-наблюдения?
За их деньги, хоть IBM'овские табуляторы.
Ваш ответ я понял, спасибо! Не спросил бы я, спросил бы кто-нибудь еще.
Я не вижу ИБП под серверами. Т.е., при пропадании городского ввода, все сервера перезагружаются или выключаются до времени завода ДГУ?
Фотография упсов же приложена.
А логику с «своими упсами» я не знаю. Возможно, кому-то проще по стандартному регламену поставить свой и не думать.
Спасибо, а то уж испугался, что все перезагружается.
Для случаев, когда «виснет» ipmi. Приходится удаленно отправлять операционную систему в ребут и дергать питание на порту бесперебойника
Либо для случаев, когда сервер «завис намертво», на Ctrl+Alt+Del не реагирует и на борту нет ipmi
К серверам на фото в данном случае как раз ИБП не видать. Два ИБП поддерживают циско-свитч (у него 2 блока питания).
Хотя если в стойке стоит обычный PDU, то вариант с ИБП имеет место быть.
Не планируете повесить? Будет КПД больше, меньше питания, лучше охлаждение.
Большие клиенты, как ваши, любят заботу и советы, рекомендую попробовать предложить шторки.
Для обычных клиентов (когда рядами и стойками большей частью заняты мы), разумеется, регуляция потоков осуществлятся. Но об этом в следующих постах про следующие ДЦ.
1. Расскажите, что у вас есть отличные, надежные, промышленные ИБП и что клиенские два только увеличивают вероятность отказа, усложняют администрирование и увеличивают стоимость.
2. Дайте доступ к своим видеокамерам, датчикам температур, влажности и т.д., чтобы они не вешали свои. Вам же не сложно, а клиенту будет удобно.
3. Расскажите о трендах и снижении затрат на питание, продление срока службы охладительного оборудования, уменьшение PUE, да и просто об экологии планеты Земля и разделении горячего и холодного коридора без дыр.
???
Клиент увидит в вас профессионалов.
Я на фото, в посте и комментариях увидел какой-то каменный век по сервису и отношению. В посте Билайн про свой ЦОД для себя в Ярославле они толкуют и про динамические ИБП, и про независимость каждой изолированной части ЦОД, и обещают PEU 1,3. При этом все технологии уже на рынке не первый год.
Моё личное мнение. Никого не хотел обидеть. Уважаю вас и ваших клиентов. Желаю успехов и развития Интернету на пользу.
2) Это первый ДЦ Селектел. В следующих оно куда более красивое. Постить решили в хронологическом порядке.
Вопрос, почти не по теме — когда можно ожидать возможности создавать новые виртуальные сервера?
…
Почему о местонахождении данного сервера знает кто-то кроме начальника СБ?!
б) я, например, не знаю.
Внезапно, сюрприз, на Цветочной больше одного поста охраны — вы видели пост только на входе. За эти пол-часа вы могли поцарапать нам стол, сломать проектор (тогда он ещё на столе был, сейчас под потолок повесили), выковырять батарейку из мышки, сломать ethernet-розетки в guest vlan. Ну, что там ещё можно сломать?
Вы к серверам близко не были. А насчёт того, что пустили в переговорку на собеседование без сурового досмотра — см. байку про солонки.
p.s.: При мне там какие-то закупки обсуждали. Особо не слушал — не до этого было. Правда, думаю, особо серьезное все равно там бы не обсуждали
Ты не тестером случайно шел? =)
Не, не тестером.
Учусь на ИБ, поэтому обратил на это внимание.
По моему опыту хабр не любит разговоров не по делу.
А закупки — пример обсуждений, которые было бы неплохо защитить от посторонних.
Согласен, лучшая защита это нападение. Но если Вы обратите внимание, то я и в первом ироничном комментарии говорил «Ты» и даже повторил два раза.
А еще в Вашем ответе, я почувствовал обиду, и теперь считаю, что Ваши минусы заслужены.
Не просите объяснить почему, называйте это интуицией. Спасибо.
И извините, за откровенность.
К сожалению, продолжить обсуждение возникшей у вас проблемы я не могу, т.к. мы не можем раскрывать данные клиента без его согласия.
Бывал в нескольких датацентрах, картина везде такая :)