Как строился дата-центр в сейсмоопасном регионе (этот разрушится последним в городе, если что)

    Обычная защита в сейсмоопасном регионе — такая конструкция, чтобы здание качалось, но не поубивало тех, кто встал в капитальные проёмы. Заказчик (в стране с частыми землетрясениями) рассматривал дата-центр как средство резерва на случай больших проблем при стихийных бедствиях, поэтому хотел не только спасти персонал, но и сервера и всё остальное. Потому что приостанавливать некоторые сервисы типа международного банкинга или контроля железных дорог — беда национального масштаба.

    Поэтому мы решили поставить дата-центр на «пружины», изолировав его от земли.



    Точнее, модель выглядит так: есть большой бассейн, в него налита вода, а там, как уточка, плавает дата-центр. Только вместо воды будут специальные сейсмоизолирующие опоры, которые и поведут себя подобно маловязкой жидкости. Вот один из таких элементов:



    Если собрать из них кластер, то получится как раз почти жидкость.

    Такой тип сейсмозащиты с подвижными опорами давно известен, но массово его не используют — дорого. В стране, где мы работали, ЦОДов-то строят не много, а в применении такой технологии, тем более для дата-центра, опыта практически нет. Поэтому нам надо было как-то протестировать всё это до начала работ. Настоящего землетрясения надо ждать довольно долго, и потому — дело за проверкой отдельных частей сооружения.

    Итак, предполагается, что подвижная опора сильно уменьшает нагрузки, что предупреждает деформацию конструкций здания:



    Важный вопрос был — насколько всё это нежно сработает. Потому что внутри — ИТ-оборудование, и оно стоит в несколько раз больше, чем само здание с территорией, а информация на нём вертится ещё на порядки дороже оборудования. Такую информацию сохранять очень критично.


    Доставка и монтаж ДДИБП Hitec

    В итоге пришли к тому, что, благодаря использованию сейсмоизоляторов, мы выполняем требования заказчика и уменьшаем нагрузки на здание при землетрясении в 10 раз. Это нежнее, чем вы кладёте ребёнка в люльку. И даже нежнее, чем вы вынимаете процессор за тысячу долларов из материнской платы.

    Сейсмоизоляторы тестировались на вибростендах. По результатам этих испытаний и на основании архитектурного и строительного дизайна известная инженерная компания ARUP сделала независимую оценку наших документов. Они подтвердили, что заявленные требования к сейсмоустойчивости и продолжению функционирования объекта выполняются.



    Сам тест: изолятор устанавливают на вибростол, нагружают, как на реальном здании, и смотрят, выдержит ли он амплитуду и усилия сдвига, которые предполагаются по MCE (Maximum Considered Earthquake).

    MCE и проект


    При расчёте реакции этого здания на сейсмические воздействия использовался специфический показатель MCE, потому что он лучше характеризует реальные нагрузки. Согласно этому параметру, ЦОД должен выдержать самое крупное землетрясение, которое в принципе может произойти в данной точке за ближайшие 2500 лет. Именно с такими расчётами мы и строили здание — и да, если город (в 30 километрах от ЦОДа) разрушится полностью, наш ЦОД продолжит работать (хотя, скорее всего, придётся подвозить топливо — электрический кабель может перебить). Говоря языком стандартов, это “Operational” Level при Maximum considered Earthquake по FEMA 356.

    Связь сделана сейчас по нескольким независимым лучам — в стране есть практика быстрого (час-два) перекидывания трассы после землетрясений, плюс для критичных вещей есть возможность поставить on-Air-решения, включая спутниковые.

    Ещё одна особенность проекта — мы не старались облегчить дата-центр. С одной стороны, мы были зажаты противопожарными нормами данной локали, а с другой, конечно же, старались использовать минимум материалов для оптимизации расходов. И именно поэтому никаких космических сплавов в дата-центре нет, просто снизу стоят те самые виброопоры.

    Вот, смотрите: бетонная плита — это та самая штука, которая «плавает» в «бассейне» на виброопорах:



    А вот единичная опора:



    Строили по проекту, естественно, не мы лично. На нас был HLD-проект, контроль над LLD-проектом (это реализация конкретных узлов, например), авторский надзор, приёмка и испытания. Строили местные строители. Мы, кстати, помогли заказчику значительно оптимизировать расходы: углубили BIM-модель до состояния между LoD-300 и LoD-400 и просто показывали её строителям каждый раз на переговорах. Они очень быстро поняли, что перезакладывают бюджет и объёмы. Недовольства было много, но мы отстояли ключевые моменты.

    Практика в России


    Мы можем построить такой дата-центр и в России. Вот регионы, где это наиболее целесообразно:



    Итог


    • 16 мегаватт потребления.
    • Чуть больше 15 тысяч квадратных метров помещений.
    • 8 машзалов, итого 2112 стоек, до 30 кВт на стойку.
    • Tier III certified by Uptime Institute (пока проект, идёт сертификация как объекта).
    • Два независимых луча питания городской сети, 2N-питание.
    • N+1 охлаждение (гликоль 20%).
    • 24-часовой запас топлива, можно грузить больше, обычная загрузка чуть меньше 72 часов, запас дизельного топлива и 4 внешних бака по 60 кубов.
    • Сейсмическая изоляция для ЦОДа и инфраструктуры, одноэтажный ЦОД с двухэтажным АБК.
    • Чистая крыша — никаких жидкостей над ИТ-оборудованием, над машзалом кровля, под ней ещё слой гидроизоляции.
    • Защита от затопления.
    • Выделенная зона для подземных топливных баков на безопасном удалении.
    • Усиленная физическая безопасность — досмотровые зоны для автомобилей и людей, высокий забор, видеонаблюдение и круглосуточная охрана.

    Отдельно отмечу систему охлаждения с очень высокой эффективностью. Это наша собственная разработка, созданная четыре года назад. Среднегодовое значение PUE составляет 1,25–1,3 на высокоэффективных чиллерах, пиковое — менее 1,5. Подобных результатов удалось добиться путём глубокой оптимизации классической системы охлаждения схемы «чиллер-фанкойл». Бесперебойное питание ЦОДа было построено на оборудовании Hitec, их мощные машины хорошо зарекомендовали себя на многих наших проектах. В результате в этом сейсмоустойчивом ЦОДе будут инсталлированы 24 машины — по 1670 кВА каждая.

    Моя почта PVashkevitch@croc.ru
    КРОК 237,06
    №1 по ИТ-услугам в России
    Поделиться публикацией
    Комментарии 29
    • 0
      Спасибо! Интересно почитать!
      • +14
        Про опоры что-то совсем не рассказали: что они из себя представляют? какую нагрузку способны нести? какой у них срок службы? Как заменяются/обслуживаются? и прочие подробности.
        • +4
          1. Полностью стальная конструкция (см. изображение) с полимерным антифрикционным покрытием.

          2. Точно нагрузку не скажу (нет спецификаций под рукой), примерно 500 тонн на 1 опору. На разные опоры нагрузка разная, но порядок такой.

          3. Срок службы равен сроку службы здания, но, конечно, зависит от интенсивности землетрясений. Если землетрясений не будет вовсе, то переживут наш обьект. Если тряхнет с максимальной расчетной силой, то потребуется инспекция и, возможно, замена. Гарантия 15 лет без каких либо профилактических работ. Требуется только контролировать целостность эластичных уплотнителей, защищающих внутренности от грязи (это простейшая резиновая сменяемая мембрана)

          4. Заменяются только с частичным разрушением опорных конструкций. Т.е. в принципе возможно, но в реальности не требуется и никто этим заниматься не планирует
          • +2
            Спасибо.
            Правильно ли я трактую чертеж: за то, чтобы вернуть верхнюю плоскость на место отвечает ~10-12" слайдер в центре конструкции? Или его посадочное место (articulated slider) тоже является подвижным внутри внешней «раковины»? На какое примерно расстояние допускает горизонтальное смещение эта конструкция?
            • +2
              1. За возвращение отвечает вогнутые профили скользящих поверхностей и гравитация.
              2. Все подвижно. Наружная обойма не подвижна. Внутренняя подвижна относительно наружной, слайдер подвижен внутри внутренней.
              3. Смещение до метра, в любую сторону.
            • 0
              А как будет осуществляться замена этих блоков под установленными плитами?
              • 0
                Частичным разрушением опор — это если штучно. Если много менять, то здание можно вывесить на домкратах. Но это теоретически. Практически — на это серьезно не закладываются. Опоры должны разрушиться последними. Т.е. если они сломались, то здание уже в руинах.
            • +1
              Вот вот, про самое интересное и умолчали.
              • 0
                Вероятно резино-металлическая опора с опорным свинцовым сердечником.
                raee.su/File/SSBS_2014-03_p18-21.pdf
                ppt-online.org/46262
                iskik.elcos-design.ru/info/ciss/lssims/93
                image
                image
                P.S. пока искал картинки, ответили.
              • 0
                Вот еще хорошая статья от каябы: www.drive2.ru/o/b/472248491540742467
                • +3
                  интересно, но не понятно, как на эти опоры осуществляется монтаж основы здания,

                  расстояние между опорами — не маленькое, как понимают, бетонные плиты от вибраций «порвутся» на стыках и развалятся, создается металлическая платформа с ребрами жесткости чтобы не прогнулась под десятками тонн (наверное) веса здания?..

                  самое интересное не раскрыто, если, конечно, это не секрет фирмы :)
                  • +2
                    Плита считается на эти нагрузки. В этом основная работа ребят из ARUP состояла в том числе — контроль верности расчетных нагрузок и предлагаемой конструкции. Например, они настояли на резьбовом равнопрочном соединении арматуры (ее размер 32 мм). Резьба там не простая, сертифицированные муфты пришлось везти из США. В Турции таких не нашлось. Т.е. арматура фактически сплошная на всю ширину здания. Армирование очень серьезное. Бетон тоже не простой. Отгружать бетон такого качества и с таким жестким контролем (а это десятки тысяч тонн) согласился только один завод в этом регионе. В отливаемые конструкции внедрялись температурные датчики, которыми контролировалась температурная динамика отливки по всей глубине. Использовался бетон, аналогичный нашим М800-М1000
                  • +1

                    Очень интересно.
                    А насколько "защищённое" здание получается дороже аналогичного "незащищённого"?

                    • +2
                      В среднем, примерно на 20-25%. Но это довольно индивидуальная величина в зависимости от параметров и назначения здания. Думаю, что возможный диапазон увеличения стоимости 10-30% – это на круг для всего проекта. Если же говорить только по архитектурно-строительной (без инженерии и другой технологии) части, то увеличение на 40-70% вполне реально.
                    • 0
                      От Hitec установили DRUPS-ы? Если да, то можно было бы вскользь упомянуть, что этот подход помогает исключить классические UPS-rooms и головную боль с ними ассоциированную
                      • 0
                        Да. У нас есть многолетний положительный опыт по использованию этих машин в наших собственных ЦОДах в России. КРОК был первой Российской компанией, запустившей в работу оборудование Hitec в нашей стране. В России у нас есть 3 собственных ЦОДа, мощностью от 600 кВА до 8 МВА. Средний из них (2 МВА) как раз собран на Hitec. Есть что с чем сравнивать. По многим аспектам ДДИБП для нас являются предпочтительными. В ближайшее время (опять же первыми в России) нам предстоит плановая замена подшипников накопителя — посмотрим, не изменится ли наше мнение о технологии после этой процедуры. Пока нас все устраивает. Свои ЦОДы проектируем на этом оборудовании и заказчикам тоже смело рекомендуем. Нужно понимать, что мы не только проектируем и продаем это оборудование, но и сами его эксплуатируем, в том числе на своих собственных объектах. Поэтому вправе давать объективную оценку. По классическим системам тоже все не плохо, но ДДИБП по комплексу параметров нас устраивают больше.
                        • +1
                          У дизель-динамических систем есть свои особенности и фишки… Производители часто забывают упомянуть про охлаждение в режиме работы от сети. А начинаешь считать вентустановку для обеспечения работы и все необходимые воздуховоды — волосы дыбом встают. А 97% КПД на полной нагрузке у ДРИБП — легко превращаются в 90-92% при половинной нагрузке. (про КПД могу много рассказывать… там куча хитростей и умолчаний у всех производителей).
                          Часто, говоря про то, что не нужно менять аккумуляторы, производители ДРИБП как бы невзначай упускают четыре нехилых стартерных аккумулятора со сроком службы 2-5 лет и кинетический модуль со сроком службы 8-10 лет. А резервный ДГУ можно закопать в подвал на 30-40 лет…
                          В общем, считать, считать и считать. А для классики сейчас появились литий-ионные батарейки с заявляемым сроком службы 30 лет, компактные и легкие.
                          Я это все к тому, что правильный UPS-room головную боль вызывать не умеет. Как и любое правильное инженерное решение. И если накосячить при проектировании и монтаже, на ДРИБП можно получить радостей на всю жизнь. А еще ДДИБП, чисто формально, ферро-резонансный офф-лайн (некоторые модели можно натянуть на линейно-интерактивность, но диапазон напряжений без перехода на дизель — очень узкий). А у ферро-резонансных схем есть свои особенности и косяки, которые нужно не забыть учесть при проектировании.
                          И да, почти всегда ДГУ+ИБП с соответствующей щитовухой занимает не больше места, чем ДРИБП, а стоит дешевле.
                          И да, все выше сказанное, это просто немного наблюдений за жизнью. И вывод, он простой, но длинный: Нужно анализировать сценарии, запрашивать стоимость ТО и годовой расход топлива на обслуживание, смотреть на стоимость полного решения со всеми системами вентиляции и кондиционирования, помещениями и сопутствующей щитовухой, смотреть КПД на нагрузке, которая у вас реально будет. И в результате — иногда лучше ДРИБП, иногда — ДГУ+ИБП, иногда — вообще просто стабилизатор напряжения.
                        • +1
                          А как насчет вертикально (ну или значительно диагонально) направленных толчков?
                          • +3
                            Здание выдержит все, что вероятно по критерию MCE. Но вертикальную составляющую компенсировать не сможем, поэтому IT-оборудование может пострадать. В то же время вероятность того, что эпицентр будет совсем близко к DC мала. К сожалению, полностью универсального решения за разумные деньги нет. Как вариант — плавучий ЦОД (на барже). Но там свои проблемы возможны — может утонуть нечаянно, например. Защита от землетрясений, как, например, и молниезащита, носит вероятностный характер. Можно снизить вероятность критических повреждений до разумного (приемлемого) уровня, но 100% гарантию дать нельзя.
                          • +3
                            Есть ещё интересный вопрос коммуникаций. Если здание сдвинется на метр, то трубы явно не выдержат. Вопрос решается шлангами для воды\канализации? Резиновые шланги имеют свойство дубеть и трескаться. Эту часть как часто придётся обслуживать?
                            • +1
                              Для разных систем — разные решения. Гибкие кабели U-образной формы, металлические гофрированные гибкие рукава для части жидкостей. Специальные шарнирные сочленения для высоконапорных труб.
                            • 0
                              А стоят ли на подвижных опорах баки с горючим для независимого питания?
                              • 0
                                Расходные да. Большой емкости закопаны в индивидуальных бетонных саркофагах и подключены гибкими двустенными трубами.
                              • +1
                                Мы можем построить такой дата-центр и в России. Вот регионы, где это наиболее целесообразно:

                                Сижу и представляю целесообразность строить Дата центр в наиболее сейсмоопасных районах. При огромном наличии альтернатив. Хотя я даже знаю кому это было бы интересно.

                                • 0
                                  С альтернативами беда — скорость света пока превысить не получается. Где альтернатива дата-центру в Петропавловске-Камчатском? Сколько пинга эта альтернатива добавит?
                                  • 0
                                    Мне просто интересно, зачем строить дата центра на полуострове, пара милисекунд стоит этого? Что может быть за необходимость строить именно там?
                                    • +1

                                      Например, принятие закона о хранении персональных данных жителей Камчатки на территории Камчатки :) Да и не пара милисекунд там, почти 1000 км по прямой вообще до ближайшего "центра цивилизации" с не факт, что с заметно меньшей сейсмичностью. Это даже в теории 6 мс лишних, по факту будет больше (кабель по прямой вряд ли бросят, плюс коммутация). Да и ближайшие крупные дата-центры российские расположены вроде в Хабаровсе и Владивостоке (которые в целом тоже сейсмоопасны, пускай и не так сильно), это 1700-2300 км, то есть в идеале 15 мс задержки, а по факту пинги по России 500мс и более, если ничего не изменилось за последние годы (в новостях не встречалось, что кабель проложили, значит всё ещё спутник).


                                      На Камчатке есть свои хостинги, но скорее к ним можно применить слова "серверная оператора/провайдера", чем "дата-центр". И вряд ли они расположены в зданиях с особой сейсмозащитой, скорее при достаточном сильном толчке вероятность разрушения здания близка к остальным зданиям, а вот аппаратура выйдет из строя при значительно меньших амплитудах. И это может, в частности, спровоцировать панику.

                                • +2
                                  Какое из известных землетрясений в итоге выдержало бы, при разумных допущениях по расстоянию до эпицентра?
                                  • 0
                                    Любое, из когда-либо наблюдавшихся в этом регионе. Измитское землетрясение, например. 17.08.1999

                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                  Самое читаемое