Привет, Хабр! На связи Сережа Королев, инженер департамента инфраструктурных решений и сервисов КРОК. Почти весь 2023 год я провел в наших лабораториях, занимаясь тестированием различного оборудования. Западные вендоры ушли с рынка, и им на замену появилось огромное количество альтернатив отечественного и азиатского производства. И нам нужно было все изучить и проверить на прочность. 

В течение года (в перерывах между тестами и написанием отчетов) я рассказывал на Хабре о своем опыте тестирования серверов и СХД. А сегодня я хочу пригласить вас на импровизированную «экскурсию» по лаборатории. Расскажу и покажу, как и по каким методологиям мы в КРОК тестируем различные инфраструктурные решения. Все подробности – под катом!

В своем последнем отчете AFCOM (Association For Computer Operations Management) отмечают, что стремительное развитие искусственного интеллекта и широкое распространение цифровых сервисов стимулируют спрос на инновационные технологии в области проектирования ЦОД. Однако в ходе проведения исследования в AFCOM пришли к выводу, что хотя индустрия дата-центров и переживает «бум в области проектирования и строительства инфраструктуры», вместе с тем возникают и новые проблемы в таких ключевых аспектах, как энергопотребление, охлаждение и реализация целей устойчивого развития.

Команда редакции Хабра КРОК подготовила для вас перевод ключевых трендов из отчета AFCOM. Читайте под катом!

Крупное производство с несколькими заводами на разных участках. Техпроцесс зависит от работы систем связи, а на них АСУ ТП и промышленное видеонаблюдение за станками и опасными участками. Если хотя бы одна рация на участке не работает — работать нельзя. Работать с СКС/ЛВС в колодцах, погружаясь на большую глубину, ремонтировать системы видеонаблюдения в строительных люльках на высоте выше 10 метров, работать под напряжением до 1000 В — всё это на заводе рутина.

На производстве есть своя команда из 50 человек, разбитая по площадкам. Условно, на каждой площадке есть несколько ролей, и они работают сменами с покрытием 24/7, то есть каждый инженер работает только процентов 10–15 времени, а остальное время дежурит удалённо и «плюёт в потолок» осуществляет проактивный мониторинг. Производство решает перейти от модели постоянных дежурств к профилактике и быстрым выездам: по их расчёту, тогда будут незакрыты только риски массовых аварий на разных площадках, а всё остальное окупается за счёт экономии при большей утилизации времени команды.

Это всё планируется отдать в аутсорсное управление интегратору, потому что сам завод умеет отлично делать свои изделия, но не является сервисной ИТ-компанией. Играется тендер, одно из условий которого — принять на 3-летний контракт старую команду, которая уже этим занималась по местам.

Мы побеждаем, принимаем старую команду, нам передают дела — и начинается жесть.

Сейчас прошло два года, и я уже могу более-менее рассказывать, почему вам никогда не стоит повторять такие незабываемые приключения.

Хабр, пРевит! Мы с @KirillYakimenko из команды спасателей BIM-сопровождения проектов департамента инженерных и мультимедийных систем КРОК. Наша задача — ломать себе голову и придумывать решения во имя спокойной жизни проектной команды. Как, наверное, и многие, мы постоянно придумывали и обновляли различные варианты шаблонов, решений внутри этих шаблонов, семейств и подходов по ведению проектов, развивали ФОП и т.д. и т.п. Но в определённый момент мы решили остановиться и подумать — а тем ли мы занимаемся и на то ли мы тратим наше драгоценное время, когда есть «живые» шаблоны ADSK?...

Дальше расскажем, какие шаги по адаптации шаблонов сделали мы, для чего, почему и как. Возможно, наш опыт покажется полезным, особенно если вы только начинаете путь по освоению и внедрению Revit и BIM технологии в целом. 

В последнее время мы много работаем с регионами, проектируем и строим дата-центры от Краснодара до Крайнего Севера. И каждый раз интересно наблюдать, насколько там другие — по сравнению с Москвой — отношения.

Вот, возьмем, к примеру, Магнитогорск (здесь и далее впечатления личные). Там люди с понятиями. Если сказали, что сделают, то точно сделают в срок. При этом многие вещи решаются на слово. Народ очень вежливый, адекватный, спокойный. Без торгашества: не ждешь, что тебя нагреют. Когда мы собирались в Магнитогорск, нам говорили — да там 90-е, криминал. Ничего такого. Культурный спокойный город. 

И да, в Магнитогорске мы тоже строили ЦОД. Расскажу, как это было, и чем ещё запомнилась Магнитка. 

Как-то на кофе-брейке один из сотрудников спросил инженеров по автоматизации: «Что из рабочего опыта вы реализовали для удобства в своей квартире?». К его большому удивлению, самым популярным ответом оказалось «ничего», а на втором и последнем месте был «датчик движения для света». Вроде бы парадокс на тему «сапожника без сапог», но на самом деле любой из автоматчиков умеет отличать профессиональное заболевание («а не замутить ли сенсорный кран в туалете, прикольно же») от настоящей потребности.

Другой вопрос, если речь идёт об удобстве эксплуатации чего-нибудь побольше, чем дачный домик, да еще и чтоб инженерных систем было много. Если этажей больше одного, а помещений хотя бы десятка два, то для бесперебойного и безаварийного обслуживания такого здания приходится содержать целый взвод дяденек. В плохие дни они будут бегать со стремянкой, ругательствами и отверткой и прикладывать все силы, чтобы клиенты не заметили протекающий унитаз или погасший светильник. В спокойные дни они будут играть в Counter-Strike, а вам — если вы вдруг директор — будет казаться, что вы зря платите им деньги.

Если кто думает, что такой работы уже не осталось, так я сам в аналогичном месте имел третье место в общем зачёте за терроров. А если вы вдруг директор, ваши деньги вам дороги, а траффик от игрушек валит работу офисной почты, то наличие автоматики инженерных систем — это неиллюзорная возможность сократить персонал до 2 человек и одного монитора, хотя и большого, не меньше, чем на 50 дюймов.

Этот модульный ЦОД мы построили меньше, чем за три месяца. В первых числах ноября начали монтаж на площадке, а в конце декабря уже сдали его в эксплуатацию. 

В общих чертах запрос от заказчика именно таким и был: очень быстро нарастить вычислительные мощности под свой ИТ-проект там, где дополнительного места совсем нет. Решено было построить модульный ЦОД. И сделать это недорого. Спустя год готов рассказать, как это было. Как мы делали полную предварительную сборку и разборку ЦОДа на площадке в Сибири. Как поливали его водой из мойки “Керхер” и разогревали, как духовку. 

Заодно поделюсь нашим опытом обхода граблей при строительстве модульных дата-центров. А также расскажу о некоторых граблях, на которые мы все-таки наступили, но в каске.

1. Двигаться по складу без помощи оператора.
2. Считывать штрихкоды или QR-коды паллет и надписи около них.
3. Превращать это в данные инвентаризации и передавать в WMS в итоге.

Как-то к нам пришел один прогрессивный заказчик из города N, что в средней полосе России, и сказал: «Хотим чтобы дата-центр на 100% фрикулинге работал круглый год. Можете посчитать, это реально вообще? И если да, какая технология вам видится наиболее логичной?». Мы с холодильщиком воодушевились, ибо не каждый день тебе предлагают поработать над таким нетривиальным для средней полосы России проектом, и начали считать. Под катом много цифр и теории по части охлаждения дата-центров.