Посвящаю этот пост тем людям, которые врали в сертификатах, из-за чего мы чуть было не установили у нас в залах бенгальские огни.

Истории больше четырёх лет, но публикую сейчас, потому что закончился NDA. Тогда мы поняли, что загрузили дата-центр (который сдаём в аренду) почти полностью, а энергоэффективность у него что-то не очень улучшилась. Раньше гипотеза была в том, что чем сильнее мы его заполняем, тем лучше, потому что инженерка распределяется на всех. Но оказалось, что мы себя в этом плане обманывали, и при хорошей загрузке где-то были потери. Работали мы по многим направлениям, но наша отважная команда занялась охлаждением.

Реальная жизнь дата-центра — это немного не то, что в проекте. Постоянные докручивания от службы эксплуатации для повышения эффективности и оптимизация настроек под новые задачи. Вот взять мифическую среднюю стойку. На практике её не бывает, по нагрузке распределение неравномерное, где-то густо, где-то пусто. Вот и пришлось кое-что перенастроить для лучшей энергоэффективности.

Наш дата-центр Компрессор нужен для самых разных заказчиков. Поэтому там посреди обычных двух–четырёхкиловаттных стоек может оказаться вполне себе 23-киловаттная или больше. Соответственно кондиционеры были настроены на то, чтобы охлаждать их, и через менее мощные стойки воздух просто проносился мимо.

Вторая гипотеза была в том, что тёплый и холодный коридоры не смешиваются. После замеров могу сказать, что это иллюзия, и настоящая аэродинамика отличается от модели примерно всем.

У нас есть умные ключницы, которые хранят и отдают ключ тому, кто:

1. Пройдёт идентификацию по распознаванию лица или по личной RFID-карте.
2. Дыхнёт в отверстие и окажется трезвым.
3. Имеет права на конкретный ключ или ключи из набора.

Вокруг них уже появилось много слухов и недопонимания, поэтому спешу развеять основные с помощью тестов. Итак, самое важное:

• Можно обмануть алкотестер с помощью клизмы.
• Можно взломать её ломом и вытащить нужный ключ с помощью троса и автомобиля (либо проволоки и того же лома).
• Она открывается после разных медикаментов и кефира (опьянение считается по выдыхаемым парам спирта, например, после настойки пустырника).
• Да, её можно использовать на объектах с перебоями электричества, она имеет аккумулятор и запирается без питания.

А теперь — детали.

Довольно долго история с ВКС очень напоминала какие-то археологические процессы. Людям «с улицы» довольно тяжело объяснить хотя бы то, зачем нужно покупать сервера для видеоконференцсвязи и какие там сложности внутри организации. Вкратце:

• Крупные компании любят общаться по видео, причём массово.
• Они же не любят пускать трафик через любые нешифрованные каналы.
• Лучше всего, если трафик идёт по своей физической корпоративной сети, не заглядывая в Интернет.
• Все устройства обработки видеосигнала и его передачи должны быть локальными.
• На один узел приходит обычно от 10 до 50 видеопотоков (по количеству участников конференции), поэтому нужны промежуточные сервера, которые будут склеивать из них один поток или микшировать как-то иначе.
• Нужно поддерживать зоопарк устройств и вендоров плюс подключать людей с мобильных телефонов и планшетов.
• У каждого вендора — свои стандарты, и не поддерживать друг друга — коммерческая позиция.

Сильно легче стало после виртуализации ВКС: в частности, появился Cisco Meeting Server, совместимый не только с Циской, но и со всем, что есть на рынке, кроме особо древних моделей.

Пример монтажа на стадионе ЦСКА

Итальянские и английские футбольные фанаты считались самыми агрессивными. Но теперь они дома не бузят. Почему? Потому что их лишают пожизненно права посещения стадионов. Поэтому они бузят на евро, на ЧМ, во Франции. У нас тоже начинается такое: особо эмоциональные фанаты легко могут словить запрет на посещение арены на достаточно продолжительный срок.

Начну с того, что если вы набедокурите, то сотрудники безопасности стадиона заботливо занесут ваши биометрические данные лица в систему видеонаблюдения согласно законному решению суда. Когда вы в следующий раз появитесь на стадионе, вас уверенно распознают и сообщат об этом сотрудникам безопасности. Вопрос с персональными данными и свободой договора (билет — это договор) решается элегантно: на стадии «набедокурил» на вас просто подают в суд и получают заключение, с которым уже можно действовать дальше.

Вообще, есть два мифа про безопасность на стадионах:

1. Что видеонаблюдение не помогает в предотвращении преступлений.
2. И что биодетекторы — это прошлый век.

Промышленное предприятие объединяет несколько заводов, между которыми ходит довольно много трафика по собственной сети, но иногда к сеансам ВКС нужно подключать и внешних людей вроде госзаказчиков.



Изначально у заказчика была довольно надёжная, но устаревшая ВКС-инфраструктура на Тандберге, которую было решено модернизировать. Плюс стояла задача обеспечить максимальную катастрофоустойчивость на тот случай, если несколько заводских объектов будут внезапно уничтожены.

В инженерной части, конечно, всем. Список отличий примерно такой же, как у паровоза и апельсина. А вот в части интерьера — минимально. Разве что нет фасадов, нет заполнения наружных проёмов, много уникальных дверей из нержавейки. До КРОК я работал в проектной команде Инжпроекта из 25 человек по 4 станциям, уже новым, то есть достаточно ужатым в плане бюджета. Расскажу на примере «Румянцево», где я отвечал за интерьер.

У нас в ИТ-компании образовалась команда архитекторов, и поэтому нам часто задают такие вопросы. Постараюсь ответить на этот и ещё пару частых.

Про метро начнём с того, что сейчас все станции делают уникальными. Раньше, ещё в СССР, были так называемые «сороконожки» (их ещё из-за кафеля на жаргоне называли «туалетными станциями») — их запускали по одной, искали оптимальный вид станции. Даже нашли, но позже пришли к тому, что нужно всё же делать станции различающимися.

По нашей примерной оценке, основанной на 20-летней практике, на земляных работах можно «потерять» до 50-60 % бюджета. На железобетоне и отделке точно 30 %. На ошибках перезаказа при коллизиях стоимость инженерки увеличивается примерно на 10 %. Именно по этой простой причине, когда «злой заказчик» внедряет BIM-модель здания, со всех сторон начинаются дикие крики и стоны.

BIM-контроль сейчас будет на всех госзаказах по новому нормативу, поэтому крики и стоны будут особенно эпичны.


Вот здесь я вижу трассировку всех систем, могу получить точную смету на каждый узел: и при перемещении или добавлении объекта получу обновления сразу во всех проектных и рабочих документах.

Что такое BIM-модель? Это трёхмерная модель здания, где все системы состыкованы и увязаны в одном едином плане. Поставили розетку в комнате — в общей смете тут же появилась новая розетка и соответствующий метраж кабеля. Погрешность такой модели по материалам — 2 %. На бумаге обычно берут запас 15 %, и излишки этого запаса отчаянно «теряются».

Давайте лучше покажу примеры, чем буду рассказывать.

Здесь мог бы быть ваш президент, но сейчас — просто тесты соединения

В сравнении с этой новой штукой от Циски предыдущие архитектуры ВКС реализовывались именно через то место, о котором вы сейчас, возможно, подумали. Чтобы рассказать про глубину проблемы, нужно немного окунуться в историю.

Итак, зачем людям нужны собственные ВКС-линки, когда есть скайп, веб-конференции с видеочатами и всякие другие приблуды? Главный аспект здесь — есть компании, которые никогда не пойдут на то, чтобы гонять трафик через кого-то, кроме себя. Чтобы было ещё понятнее, отмечу, что, например, у судов или у военных в России своя собственная сеть, физически не соединённая с Интернетом. Она ещё и децентрализованная на случай, если уничтожат пару узлов вместе с городами. Ни министерства, ни крупный бизнес не будут доверять чужим серверам и чужим сетям.

Дальше вендоры, видя потребность, начали делать свои ВКС-решения и максимально «привязывать» клиентов к ним проприетарным стеком протоколов, общей парадигмой, совместимостью железа и стандартов и так далее. Результат — появилось около 5–10 «религий», которые затем были слиты в несколько базовых слияниями-поглощениями.

И теперь Циско делает неожиданный поворот, предлагая виртуализованный сервер, который может работать с подавляющим большинством стандартов и — внимание! — может даже ставиться на инфраструктуру «другой религии». Вот про это чудо я и скажу пару слов.

Студия телеприсутствия

Итак, однажды мы выиграли тендер на создание ВКС (видеоконференцсвязи) для одного госзаказчика, эксперты которого должны постоянно взаимодействовать с различными министерствами и ведомствами стран СНГ и не только. Серверное ядро системы должно было находиться в Москве у заказчика. Ещё из важного — два больших зала, переговорки, студия телеприсутствия, персональные терминалы для руководства. В общем, много железа.

Нас часто спрашивают, почему нельзя для видеосвязи обойтись какими-нибудь мессенджерами вроде Скайпа для бизнеса. На примере этого проекта будет очень удобно показать, почему нужны именно собственные туннели и собственное серверное ядро.

Итак, давайте сначала посмотрим на инфраструктуру всего проекта оснащения комплекса зданий по этажам.

Сейчас расскажу про эволюцию устройства, изначально предназначенного для обеспечения питания военных дата-центров по всему миру. Вот такой:


Новое поколение, «бронепоезд» на жаргоне. Справа наша давняя мечта — решётка, чтобы крыс не засасывало.

Технология родилась примерно в тот же период, что и ядерная бомба, поэтому она простая и понятная, как автомат Калашникова. Берём огромный железный волчок, раскручиваем электромотором. После преодоления инерции покоя тяжеленная железка крутится почти без трения. Отрубается питание — железка начинает сама крутить электромотор, который её запускал, и тем самым преобразует свою кинетическую энергию в электрическую некоторое время, пока не остановится. За это время успевает запуститься дизель.

Старые советские ДДИБП, которые стояли на Байконуре, принципиально не отличаются от своих современных аналогов. Те же волчки, те же дизели. Но есть масса полезных нюансов. Вот о них и о том, как вообще эволюционирует такое «кондовое» железо, и поговорим.

Видели вот такие «бочонки» в центре Москвы? Например, конкретно эти устройства стоят при выезде с набережной Яузы на Бульварное кольцо (любой переулок направо) и в районе Покровки (в переулках по обе стороны). И ещё много где. Мы испытывали такие для своей парковки около офиса, и сейчас я расскажу, в чём особенности.




Магнитооптический датчик, проверяющий наличие автомобиля над ним.

Город обычно хочет знать, где свободны парковочные места. Например, в Европе есть даже приложения, которые не только показывают, где и как можно запарковаться, но и, если вы всё делаете правильно, не мешаете другим водителям и заранее бронируете место, дают вам лотерейный билетик на бесплатную парковку (вероятность выигрыша — около 1/10).

В нашем случае всё было прозаичнее. Под парковкой — дата-центр, поэтому монтировать что-то врезное не представлялось возможным, и всё же мы решили вопрос.

Анды, высота 1564 метра, чистейший горный воздух, остро пахнущий соляркой. Голая каменистая площадка, четыре купола и три контейнера — купола для телескопов, а контейнеры поменьше — жилой для сторожа или инженеров, санузел, мастерская размером с санузел, плюс купол для стойки Циски и линейки аккумуляторов ИБП. Вокруг — забор из металлической сетки.

По площадке ходит Карлос, местный житель, и красочно ругается по-испански с индейским акцентом. Карлос сейчас находится в режиме энергосбережения, работы у него нет. Поэтому на автопилоте он собирает все камни в радиусе 30 метров и закладывает ими щели. Например, под забором, чтобы мелкая живность не пролезла.

Судя по тому, что такими же камнями плотно и очень заботливо заложены все колодцы нашей будущей кабельной трассы от энергоблока к куполам, работа предстояла интересная. Как мы уже знали из вводной, протяжку они в гофру положить забыли, и предстоит всё раскапывать.

Простая работа, говорили они. Нужен сисадмин, говорили они. Карлос увидел нас, поздоровался и сразу предупредил на своём ломаном испанском:
— Видишь облака — беги. Если начнётся дождь, всё, совсем конец!

Но акцент мы не разобрали, поэтому его не поняли.

Шли по трассе от Магадана на Якутск, везли комплектующие для одного дата-центра. Холода в этих краях стоят такие, что машины не глушат. Потому что до весны уже не заведёшь. Машины надо ставить в тёплые гаражи или ангары. Мы уже под вечер как раз нашли такой ангар и стали стучать. Открывает сильно поддатый хозяин, такой простой сибирский мужик в ватнике и ушанке:
— Здравствуйте, можно у вас машину поставить?
— Не. Идите отсюда, я вас не знаю!
— Да ладно тебе, мужик, мы же тебе денег дадим.
Мужик вынимает из кармана котлету пятитысячных сантиметров пять толщиной и сообщает:
— Да я те, ик, сам денег дам ща! Вот бухнёшь со мной — тогда поставим.

Обязательства по госконтракту для этого дата-центра мы тогда выполнили.

А вы заходите внутрь, буду дальше рассказывать наши байки. Кстати, да, кто беспокоился за нашу крысу (ещё живую на фотографии в прошлом посте) — хоть ей и прилетело 380 В, но она оклемалась и начала немного ходить. Мы её отпоили сладким чаем и отпустили, убегала она уже весело. Правда, что с ней было дальше, не знаем.

«Чёрт. Запускайте космонавта» — фраза, с которой начинаются наши самые сложные выезды. Помню, на прошлое Рождество примерно так мы и поехали чинить АБХМ одного государственного учреждения. Машина замерзала, а дата-центр от этого грелся. От того, починим или нет, зависело, как пожилые люди по всей стране проведут Новый год (с пенсией или без). Спасли, но работа была ещё та. Потом её рассчитали и начислили. Пенсию.

С тех пор нас и называют космонавтами, потому что работаем в автономке. Минимум половина выездов — это максимум час на комплектацию и неделя где-нибудь там, где вместо Хабра только медведи. И даже деньги ничего не стоят.

Есть такой федеральный закон №188, который гласит достаточно жёсткую (хоть и логичную вещь):

• Если вам нужно купить софт по стандартной процедуре конкурсных закупок
• И если есть ПО, которое соответствует требованиям и при этом произведено в РФ
• То вы не можете выбрать иностранное ПО для такой закупки.

Далее — наши оценочные суждения и прогнозы с комментариями наших же IT-юристов. В первую очередь действие закона коснётся операционных систем (у нас есть много вариантов опенсорс-Linux, завёрнутых уже в оболочку «российской разработки»), продуктов ИБ (благо с этим у нас в стране очень даже неплохо), антивирусов, а также продукции «русских» компаний вроде Parallels, Veeam и Acronis, когда их продукты войдут в реестр отечественного ПО (и если войдут, потому что права на софт во многих случаях оформлены на иностранные компании или офшор — разработчики наши, а права нет).

Сейчас этот закон касается исключительно госучреждений, но его могут распространить и на компании с долей государства, а затем (например, лет через 5 лет) — на весь рынок.

Возможно, именно поэтому госкомпании сейчас ринулись закупать софт до вступления закона в силу — «впрок».

Особенности формирования сигналов (задержек локальных сигналов автоматики) в системе управления, это создает некоторые трудности при расчете наработки.

Суть задачи очень простая: есть много очень дорогого оборудования, которое требует регулярных технических осмотров и своевременного обслуживания. Последние лет десять оборудование обслуживалось, например, раз в полгода, раз в три месяца и так далее, без корреляции со временем фактической наработки. Смысл был в том, что если на оборудовании произойдёт авария, и при этом оборудование по факту наработало срок больший, чем положено до обслуживания — руководитель сядет.

Садиться никто не хотел, поэтому считали с большим запасом. С другой стороны, делать обслуживание чаще, чем нужно – терять лишние средства на ремонте, работе и простоях. Поэтому требовался точный учёт.

На высокотехнологичных производствах один из методов – поставить специальный контроллер на каждый технический объект, требующий учета его наработки. Это достаточно дорого. Есть станки и прочее высокотехнологичное оборудование, которые считают сами, важно просто правильно забирать данные. В нашем случае учет наработки велся вручную, в журнал с помощью механика типа «станок проработал 3 дня плюс-минус 4 часа». В итоге было принято решение подцепиться к управляющему софту и снимать данные с него. Сейчас расскажу, что случилось дальше и какое к этому имеет отношение картинка выше.