74,67
рейтинг
20 декабря 2012 в 11:12

Разное → Восстановление связи после наводнения в Крымске

О наводнении мы узнали глубокой ночью от инженера, следящего за мониторингом. Базовые станции одна за другой показывали сразу каскад аварий (срабатывали чуть ли не все датчики), а потом полностью уходили из сети. Чуть позже в техслужбу начали поступать новости о самом наводнении, на место выехали два инженера из Новороссийска, так как они находились ближе всех, и у одного из них там жили родители.

Город в это время был закрыт на въезд: пускать обещали только к вечеру. Один из наших инженеров пробился в город к обеду (он поспешил к родителям), и после того как убедился, что с семьёй всё в порядке — у них, фактически, было затоплена квартира под потолок, но обошлось без жертв — начал объезжать базовые станции и сообщать что с ними произошло. Подойти удалось только к нескольким, вокруг остальных ещё находилась вода и можно было понять только то, что они были затоплены полностью.


Вот так выглядел город, когда мы приехали — и чем дальше шли, тем больше разрушений видели.

В разные моменты времени не работало сразу несколько базовых станций: несколько сайтов просто затопило по крышу, у части отрубилось питание, и они перешли на аккумуляторы, а потом отключились. Полностью вышли из строя три сайта и, что самое неприятное, из них два — транзитных, то есть те, от которых зависела работа других базовых станций. Оставшийся участок сети находился под огромной перегрузкой из-за исчерпания канальной ёмкости — был огромный пик попыток дозвониться в город и из города.

К моменту, когда нас пустили в город, вода уже сошла. Судя по следам на зданиях, поднималась она местами до 3 метров. Половина города была затоплена так, что проехать было просто нельзя. Хаоса как такового уже не было, много кто сидел по домам, охранял их. Тела уже вывезли. Света в городе не было, из-за аварий станций подача электропитания была прекращена. На выезде было много машин.

У нас на момент начала работ было 4 машины повышенной проходимости, в каждой — по готовому и заправленному под завязку генератору, плюс 12-часовой запас топлива, инструменты и оборудование для работ. В каждой машине — по два человека. Оборудование заранее комплектовалось по информации от мониторинга и находящегося на месте инженера, полная сборка и погрузка заняла несколько часов.

Нашей основной задачей было восстановление связи. С вечера до шести утра мы «подняли» в сеть все базовые станции кроме одной, её восстановили к обеду. Когда вода позволяла подойти к зданию с оборудованием, мы начинали восстановление. Где проблема была только в питании — подвозили (или тащили на руках) генераторы. Они работали по 4 часа, час остывали, а станция в это время использовала аккумуляторы.

Первой подняли транзитную БС, что вернуло в сеть ещё две незатопленные станции к которым уже подвезли генераторы, потом занялись остальными.

На трёх затопленных станциях нужно было полностью развернуть новое оборудование. Мы отключали старые блоки, ставили заранее привезённые новые (они унифицированные для всей сети) и прокидывали временную проводку до передающего оборудования (антенн). Вся проводка и всё затопленное оборудование сразу шло на списание. Где вода только касалась — позже было вывезено на техплощадку. Починить удалось только считанные единицы железа.

Работали в темноте с фонарями, в помещениях было очень много грязи и ила.

Учитывая, что помещения базовых станций были полностью или частично повреждены, нужно было охранять оборудование (по городу были замечены случаи вандализма). На каждой станции дежурил как минимум один человек (напомню, излучение от оборудования под самой антенной и через материал позволяет находиться в помещении БС хоть целый год — вот тут есть детали).

Когда рассвело, нужно было добраться до второго транзитного узла, но воды там вечером было по фары Форд-Ренджеру (самой высокой машине из наших). Утром уровень спал, и кружным путём удалось добраться до контейнера БС. Воды у самой станции было по пояс, пришлось поплавать. На входе — завал, разгребли его, зашли, оценили ущерб, перетащили на руках железо (к счастью, контейнеры монтируются на высоком фундаменте, поэтому половина оборудования осталась целая). Пока кидали новую проводку и заводили генератор, заодно повыкидывали ил и кое-как помыли полы.


Тащим оборудование утром.

Все восстанавливаемые станции сразу расширялись до максимальной конфигурации, чтобы дать возможность связи максимальному количеству людей. Ещё около суток канальная ёмкость была забита, после этого связь восстановилась в относительно нормальном режиме.

На территории Кубани действовал технический роуминг — наша сеть подхватывала все звонки тех людей, которые не могли получить доступ к сети своего оператора (такая схема используется при звонке в экстренную службу не в своей сети, например). Позже другая команда помогала поднимать 8 офисов и подзаряжать мобильные телефоны всех тех, кто приходил. По городу раздавали бесплатные карты пополнения счёта (в наших офисах и в отделениях Красного Креста), также в офисах были телефоны, по которым можно было бесплатно звонить в любую точку России и СНГ.


Вот так выглядели временные точки для бесплатных звонков — прямо на улице, взяли имеющиеся промо-стенды вместо столов и бросили кабель от генератора для зарядки телефонов.

В штатном режиме всё заработало только через неделю: восстанавливались помещения, ставились новые системы охлаждения.

В целом — это не первая авария, на которую мы выезжаем. У нас были и случаи затопления базовых станций, и много чего ещё — сама работа по восстановлению делалась чётко и очень профессионально, несмотря на масштаб. Не могу не упомянуть тех людей, с которым мы работали. Это Юрий Плакса, Александр Костин, Николай Крот, Вячеслав Куралесов, Сергей Смирнов, Александр Бахолдин, Артем Блинник, Евгений Вожаков, Кирилл Абызов, Антон Чертогов, Евгений Юрьев, Андрей Нестеров, Игорь Туча, Дмитрий Карпенко, Семен Зуев, Геннадий Черных, Вячеслав Тихонов, Игорь Горбенко, Алексей Борисов, Владислав Кожин, Владимир Колтовской, Инесса Скобелева, Наталья Стишенко, Дмитрий Михалин, Сергей Суслов — наша команда, те, кто выезжал в город и те, кто работал на восстановлении с нами в группе удалённо. Другая команда занималась акциями в городе, описанными выше, это Александр Бугаевский, Зори Варданян, Вера Воротникова, Виктория Егорова, Валерий Зайцев, Иван Кнышев, Александр Крюков, Сергей Морозов, Дмитрий Мусаев, Александр Овчинников, Ольга Полякова, Дмитрий Рудых, Исмаил Садуки, Андрей Талалай, Дмитрий Чуприна и Олег Хитров.
Автор: @YNRudenko

Комментарии (53)

  • 0
    несколько сайтов просто затопило по крышу
    ?
    • +4
      www.multitran.ru/c/M.exe?CL=1&s=site&l1=1

      Одно из значений — «пункт связи»
    • +19
      Да, именно так.
      Сайт — от site, площадка. В нашем случае — комплекс оборудования на одной точке.

      • –2
        Тоже споткнулся на этом слове.
        Ваше значение для широкой аудитории гораздо менее знакомо, нежели «веб-сайт». Имхо, следует делать разъясняющую пометку.
  • +4
    Большое количество людей было в городе после капитализма?
    Я бы на пару недель вывез от туда семью и, возможно, вернулся на день за вещами первой необходимости или особой важности.
    • +1
      Да, людей было очень много, у половины не было жилья (просто разрушило) и без вариантов куда-то пробиться. Плюс — поначалу были перегружены сети связи, то есть было банально трудно позвонить родственникам.

    • +5
      После чего?
      • +21
        Я прошу прощения) планшет посчитал, что в данном случае лучше употребить капитализм, чем катаклизм:-)
  • +1
    Билай, отлично! Спасибо за статью, все очень интересно!
    Еще бы ваши сотрудники в офисах лучше работали с клиентами, и цены бы вам не было…
    • +3
      И тарифы более прозрачные )
  • +6
    Снимайте про такие вещи кино. Очень хорошие документалки могут появиться в результате.

    www.youtube.com/watch?v=f_AWAmGi-g8
    • +31
      Знаете, как-то не до того было.
  • +2
    есть такая работа
    респект
    • +2
      Спасибо!
  • –8
    Еще бы ваши интернет-инженеры так же работали. Недавно работал с вами от имени юрлица, не понравились совсем сроки решения проблем. Особенно по удаленным регионам (ХМАО, ЯНАО и т.д), очень часто были даунтаймы на несколько дней.
    • +20
      Ладно Вам жаловаться, тут дядька технарь, а не манагер. И работу сделал и людям помог. Молодец.
      • +1
        Так никто же и не спорит, что молодец. Просто побольше бы таких :)
  • +2
    Молодцы. Люди которые работают руками и на местах по моим наблюдениям всегда более адекватны и ответственны чем те, кто сидят в тёплом офисе и перекладывают бумажки. Но вот добраться в крупных компаниях до конкретных инженеров крайне сложно.
  • +2
    А заиленные помещения БС и обрудование не фотографировали или в них какая-то коммерческая тайна?
    • +4
      А что фоткать? Шкафы цвета грязи с чем-то, смутно напоминающем кабели, тоже цвета грязи, на фоне, собственно, стен цвета грязи и самой грязи?
      • +2
        Да, именно это. Интересно, как выглядит БС изнутри.
        • 0
          Стойки, ящики с множеством кабелей, лампочек и вентиляторов… Ничего особенного.
        • +3
          Там живут маленькие гномы, которые вставляют штекеры для соединения абонента с абонентом. Но это страшная тайна, которую свято хранят все Опсосы.
          • +2
            image
        • 0
          Да, именно это. Интересно, как выглядит БС изнутри.

          тем более после наводнения.
    • +3
      Тоже интересен вопрос, ожидал увидеть фото последствий.
  • +9
    >>>Судя по следам на зданиях, поднималась она местами до 3 метров
    Да ладно, по зомбоканалам сообщали про 50 см максимум.
  • –5
    несколько сайтов просто затопило по крышу
    а что означает «сайт» в данном контексте?
    • +2
      Ответ в первом сообщении поста.
      • 0
        упс, сорри:(
  • +1
    Интересно, а с инженерами других операторов во время восстановления пересекались? Как-то сотрудничали, помогали друг другу? Бывает же, наверно, что базовые станции нескольких операторов на одном здании расположены.
  • +1
    Ещё интересно, зачем девушки на временной точке переписывают паспортные данные. Новые симки оформляют?
    • +2
      Там же карты оплаты бесплатные раздавали, вероятнее всего, чтобы не набирали много в одни руки.
    • +1
      Да, оформляют новые сим-карты.
  • 0
    >Вся проводка и всё затопленное оборудование сразу шло на списание. Где вода только касалась — позже было вывезено на техплощадку. Починить удалось только считанные единицы железа.

    Странно, несколько раз восстанавливал выноса на фиксированной станции после затопления, но простой водой или из отопления. Обычно «ремонт заменой» — полностью невосстановимо — треть, еще треть чиниться заменой деталей и треть после помывки и просушки работало как надо. Это в случае если питание не вырубалось полностью вовремя. Если же срабатывали автоматы вовремя, то помыть, высушить и снова в работу :)
    • +2
      Видимо грязная вода с илом делают свое дело лучше водопроводной. Наверняка там можно было что-то починить, но где гарантия что оно будет дальше работать. Непонятно только что подразумевается под проводкой, включая фидеры к антеннам? Или только электрическая?
      • 0
        Что-то может быть и можно восстановить, но на это оборудоание потом даже официальный сервис-центр гарантию не даст. В перспективе это может сильно отразиться на качестве предоставляемых услуг, а выявить неисправный модуль будет очень проблематично.
        Под проводкой понимаем все — как электическам, так и части АФУ.
        • 0
          А что произошло с кабелями этими что их пришлось менять? Ведь, они так и так идут по улице по всем неблагоприятным условиям?
          • +2
            С ними возможно ничего и не произошло, но ведь нужно всегда помнить о безопасности проведения работ! А использование кабелей, которые пару часов назад «плавали» в воде и иле, совсем не безопасно!
        • 0
          Естественно что гарантия терялась, но все что не проходило тестирование отправлялось в негарантийный ремонт и возвращалось уже починенное или замененное с гарантией, как после любого ремонта. В любом случае ремонт в рамках сервисного контракта стоил дешевле чем покупка нового.
          • 0
            Вряд ли какой сервис (будь он хоть тыщу раз официальным) будет тестировать.оборудование на скрытые дефекты в течение нескольких месяцев.
            • 0
              Это точно. Никто не будет терять свои деньги потакая параноикам.
              А для нормальных людей есть гарантия и рутинные тесты.
              • 0
                В сложных и ответственных системах иногда лучше сейчас побыть параноиком, чем потом (по закону Мерфи — в самый неудобный момент) рожать на поиск и устранение отказа время и ресурсы, которых может в тот момент в должном количестве и не быть.
                • 0
                  Сложные и ответственные системы надо строить так, что бы отказ оборудования был штатной и контролируемой ситуацией.
                  Потому что железо ломается. Любое. Даже если его год держать в горячем шкафу под внештатной нагрузкой, оно может отказать через пять минут после установки на рабочий обьект.
                  А паранойю надо лечить.
                  • 0
                    На каждую хитро построенную систему находится отказ с винтом. И не стоит считать требования к работающему оборудованию изначально завышенными, тем более в части связи и просто оборудования большой мощности.
                    • +1
                      >На каждую хитро построенную систему находится отказ с винтом.
                      это отмазки, если по ТЗ предусмотрена отказоустойчивость определенного уровня — она должна быть. При желании можно предусмотреть даже несколько сценариев конца света.

                      В конце концов, если у вас есть лишнее время и средства потакать своей паранойе — строите у себя стенд для тестирования и гоняете все что хотите как угодно и сколько пожелаете.

                      >И не стоит считать требования к работающему оборудованию изначально завышенными
                      Это вы о чем?
                      • 0
                        Это о том, что, если эксплуатант перестраховывается и считает целесообразной замену в целом ремонтопригодного (для менее ответственных целей?) оборудования, то, возможно, он прав.
                        • 0
                          Ну в данном случае это его личные время и средства и распоряжатся он может как угодно, хоть все списать и выкинуть. Только не надо оправдывать свои тараканы какими-то надуманными причинами.
      • 0
        Электричество, входные лучи питания.
        • 0
          Сорри, не понял что вопрос был по тексту статьи
  • 0
    Ожидал увидеть больше фотографий: в каком состоянии были станции, какой был уровень воды, как их залило илом и т.п.
    Так бы было гораздо большее представление об объёме работ и самой ситуации…
  • 0
    А другие операторы включили технический роуминг?
    • 0
      Да, включали все.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное