72,30
рейтинг
5 ноября 2013 в 10:38

Разное → Восстановление после затопления на Дальнем Востоке

image
С сети сошли 2 базовых станции — Амурская область

В конце июля, после продолжительных дождей, проходивших с июня в Якутии, Забайкальском крае и Северном Китае начался подъем уровня воды в Амуре до критических отметок. Ситуация обострилась после того, как в начале августе на территории Хабаровского края, Амурской области и Еврейской автономной области выпала годовая норма осадков. Это привело к разрушительному наводнению, в ходе которого пострадало 120 населенных пунктов. Всё это произошло не внезапно, поэтому мы успели мобилизовать технические резервы для обеспечения надежной работы мобильной связи.

Фактически наводнение началось 7 августа: около 13:00 произошел резкий рост нагрузки на инфраструктуру в Благовещенском районе Амурской области. К 14:00 нагрузка превысила новогодний пик в 1,5 раза. Благодаря работе аварийщиков удалось защитить ключевые объекты, а благодаря схеме сети, подразумевающей перекрытие от соседних базовых станций, получилось поддержать покрытие за счёт усиления сигнала.

Наиболее сложная ситуация складывалась в Комсомольске-на-Амуре.

image
Возле Комсомольска-на-Амуре. Оборудование перенесено с земли на временную подставку. К моменту окончания работ вода была в 10 сантиметрах от оборудования.

По ухудшенному прогнозу метеорологов здание, в котором установлен центр коммутации, попадало в зону возможного затопления. В случае затопления коммутатора без связи могли остаться примерно 300 тысяч абонентов. Поэтому по периметру здания был оперативно установлен герметичный забор длиной 30 метров. Мы возводили дамбы из мешков с песком (ушло около 2 тысяч мешков), поставили 2 мотопомпы. С помощью правительства края доставили из Хабаровска второй дизель-генератор, увеличили необходимый запас топлива. На коммутаторе сделали запас воды, продуктов и медикаментов. Также закупили сапоги и бензин. Практически ежечасно проверялся уровень воды в ливневой канализации – первая угроза затопления исходила именно оттуда. В результате Комсомольск-на-Амуре ни на минуту не оставался без связи с внешним миром — удалось удержать рубеж.

image
Защита здания баррикадой из мешков

image
Строительсто ограждения возле коммутатора

image
Демонтаж для защиты оборудования от паводка. На фото Марат Давлатмамадов – инженер по эксплуатации мобильной и транспортной сети, техническая дирекция «Хуавэй Сёрвис Технолоджис», Биробиджанского отделения.

За время паводка на территории Амурской области пострадали три станции в селах Усть-Ивановка, Владимировка и Касаткино. Контейнеры были затоплены, но усилиями сотрудников технической дирекции и отдела поддержки операций частично оборудование удалось спасти.

В Хабаровском крае и ЕАО мы знали о приходе воды заранее, и понимали, по какой территории пройдёт паводок. На каждой точке были подготовлены резервные источники электропитания с необходимым запасом топлива, организованы дополнительные аварийные бригады. Произведена проверка состояния и готовности объектов и линий связи, попадающих в зоны возможных затоплений, усилено наблюдение за сетью. Через неделю было затоплено 7 базовых станций. Модули поднимались на башни, оборудование демонтировалось из аппаратных и защищалось – перебоев со связью не было. Наши сотрудники принимали активное участие по недопущению перерывов связи на пострадавших территориях: демонтировали и вывозили из зон затопления оборудования, участвовали в аварийно-восстановительных работах, часто помогали некогда конкурентам — а теперь просто коллегам.

В общей сложности при наводнении было затоплено 12 базовых станций, из них половина – в Хабаровском крае. Еще 12 базовых станций было поднято выше уровня воды.

image
Инженер аварийной службы на момент прибытия на один из объектов

image
Примерно так стали выглядеть некоторые населённые пункты

В Кукелево станция спаслась — она была на холме, поэтому давала связь для нескольких смельчаков, решивших пережить паводок в поселке и охраняющих свое имущество от мародеров.

image
Демонтаж оборудования. На фото Григорий Пилипенко, начальник отдела строительства сети Амурского филиала.

В посёлках Нижнеленинское и Новое мы потеряли две станции. В поселке Дежнева Ленинского района пришлось отключить из-за риска затопления. В посёлках Ленинское и Благословенное, а также сёлах Амурзет и Радде удалось поднять основное оборудование на 1-2 метра, чего хватило для защиты. В посёлок Бабстово, где были сосредоточены оперативный штаб МЧС и пункт временного размещения эвакуированных жителей, а также в селе Амурзет были добавлены дополнительные аккумуляторы для увеличения времени автономной работы станций на случай отключения внешнего электроснабжения.

image
Машина жителя с. Амурзет ЕАО, задействованная в аварийно-спасательных работах

Штаб МЧС и местные жители, сконцентрированные вокруг него повысили нагрузку на локальный участок сети сначала на 20% от расчётной, потом на 40%. Мы расширили ёмкость голосовых каналов на 150-200% в зависимости от объекта.

image
Эта станция продолжила вещание. На фото Владимир Василевич, старший инженер по строительству мобильной сети доступа.

Наряду с обеспечением населения подтопленных территорий качественной связью, «Билайн» обеспечивал связь тем, кто покинул дома (а это в общей сложности около 17 тысяч человек). В пунктах временного размещения пострадавших мы разворачивали точки связи и давали телефоны для бесплатных звонков родственникам.

В пострадавших населённых пунктах чаще всего люди оставались с телефонами, но без связи. Поэтому мы бесплатно раздавали карты оплаты, чтобы люди могли поговорить с родственниками. В двух населённых пунктах телефонов было мало, поэтому мы оставили пострадавшим по своей «трубке» с SIM-картой с безлимитным тарифом, они все вместе использовали их.

Централизованно мы отправляли помощь в Ключи, Волково, Грибское, Калинино, Константиновку, Крестовоздвиженку, Поярково в Амурской области; Бабстово (ПВР Дом культуры и Сельхозтехникум), Пронькино (ПВР лагерь «Алые паруса»), Раздольное (ПВР лагерь «Жемчужина»); Приамурский (ПВР Дом культуры), Николаевка (ПВР школа № 7), Облучье (ПВР «ПУ-6») в Еврейской автономной области.

Работа с другими командами


МТС и «Мегафон» вместе с нами сражались за каждую минуту аптайма. «Мегафон» развернул мобильную базовую станцию в Ивановке, где других каналов просто не было. МТС в посёлке Славянка развернули новую быстровозводимую станцию. «Ростелеком» установил 10 новых спутниковых терминалов связи, и также обеспечивал пункты временного размещения связью. Не знаю, как на уровне маркетинга, но технические службы точно работали плечом к плечу. Ещё очень большую помощь оказали компании «Хуавэй Технолоджис Сервисис» и «Вертикаль Строй ДВ» — благодаря им во многом получилось оперативное восстановление затопленных базовых станций.

На станции в поселке Кукелево Ленинского района ЕАО пропала телефонная связь ОАО «Ростелеком». В оперативном порядке мы предоставили канал от поселка Ленинского до Кукелево, чтобы восстановить фиксированную связь. Спустя неделю «Мегафон» в пункте временного размещения жителей подтопленных районов – с. Бабстово — восстановил свою сотовую сеть связи также за счет транспортного канала «Билайн».

С 24 августа мы ввели аварийный технический роуминг – как и при аналогичной ситуации в Крымске, любой из абонентов с SIM-картой любого оператора мог пользоваться нашей сетью. По такой же схеме в обычное время делается экстренный звонок в 112, например – связь прокидывается через любую доступную сеть любого оператора.

Итог


Стоит отдельно сказать и про невидимую многим работу других людей, причём сделанную ещё задолго до чрезвычайной ситуации.

Во-первых, магистральщики — благодаря их более чем грамотной работе, удалось сохранить транспортные каналы. Не было ни одной точки, где бы сеть пропала из-за падения транспорта — более того, мы чаще помогали другим операторам своими каналами. Во-вторых, отдел планирования сети — мы, наверное, сотню раз успели порадоваться тому, как правильно выбирались места под станции. Особенно заметно это было в Амурской области. В-третьих, наши профессиональные параноики – планирование рисков. Благодаря им у нас были все необходимые ресурсы на аварийных складах, каналы и оборудование дублировалось как надо. Возможно, для многих это прозвучит пафосно, но именно в таких ситуациях чувствуется, что значит иметь за плечами большую компанию. В этом плане мне запомнился дед из полностью отрезанного водой Кукелева, который во время звонка родственникам сказал: «Билайн нас не бросил».

В завершение я бы хотел поблагодарить всех тех, кто помогал справляться с этой ситуацией и работает с ней сейчас. В каждом регионе и в каждом населённом пункте есть свои герои. Сейчас же я хочу отдельно назвать ряд имён людей, без которых мы бы просто не справились. Это только та часть команд, с работой которых я столкнулся непосредственно:
  • Павел Чайкин и Надежда Шабловская — они организовывали обеспечение связью пострадавших.
  • Денис Макаренко — он координировал действия инженеров.
  • Григорий Пилипенко, Артём Петров, Владимир Васильевич и Александра Кравцова — в селах Усть-Ивановка, Владимировка и Касаткино они спасали оборудование с уже затопленных объектов
  • Марат Давлатмамадов, Стрельников Виталий, Чалых Андрей, Касаткин Александр – занимались эвакуацией оборудования с мест затопления, поднимали оборудование выше, участвовали в расширении аккумуляторной емкости на станциях, находящихся в зоне риска.
  • Александр Иванов — за координацию действий по обеспечению работ на коммутаторе.
  • Юрий Сальников, Денис Трофимчук — за непрерывное решение множества задач обеспечения работоспособности сети.
  • Верхотуров Дмитрий – за самоотверженную работу и применение нестандартных мер по подъему оборудования выше уровня затопления.

Сейчас ситуация стабилизировалась и по всей территории уже завершились работы по восстановлению потерянных точек.
Автор: @KSolokhin

Комментарии (22)

  • +18
    Действительно «как-бы незаметная» работа. Молодцы!
  • +7
    Профессиональная работа! Просто здорово!
  • +8
    Просто замечательно! Очень достойное реагирование на ситуацию!
  • +10
    Всё-таки очень радует, что в такой тяжелой ситуации прежде всего идёт речь о помощи людям, а не о возможной выгоде.
    Не знаю, как на уровне маркетинга, но технические службы точно работали плечом к плечу.

    Сплочённость
    • 0
      прежде всего идёт речь о помощи людям, а не о возможной выгоде

      Сейчас набегут циники и скажут, что всё это — чётко продуманная пиар-акция. %)
      • 0
        Тогда это очень круто, если отделу маркетинга удалось спланировать и осуществить наводнение ^__^''
  • НЛО прилетело и опубликовало эту надпись здесь
  • +3
    Когда-то сам был инженером по базовым станциям в Билайне, но в гораздо более спокойном регионе. Прям гордость берет после статьи, какие молодцы. Нам даже близко такое не приходилось делать. Самое серьезное — ночью 40 килограммовые аккумуляторы на 10 ый этаж тащить :)
  • +3
    Вы молодцы. Делаете хорошее дело и статьи интересные пишете.

    Хотя не без ложки дегтя: Дальний Восток связью в аварийных ситуациях обеспечить можете, а в Москве в районе Митино, до сих пор есть мертвая зона, где билайн в глухую не ловит. На улице, не в низине. Недалеко от метро. Два года звоним в ваш саппорт, ситуация не меняется. Может подскажете кому, минуя саппорт, написать можно?
    • +2
      Правильно всё-таки в техподдержку, там все инциденты учитываются, например, на pomogite@beeline.ru. Но можно написать мне в личку адрес, я передам непосредственно техническим специалистам, ответственным за участок. Или дайте номер тикета, если он был присвоен.
      • +3
        Толку с вашего «Помогите» — Ноль!
        Отправил в августе заявку (связано с пирингом в Красноярске). Мне только 1 (один) раз позвонил местный инженегр Билайна и всё.
        Проблема так и не решена.
        А номер заявки мне не дали.
        Куда мне жаловаться на этот ящик «Помогите» ??
  • 0
    Оффтоп
    Мистер Уайт? (Сериал «Во все тяжкие»)
    image
    • 0
      А на переднем плане его новый напарник? Уже смотрю и в костюме рабочем.
    • +1
      Мазай, ты???
  • +5
    Зато государство к теме восстановления подходит как-то странно. На дочерние предприятия Роснефти, находящиеся на Северном Кавказе пришло письмо с просьбой изыскать неиспользуемое оборудование из перечня, дабы отправить на Дальний Восток, чтобы помочь в восстановлении. Это оборудование, провезенное через всю страну золотым станет. Вместо того, чтобы приобрести у находящегося рядом Китая или Японии большинство из необходимого.
  • +1
    Молодцы! Хороший пост про тяжелую работу! Сам базовик.
  • +2
    За что нравятся посты Билайна, так это за наглядность и рассказ про реальные ситуации.
  • +2
    Спасибо, ребята. Вы суперкруты.

    А параноикам своим жмите руки и проставляйтесь.
  • +1
    таких бы людей, да в министерства
  • 0
    Для тех, кто хочет помочь жителям Дальнего Востока есть такой вариант помощи.
  • 0
    А как телефон узнает о возможности аварийного роуминга?
    Правильно ли я понимаю, что в нормальной ситуации телефон не пытается ничего посылать в сети других операторов своей страны и это настроено внутри симки?
    • 0
      Аварийный роуминг — это переконфигурирование голосовых коммутаторов, которое должен сделать каждый оператор, телефон только проверяет можно или нет использовать ту или иную сеть. В нормальной ситуации конечно ничего передаваться не будет через сети не родного оператора, которые не включены в списки роуминг-партнеров.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное