72,32
рейтинг
19 декабря 2013 в 10:26

Разработка → Модернизация сети в Чувашии: почему наша сеть похожа на формулы из органической химии

Добрый день! Мои коллеги уже рассказывали про строительство магистральных сетей и про конкретное оборудование на базовых станциях. Я бы хотел восполнить пробел и рассказать немного о городской сети и том, как мы её модернизировали. Рассказывать я буду про своей регион – республику Чувашию, где я сначала давным-давно работал техдиректором, а потом стал руководителем филиала «Вымпелкома». Примерно такие же принципы устройства сети и сложности характерны для многих других регионов, разве что за исключением крайнего Севера.

Для начала, у нас здесь довольно интересная география распределения базовых станций:
  • Густое расположение базовых станций на севере Чувашии вокруг столицы – города Чебоксары
  • Плотное размещение по республике (кроме лесов, конечно): Чувашия занимает 4-е место по плотности населения в России.

image
Магистральное кольцо проходит через Чебоксары на севере республики, а от него сначала шло кольцо по населённым пунктам области, а потом мы стали делать из него MESH-структуру. Сейчас один обрыв в произвольной точке незаметен абонентам. К концу 2014 года в большинстве случаев незаметны будут даже два одновременных обрыва.

Зачем понадобилось модернизировать сеть?


За последние примерно три года нам понадобилось резко увеличивать пропускную способность сети. Трафик растёт просто дикими темпами. Для сравнения, в этом году относительно прошлого он вырос примерно в 2,5 раза. В среднем по России показатель роста примерно на 30 % ниже. При этом голосовой трафик не меняется, речь идет о росте интернет-трафика.

Первое что нужно было сделать – заменить SDH-оборудование на Ehternet и DWDM. Переход к современным мультиплексорам позволил использовать те же линии оптоволокна, что и раньше (физические процессы никак не меняются) с гораздо большей плотностью передачи трафика. Благодаря преобразованию сигнала и комбинированной упаковке получилось увеличить пропускную способность до 10 Гб/сек, с дальнейшим расширением до 40 Гб/сек.

Одновременно всю существующую сеть на РРЛ переводим на IP, тем самым повышая пропускную способность и надежность сети в целом.

Архитектура и топология сети


Вот эту схему мы называем «Коллайдер». Это упрощённый вид магистрального кольца, проходящего через Чебоксары. В это кольцо приходит трафик из большого европейского кольца (720 Гб/с на отдельных участках).

image

Мы забираем данные из Казани и из Нижнего Новгорода по линкам в 20 Гб/с соответственно. В случае обрыва канала от Нижнего Новгорода до Чебоксар (например, благодаря бравым экскаваторщикам) мы просто будем получать те же данные со стороны Казани (это резервное направление для такой ситуации).

Эта публикуемая схема уже устарела. Наши коллеги-магистральщики уже сформировали хорды из Воронежа, через Тамбов, Пензу, Ульяновск в Самару и так далее, превращая кольцо в многократно резервируемую сеть. Мы также планируем хорду из Ульяновска в Чебоксары, и у нас будет уже тройное резервирование. Вообще, как показывает опыт чрезвычайных ситуаций по России, планирование рисков в этом плане всегда окупается.

Теперь присмотритесь к двум кольцам по Чувашии. Вот они крупнее (мы называем эту схему «снеговик»):

image

Сверху проходит магистральное кольцо через Чебоксары. Северное кольцо (верхнее) объединяет крупные населённые пункты севера республики. Собственно, именно здесь мы ставили DWDM-оборудование, и теперь это кольцо даёт 10Гб/с с дальнейшей возможностью расширения до 40 Гб/с.

Нижнее южное кольцо проходит по менее населённой части области. Оптика доходит до города Алатырь на юго-западе и до Шемурши на юго-востоке. Требования к пропускной способности почти на порядок ниже. Местность сложная, поэтому кольцо не полностью оптическое, нижняя часть (от Алатыря до Шемурши) сделана на радиорелейных линиях с пропускной способностью 183 Мб/c.

Оба кольца рассечены хордами с малой пропускной способностью – это радиорелейные линии (обеспечивающие Ethernet-соединения) с пропускной способностью от до 100 Мб до 1 Гб в секунду. Пропускная способность зависит не от оборудования (оно типовое), а от расстояния между узлами. На пролётах до 10 километров имеем 1 Гб/с. Но у нас есть пролёты и по 15-20 километров между узлами, где приходится снижать пропускную способность для надёжности сигнала.

Учитывая рост объёмов трафика, эти радиорелейные хорды в будущем году будут иметь резервное значение. Но недооценивать их не стоит – они легко способны подхватить голосовой трафик сети, что может оказаться критичным в случае крупных чрезвычайных ситуаций.

Так вот, если на «Коллайдере» обозначены магистральные узлы, то на «Снеговике» – узлы наших колец.

image

Практически всё, что сейчас обозначено как 1 Гб/с, уже 10 Гб/с (либо станет таковым в начале 2014). Модернизация идёт непрерывно.

Город


Теперь давайте опустимся ещё на уровень ниже и посмотрим на сеть одного населённого пункта. Это вот Чебоксары и Новочебоксарск. Схема тоже не самая новая (линии уже модернизированы, стройки закончены), но представление даёт. В этой подсети – примерно 50% абонентов региона.

Видите, что самое характерное для городской сети тоже? Правильно – кольца. Мы соединяем всё в замкнутые структуры (сейчас, например, сверху справа в пригородах тоже пойдут работы по объединению в циклические структуры). Это даже не архитектура с высоким резервированием. Это просто сеть с очень высокой устойчивостью, заложенной в качестве базового свойства. И несмотря на то, что у нас за последний год не было крупных обрывов даже в одной точке, мы продолжаем строить её именно так – это одна из технических парадигм «Вымпелкома» в целом.

image

Отдельно надо сказать пару слов про оптику. Когда мы пришли в регион, то почти сразу купили небольшого местного оператора, который подвешивал оптику на троллейбусных столбах. Это не самый надёжный метод: мы оптику кладём строго в телефонной канализации под землёй. В итоге где-то она ещё осталась на подвесах, но постепенно мы уходим со столбов и перекладываем отдельные участки в телефонную канализацию. Сейчас оптики на столбах осталось около 10% (по протяженности) в Чебоксарах.

Ссылки



Вот и всё. Если интересно, отдельно покажу необычные монтажи – у нас есть базовая станция на бывшей советской вышке-глушилке, на смотровой площадке лесников, БС на высоте 354 метров и так далее. Плюс есть одна тёплая история, как благодаря инженерной смекалке нам удалось сэкономить почти 18 миллионов рублей.
Автор: @Engineer21rus

Комментарии (15)

  • +11
    >Плюс есть одна тёплая история, как благодаря инженерной смекалке нам удалось сэкономить почти 18 миллионов рублей.
    Вот это точно интересно + хотелось бы знать, им хоть премии нормальные дали?
    • +2
      Пакет 50 бесплатных смс
    • 0
      18 миллионов рублей мы съэкономили в 2003 году, оперативно построив 9 базовых станций на ж/б опорах, которые остались от советской радиотелефонной системы «Алтай».
      Читайте об этом в следующейм моем посте.
      … А премию? Конечно, поучили.
  • +2
    Очень интересная статья, плюсую!

    Рассказывайте ещё.
  • +1
    Действительно, очень интересно и познавательно, читал с удовольствием. Если есть еще материал пишите, по возможности побольше бы технических подробностей.
  • +1
    Это всё очень интересно, рассказывайте ещё, пожалуйста!
  • 0
    Хотелось бы увидеть математические выкладки и применение теории графов. :)
  • 0
    А зачем вам, при таких маленьких объемах трафика DWDM? Планируете взрывной рост?
    Когда по вашим расчетам каналов в 1GE в кольцах станет мало?
    Если у вас стояло много SDH, значит у вас достаточно большой объем 2G базовых станций. Скажите, сталкивались с проблемами миграции TDM трафика на IP сеть? Как решали?
    • 0
      1) Билайн в Чувашии является крупнейшим поставшиком интернета в республике. Мы предоставляем интернет оптом большинству интернет провайдеров как в крупных городах — Чебоксары и Новочебоксарск, так и в небольших -Шумерля, Канаш, Ядрин. Конечно, это львиная доля загрузки от общего трафика. Кроме того, есть трафик для корпоративных клиентов, и трафик для мобильных сетей ( GSM, 3G).
      Сеть актвино развиваетсяи и трафик растет. Для примера, трафик в мобильных сетях передачи данных вырос на 130% по отношению к прошлому году. С определенного момента экстенсивный путь развития с занятием дополнительных волокон становится неэффективны. Поэтому выбор пал на технологию DWDM. Увеличивать пропускную способность сети на основе DWDM можно намного быстрее и эффективнее.

      2) Рост количества абонентов в мобильном интернете, увеличение количества БС приводит к тому, что каналов в 1GE уже стало недостаточно.
      Развитие мобильных сетей в направлении LTE требует еще более широких каналов на транспортной пакетной сети. Билайн в Чувашии запланировал запуск сети LTE уже в 1-м квартале 2014 года. Так что расширение сетей до 10 GE в декабре 2013 года позволит предоставить абонентам реально высокие скорости, «без узких горлышек»:)

      3) Что касается миграции трафика на IP — то это не всегда оправданно и эволюция сетей никогда не происходит через полное уничтожение технологий предыдущих лет с заменой на новое, пусть даже и лучшее по каким-либо признакам. Зачастую у операторов сосуществуют и взаимно дополняют друг друга различные технологии, так и в нашем случае: массовая миграция TDM на IP не понадобилась, т.к. существующая SDH сеть вполне справляется со своей задачей имеенно в части обеспечения транспорта для устройств, работающих по TDM.
      • 0
        В этом случае все понятно. Выбор пал на DWDM потому что других технологий нет :)
        Т.е. у вас грубо говоря уже в этих маленьких кольцах уже идет 10GE? Понятное дело он на все узлы шарится в кольце, но как считаете надолго хватит такой емкости? У вас наверняка на сайтах стоят 2G+3G+ еще LTE добавляется. Сколько в среднем требуется аплинка на такие узлы? Убираете ли 2G после появления 3G. Если нет, то почему (очень интересно всегда было почему 2G базы не убирают до последнего, наверное не просто так)
        А как сосуществование обеспечиваете? На кольцах тоже DWDM? Под TDM я имел ввиду E1 для 2G баз. Или есть что-то еще?
        • 0
          Если убирать 2G после появления 3G, то куда девать абонентов, пользующихся телефонами, способными работать только в 2G?
          Их ещё достаточно много. «Выгонять» в сети к другим операторам — негуманно, а менять им телефоны за счет оператора слишком накладно.
          Кроме того, существование сети 2G позволяет использовать выделенный частотный ресурс, например, получая дополнительную пропускную способность в 3G, которая была бы занята теми разговорами, которые можно обслужить в 2G.

          Вот когда все абоненты постепенно поменяют свои GSM телефоны на модели с поддержкой 3G, то можно будет попробовать использовать частотные ресурсы GSM 900 и GSM1800 для сетей UMTS900 (WCDMA FDD Band VIII) и LTE 1800 (LTE Band 3) соответственно.
    • 0
      если я не ошибаюсь можно сдавать неиспользуемые лямбды в аренду… или это нецелесообразно?
      • 0
        Да, лямды можно сдавать в аренду. Целесообазно/нецелесообразно- это вопрос цены :)
  • 0
    а можно последнюю картинку покрупнее?
  • 0
    Здравствуйте!
    Каким инструментом создавалась схема сети, где отображены узлы зелёного, красного и пр. цветов?

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разработка