WI-FI в метро: архитектура сети и подземные камни

Всего за пару лет поездка москвича в метро перестала быть ежедневной рутиной. Если раньше единственным развлечением в подземке были чтение книг, прессы и MP3-плеер, то теперь к ним добавились онлайн-шоппинг, просмотр сериалов, деловая переписка, даже знакомства в Tinder и квесты. А все благодаря появлению в метро бесплатной сети Wi-Fi. Порядка 80% москвичей регулярно подключаются к сети MT_FREE в метро, не задумываясь, как это работает и чьими силами это сделано. Бытует мнение, что Wi-Fi в метро “провел” сам метрополитен, но это не совсем верно. Беспроводная сеть — это проект “МаксимаТелеком”. Для компании это был первый опыт строительства высокоскоростной сети Wi-Fi с уникальными в мировой практике инженерными и техническими решениями. В этом посте мы расскажем, как организована сеть Wi-Fi в метро Москвы.
 

На самом деле у нас две сети...

Радиосеть внутри вагонов

Вы входите в вагон, видите стикер с названием сети или уже по привычке включаете Wi-Fi на своем телефоне. В это же время устройство подключается к сети с SSID MT_FREE. Она организована высокоплотными точками доступа, которые находятся в каждом вагоне, работают в двух диапазонах 2,4 ГГц и 5 ГГц и поддерживают стандарты 802.11a/b/g/n. Управляет ими контроллер в головном вагоне. В составе таких вагонов два, а значит, и контроллера тоже два. Все оборудование в подвижном составе, в том числе и между вагонами, соединяют кабели — витая пара.
 

Радиосеть поезд-тоннель

После прохождения внутренней поездной сети данные передаются на стационарную сетевую инфраструктуру с использованием радиоканала поезд-тоннель. Он устанавливается между базовой станцией, находящейся в каждом головном вагоне, и базовыми станциями, расположенными вдоль пути следования подвижного состава в тоннеле, а также на открытых участках путей. Расположение базовых станций вдоль путей таково, что поезд движется в сплошном радиополе. Благодаря этому перерывы в связи минимальны. Базовые станции на поезде размещаются так же, как и контроллеры точек доступа на каждом головном вагоне, при этом во время движения состава активна только одна из станций. Радиоканал работает в том же частотном диапазоне, что и Wi-Fi – 5 ГГц, но использует проприетарный протокол передачи данных. В отличие от оборудования внутри поезда, оборудование радиоканала поезд-тоннель можно увидеть снаружи подвижного состава и в тоннелях/на открытых участках путей.
 

Сетевая архитектура

 
Каждая базовая станция на пути следования поезда подключена к расположенным в служебных помещениях метрополитена коммутационным узлам с помощью выделенной волоконно-оптической сети. Бесперебойное электроснабжение базовых станций также организовано с помощью оборудования, установленного в этих коммутационных узлах.

Архитектура стационарной сети передачи данных не отличается от типовой архитектуры операторов связи. Это “двойная звезда” с географическим резервированием каналов связи и ключевого оборудования. В сети есть несколько каналов связи с магистральными операторами связи, общей пропускной способностью более 60 Гбит/с. 

Хьюстон, у нас проблемы...

Технологические сложности
 
Для работы в метрополитене нужно оборудование:

• выдерживающее тяжелые условия эксплуатации в тоннеле (взвешенная металлическая пыль и машинное масло) и на подвижном составе (резкие перепады температур и вибрация);
• удовлетворяющее требованиям метрополитена (использовать негорючие материалы, соответствовать требованиям по электромагнитной совместимости, работать от нестандартных источников питания);
• имеющее необходимую для работы сети функциональность.

В метрополитене в подвижном составе используется постоянный ток с номинальным напряжением 80В. Однако в зависимости от состояния аккумуляторных батарей и количества разрывов в контактном рельсе реальное напряжение “скачет” от 30В до 150В.

Найти приемлемый по цене блок питания с такими параметрами нам не удалось, а стоимость подходящих вариантов делала проект нецелесообразным.

Здесь нас очень выручила компания из Новосибирска «Сибконтакт». Под наши требования коллеги изготовили блок питания, который мы успешно протестировали и в дальнейшем использовали во всех составах. Устройства оказались очень надежными, стоили недорого, а производить необходимое количество поставщик успевал за несколько недель, а не месяцев, как это происходит обычно.

Также мы столкнулись с нестандартным электропитанием в тоннеле — двухфазной сетью с напряжением 127В. Запитать оборудование, работающее от однофазной сети 220В от нее невозможно, и мы протягивали новые кабели от собственных источников питания, установленных в технических помещениях станций. Это повысило надежность сети, поскольку мы применили источники бесперебойного питания и автоматы ввода резерва.



Большие трудности вызвало и многообразие типов поездов. Это повлияло на работу по проектированию размещения оборудования локальных сетей составов — она была колоссальной. Во-вторых, при строительстве выяснилось, что почти все составы, даже одной серии и года выпуска – разные. Это связано с тем, что их постоянно модернизировали и устанавливали дополнительное оборудование. Такие работы проводились отдельно по каждому составу, а мы каждый раз оснащали поезд уникальным образом.

Серьезные вопросы возникли при радиопланировании сети. Они были связаны как с разнообразием материалов, из которых выполнены тоннели, так и с нехваткой исходной информации по их конструкции, геометрии, а также ответвлениям и препятствиям.

Мы сами полностью обследовали все тоннели — в московском метро их более 330 км, а в двухпутном исчислении более 660 км. Мы применяли определенные метрики и правила размещения базовых станций, а уже после установки и запуска оборудования в ходе эксплуатации проводили измерения радиопокрытия и уточняли оптимальные точки размещения оборудования. Некоторые базовые станции нам пришлось перенести уже после установки.

Эти трудности заставили нас вместе с коллегами из нижегородской компании «Радио Гигабит» провести научно-исследовательские работы и разработать уникальную методику радиопланирования в тоннелях, которая базируется на симуляции (математическом моделировании) канального и системного уровня транспортной радиосети в тоннелях и на открытых участках. В новых проектах мы уже не гадаем, а точно знаем, как именно расставлять оборудование для получения заданных характеристики канала.

Архитектурные сложности
 
Основное оборудование, формирующее радиоканал между составом и тоннелем располагается в “голове” (помним, что их две), при этом вагоны при заезде в депо в подвижных составах постоянно меняются. Сеть работает в постоянном движении, в результате которого все время меняются сетевые порты и физические устройства, через которые идет трафик одних и тех же сессий из одного состава. В связи с этим мы решали целый ряд архитектурных проблем:

• полностью автоматическая настройка сети состава при замене или изменении порядка вагонов
• распределение внутривагонных точек доступа между двумя контроллерами W-Fi в поезде
• корректное получение пользователями и оборудованием в составе IP-адресов
• “выход” трафика пользователя через правильную базовую станцию, активную в данный момент времени
• перескакивание MAC-адресов с одного порта стационарного коммутатора на другой при движении поезда (в стационарной сети такое не происходит или случается крайне редко), требующее постоянного “переобучения” сетевых портов на MAC-уровне

Отдельную проблему представлял мониторинг нашей сети. Обычные системы мониторинга сетевого оборудования неспособны отличить ситуацию, при которой состав уходит из зоны радиопокрытия от поломки оборудования состава. Это приводит к большому количеству ложных срабатываний системы предупреждений о неисправностях. Кроме того, единицей мониторинга и технического обслуживания является именно поезд (поскольку всегда надо понимать, где находится в данный момент та или иная единица оборудования и как она соединена с другими элементами сети), а на практике составы в метро — сущность динамическая, состав вагонов в которой может меняться ежедневно, а то и по два раза в день. Мы создали собственные средства мониторинга, которые автоматически детектируют появление поезда в зоне покрытия, “обходят” его, определяя состав и порядок следования вагонов и установленного в них оборудования и представляют операторам центра управления сетью данные уже в разрезе фактически действующих на линии поездов.

Это ключевые технические задачи, которые «МаксимаТелеком» решала при планировании и создании сети. Причем процесс этот продолжается до сих пор, поскольку нагрузки на сеть растут и появляются новые станции метро. Многие уроки, полученные в ходе московского проекта, мы применили при строительстве сети Wi-Fi в метро Петербурга, благодаря этому её удалось сделать гораздо более производительной и быстрой. Но об этом мы расскажем в следующих постах.