72,31
рейтинг
19 сентября 2011 в 12:54

Разное → Интернет на теплоходе: спутниковая тарелка + модемы + балансировщик + Wi-Fi



В начале июля «Лаборатория Касперского», блогеры, журналисты и много технических специалистов вышли на теплоходе из Нижнего Новгорода в Козьмодемьянск. 250 человек хотели Интернета всеми силами, и мы сделали всё, чтобы он был на корабле даже в гальюне.

Как подключали?


Технология такая: ставим одностороннюю спутниковую тарелку, к ней – стабилизаторы от качки, поворотные устройства, чтобы она отслеживала спутник во время движения судна. В качестве «земли» или исходящего канала — пачка 3G-модемов «Билайн». На корабле раздается Wi-Fi.

Как это работает?


Соотношение входящего/исходящего трафика обычно где-то 1/10. Соответственно, для связи со спутником нужно иметь слабый исходящий канал на земле (связанный с крупным спутниковым телепортом провайдера) и тарелку для широковещательного приёма, работающую в разы быстрее. Именно на этом рейсе «земля» была явно в разы быстрее, чем было нужно, потому что была рассчитана на пиковые нагрузки фотографов, решивших отправить свои исходники в редакцию. Большую часть времени 3G-модемы простаивали бы, поэтому мы решили использовать их как входящий канал тоже.

Тесты


Журналисты увидели всё это 30 июня этого года, но ещё в мае мои коллеги из отдела развития сети Нижнего Новгорода отправились до Чебоксар на судне с тестовым набором оборудования. Мы плотно тестировали модемы, замеряли покрытие по всему пути движения теплохода и проверяли балансировку трафика в реальных «боевых» условиях, смотрели на скорость работы 3G-сети. В результате скопилось много данных, которые были переданы аналитикам. Они, в свою очередь, дали рекомендации по изменению плотности покрытия в некоторых местах сети. Мои коллеги из Нижнего Новгорода увеличили ёмкость сети до теоретических 14.4 Мегабит/с downlink и 5.7 Мегабит/с uplink на всем участке пути, а также подняли мощность передатчиков тех базовых станций, что давали слабый сигнал в месте тестового прохода.


Моё рабочее место

Железо


Одним из ключевых элементов нашего комплекса планировалось сделать двунаправленную спутниковую антенну морского базирования, но так как возникли проблемы с её доставкой из заграницы, то мы решили ограничиться однонаправленной антенной Tracvision M9, которая оказалась на складе INVISAT (отсюда и особенности с балансировкой и модемами — но получилось даже интереснее).

Антенна, оснащенная двумя гироскопами, способна следить за спутником во время движения и при этом обеспечивать стабильный сигнал. DVB-поток с антенны поступает на DVB-S2 PCI карточку, установленную в обычный PC (Windows XP). Построение канала вверх для спутникового маршрутизатора легло на плечи нашего комплекса для балансировки трафика. В следующей редакции схемы планируется использовать в качестве спутникового маршрутизатора компьютер под управлением Linux, чтобы не заморачиваться на стабильность и гибкость системы.

В качестве платформы для балансировщика был выбран первый попавшийся сервер из нашей лаборатории. На него был установлен VMware ESXi 4.1, а уже внутри были развернуты две виртуальные машины: собственно сам балансировщик на базе Vyatta и кэширующий сервер на базе Debian. На момент начала тестирования в Vyatta 6.1 не было возможности балансировать собственный трафик, поэтому кэширующий сервер пришлось делать отдельным хостом. В новом релизе Vyatta 6.3 нужная фича появилась. Теперь от ESXi можно отказаться и разместить все элементы комплекса на менее требовательном железе с Vyatta на борту, существенно упростив схему.


Схема организации сети

Трафик


Схема организации доступа в интернет на теплоходе предполагала одновременное использование спутниковых ресурсов Intelsat 904 на 60 градусах, а также всех доступных ресурсов 3G и GPRS/EDGE сетей. Но практика показала, что смешивать низкоскоростной, с большими задержками GPRS/EDGE и высокоскоростной 3G — не самая хорошая идея. По крайней мере, пользовательская реакция во время круиза показала, что лучше этого не делать. Было решено EDGE/GPRS каналы поднимать только в случае полного отсутствия 3G.

Интерфейс Vyatta позволяет настроить статические коэффициенты балансировки трафика. Эти коэффициенты были рассчитаны по результатам тестового прохода. В качестве 3G и EDGE маршрутизаторов были использованы Huawei b260, которые используются «Билайном» в услуге «офис за пять минут». Они, кстати, отлично справились со своей задачей. Штуки довольно простые, но более мощные, чем предыдущие модели (Huawei e960), отчего стабильно ведут себя даже при очень интенсивном трафике.

За две недели до начала мероприятия по теплоходу был растянут кабель 5e для подключения точек доступа Wi-Fi с питанием от POE коммутаторов Cisco. Корабль попался на редкость железный (то есть хорошо экранирующий сигнал), поэтому всего разместили 10 точек доступа там, где разрешил капитан, то есть, по сути, покрыли почти все места, где люди отдыхали и работали.

Графики


В ходе всего путешествия производился сбор статистики с балансировщика по SNMP.
Ниже утилизация LAN-интерфейса, которая характеризует суммарную скорость потока данных на всех WAN-интерфейсах балансировщика в зависимости от времени. Цвет и обозначение трафика инвертировано.


Утилизация LAN-интерфейса


Утилизация канала через модем 3G


График загрузки спутникового канала

Длинные перерывы характеризуют то, как долго я спал. Как уже писал выше, планируется переделать спутниковый маршрутизатор с применением Linux, так как программное обеспечение под Windows оказалось довольно глючным и не очень гибким. При падении туннеля для организации канала вверх автоматическое переподключение не срабатывало и приходилось его перезапускать вручную. На тестах из-за немного другого оборудования проблема не возникала.


Принятые со спутника данные


В сумме за все три дня пользователи выкачали из Интернета порядка 80 Гигабайт и отправили в Интернет примерно 20 Гигабайт.

Что мы будем делать с этим опытом


Мне и нашим аналитикам понравилось, как работает система. Самое важное — что односторонняя антенна не требует сложных разрешений, вполне экономична, компактна и достаточно удобна в плане установки «на потоке». Соответственно, я думаю, в ближайшем будущем уже начнут появляться автомобили с такими штуками, которые вполне смогут раздавать вокруг себя вай-фай на конференциях и различных массовых мероприятиях.
Автор: @crusher

Комментарии (39)

  • +1
    Кстати эти USB модемы так смешно дергались, когда корпус корабля начинал сильно резонировать :)
  • +7
    Шиккарно написано. Только WiFi перестал работать через несколько часов после отплытия. То есть цеплялся-то он отлично, но никаких данных не передавал. Рассказывали, что чей-то торрент-трекер легко забил канал. Я спасался билайновским же 3G-модемом, а чаще — мегафоном в телефоне, коотрый, прошу прощения, в той поездке работал лучше всех без всяких офигенных схем.
    • 0
      По-моему он работал параллельно с 3G :) Т.е. отваливалось одновременно. Я тогда предположил, что просто стоят роутеры, которые из 3G делают Wi-Fi. Отваливалось от станции к станции, по-моему.
      • +3
        Это мы точки двигали. Я все предварительно сконфигурировал и пометил стикерами какие где частоты должны быть, а при монтаже немного напутали, и в одной комнате были точки с одинаковой частотой что давало интерференцию. Да, отваливалось одновременно, канал вверх до спутника же был именно через 3G.
    • 0
      Объем трафика, которым воспользовались участники экспедиции через WiFi составил ~ 80 Гбайт.
    • 0
      Я как-то использовал односторонний спутниковый. Очень вредно для нервов. Пока сигнал дойдет до геостационарной орбиты, пока назад, пока обработают — секунда-две проходит.

      В итоге для скачивания больших файлов — терпимо (за отсутствием других вариантов). А вот для просмотра сайтов — уж лучше голый EDGE.
      • 0
        Вообще в одну сторону (вниз хаб-борт-тарелка) должно быть 250-300мс плюс задержки на Edge до 900мс. Если мы используем канал 3G то задержка вверх будет порядка 50-150мс. Думаю с задержкой 450мс в обе стороны можно жить.
    • –1
      К сожалению в Чебоксарах Билайн не на высшем уровне…
      Сейчас пришлось перейти на Мегафон, он побыстрее работает в нашей местности (пригород)
  • +3
    Интересно. Планируются ли еще статьи подобного плана?
    • +3
      Да, наш корпортивный блог на Хабре специально для этого. Кстати, можете написать, что именно вам интересно мне в личку.
      • –3
        Интересен вот какой момент: ваши «менеджеры» по продажам активно (даже более чем) расклеивают объявления на подъездах, расхваливая проводной интернет. Однако ж в договоре стоит фраза «скорость ДО n кбит» — т.е. мне сразу как бы намекают — скорость не гарантируется.
        Напротив, небольшой местечковый провайдер дает честный входящий и, главное исходящий канал. И даже немного больше (для тех клиентов — зануд, которые поделив 1 мегабит/с тарифа на 8 бит желают получить 125 килоБайт скачивания).
        Когда у билайна будет в договоре отсутствовать слово ДО?
        • +2
          Клиенты-зануды обычно желают получать 128кбайт, а не 125.
          И что-то я сильно сомневаюсь, что есть провайдер, который за «дешево» дает еще и «быстро», да еще и «всегда».
          Гарантированный канал он как-бы других денег стоит совершенно.
          Хотя билайн на прошлых выходных меня как-то не порадовал скоростью работы домашнего интернета. Хотя в целом — устраивает, у конкурентов все примерно тоже самое (желанием выкачать весь интернет я как-то почти переболел).
  • +10
    Нда… ради какой-то тусовочки из 250 человек на один weekend, на которой alexmak скачал beta версию mac os x, а другие пили халявное пиво до 4-х утра, вгрохали кучу средств и энергии.

    ИМХО, лучше бы вы с такой самоотверженностью улучшили покрытие между Новогиреево и МКАД-ом. Куча жилых домов, а там не то, что 3G нет, там вообще Билайновская связь на iPhone 4 отображалась в районе 1-ого деления и частые перерегистрации в сети. Не говорю уже об 3G покрытии на юге Москвы, где сплошные спальные районы и по статистике проживает 2 млн человек.
    • +3
      Ну это не ко мне. А вообще — не было бы такой «самоотверженности», которая
      вам так не понравилась, мы бы вообще новые технологии не обкатывали. И
      сидели бы в пещерах, прячась от волков и боясь разжигать огонь.
      • –1
        к вам вопросов нет, блог то корпоративный :)

        на мой взгляд, для компании у которой 3 место по деньгам на VAS рынке среди большой тройки, которую на московском рынке по некоторым позициям обход-ит/ил Мегафон, имеет дыры по покрытию не только в Мск, должны волновать более насущные проблемы, чем заиметь опыт работы с «двунаправленной спутниковой антенной морского базирования»
        • +1
          Вообще-то однонаправленной.
          • 0
            Одним из ключевых элементов нашего комплекса планировалось сделать двунаправленную спутниковую антенну морского базирования, но так как возникли проблемы с её доставкой из заграницы,
  • +1
    Неосторожно так делать — давать доступ торрентам в той сети, где канал и так не очень стабилен. Торренты то порезать можно, причем не сложно.
    • 0
      Это был эксперимент. Я тогда ограничил количество сессий по IP. Когда будем делать дальше, то аккуратно доведем балансировку трафика между пользователями. Здесь, скорее, идею проверяли.
  • –6
    Так то прикольно, но подробностей мало :)
    Да и Билайном можно было не ограничиваться я пошутил :)
    пиу пиу
  • +1
    У вас там по графикам ктото раздавать файло пытался походу :)
    • 0
      Все верно, блогеры были с большими фотоаппаратами, да и журналистам не терпелось поскорее отправить свежий видеоматериал в свои агентства.
  • +1
    А какая стоимость мегабайта в итоге получилась? Конкурентно ли по сравнению с bgan (и подобными сервисами) или турайей?
    • 0
      Сравните для примера www.bganrus.ru/24/52/ и www.d-v.ru/tarify/ плюс любой местный тариф на 3G интернет.
      • 0
        Так я не понял. Вы что, даже не посчитали стоимость Вашего решения? При чём тут тарифы на 3g? У вас были расходы на тестирование, наладку станций, установку новых станций, тестовое плавание по реке — это всё расходы. Разделите их на переданный трафик — получится стоимость за мегабайт. Вопрос — какая стоимость? Без этого смысла в статье маловато.

        Ещё что я заметил: в одном месте Вы написали что отношение переданный/полученный как 1/10, а в итоге почему-то получилось 20/80 =1/4. Несколько разные цифры, уже возникает вопрос стоило ли вообще связываться со спутником.
        • 0
          За целесообразность использования спутника говорят графики утилизации спутникового канала и количество переданных данных. Был бы стабильнее спутниковый маршрутизатор, то было бы больше переданных данных.
  • +1
    >Соотношение входящего/исходящего трафика обычно где-то 1/10
    Это вы просчитались, блогерам нужен аплинк)
    • +1
      Блогеры — это не ситуация «обычно», как видно из графика.
  • +1
    балансировка трафика, как я понимаю, велась средствами netfilter/iproute2 через изменение маршрута исходящего трафика с вероятностью 1/n,
    где n — количество 3G модемов?
    Если нет, то как?
    • +2
      Балансировка выполнялась средствами Vyatta 6.1. Это я указал в посте «Интерфейс Vyatta позволяет настроить статические коэффициенты балансировки трафика». Балансируются исходящие соединения, соответственно и коэффициенты выставляются исходя из ширины канала вверх.
  • +1
    Ребята, вы конечно интересными делами занимаетесь, но это все это можно делать немного по другому.

    Вместо кучи железа ставится один девайс под названием микротик. На нем делается и балансировка и кеширование (а нужно ли ?) в него втыкается PCI-E модем SierraWireless, который существенно чувствительнее и надежнее USB-шных хуавеевских свистков. Подключаются к нему нормальные пигтейлы и полноценные антенны

    Вместо геморроя с распараллеливанием трафика по USB свисткам концентрируемся на антенне. Подняв сигнал на 10 Дб можно в несколько раз увеличить скорость передачи данных.

    Качественная 3-х диапазонная антенна для поезда делается в германии (подсмотрел у мегафонщиков), а для корабля лучше ставить полутораметровую 8 децибальную омни, которых увы в россии тоже не имеется.

    Странно что про едже каналы вы узнали только в поездке. Хотя если со спутником не сталкивались плотно, то это простительно. Дело в том что, при скорости в 60 кбит/сек передача даже небольшого пакета занимает время до нескольких секунд ( 1000-2000 мс) сравните со спутниковыми гарантированными 700 мс при скоростях даунлинка до 8 мбит. Реально только WCDMA и HSDPA с их 60-200 мс можно юзать для магистральных каналов, остальное в лучшем случае — телеметрия.

    Если не сложно ответьте на такие вопросы.

    1. Какой максимальный радиус 3G соты был выставлен на маршруте? Если не ошибаюсь для 2100 дефолтный 10 км.

    2. Использовался ли UMTS900 или все на 2100 работало? Мега много сил вкладывает в него, а оборудования мало.

    3. И наверно самый интересный для меня. Использовался ли 3G для даунлинка? Оправдано ли было городить спутник для этих целей или он по факту был незадействован большую часть пути?

    Ну и что бы не быть голосом из ниоткуда, покажу чем занимаемся мы: www.inetvu.ru
    • +3
      Как я уже говорил, затея является экспериментом. Никаких критичных для бизнеса задач не предусматривалось, нужно было только предоставить интернет там где возможно на радость нам и на удивление блогерам.

      Про микротик слышал, но политика лицензирования их софта не дает возможности провести такие длительные эксперименты (месячная подготовка и 3х дневный круиз) как этот. Vyatta в своем бесплатном варианте дала все необходимые фичи. Про огород из железа я предусмотрительно написал в посте. «На момент начала тестирования в Vyatta 6.1 не было возможности балансировать собственный трафик, поэтому кэширующий сервер пришлось делать отдельным хостом. В новом релизе Vyatta 6.3 нужная фича появилась. Теперь от ESXi можно отказаться и разместить все элементы комплекса на менее требовательном железе с Vyatta на борту, существенно упростив схему.»

      В качестве 3G устройств использовались не свистки, а маршрутизаторы B260 с ethernet портом. У них есть разъем для подключения внешних антенн. Антенны подключались через узкополосные усилители Remotek. Антенны крепились на корме на 4й палубе.

      Антенн и усилителей, которые были у нас хватало для того, чтобы обеспечить на хвосте маршрутизаторов максимальный уровень сигнала.

      Про задержки через спутник, edge и 3G уже отвечал одному из участников.

      1) Про максимальный радиус точно не скажу, так как этим занимались коллеги из Нижнего Новгорода. В мае была тестовая поездка, по результатам которой были увеличены мощности передатчиков, поставлены дополнительные базовые станции, подведены дополнительные каналы передачи данных и включен HSUPA.

      2) Усилители были настроены только на узкий диапазон частот UMTS2100.

      3) Весь акцент поста был сделан на том, что мы не просто использовали однонаправленную спутниковую тарелку с каналом вверх за счет 3G, но и использовали 3G даунлинк тоже. Вот зачем понадобился балансировщик.

      Следил за экспедицией, тема очень интересная. Еще лет 5 назад коллеги мастерили авто со складывающейся антенной на крыше. Кстати, идея с балансировкой каналов от разных операторов возникла незадолго до Тёминого похода и применять её думали на ЖД, но тут появился запрос от Лаборатории Касперского и грех было не воспользоваться предложением.

      • +1
        Спасибо за подробный ответ. Если не затруднит еще пару вопросов. Основная задача усилителя была в усилении слабого сигнала от БС или же в повышении выходной мощности слабого передатчика модема?

        Насколько я знаю стандарт предусматривает жесткие ограничения на мощность передачи, поэтому просто так на лицензированном усилителе в БСку много не качнешь. Бегло посмотрел модельный ряд Remotek, увидел всего одну модель 2100 RP-18 WCDMA По паспорту выходная мощность в сторону БС всего 30 мВт, что меня очень удивляет ибо выходная мощность самого 3G модема 500 — 7200 мВт. В чем цимес репитера?

        Или у вас какие то свои не лицензированные усилители, которых по понятным причинам нет на сайтах торговцев? Интересует можно ли повторить с таким оборудованием подключение, не созаст ли это помех оператору и допускается ли работа без лицензии.

        Насколько меняется скорость подключения при использовании усилителя?

        И вопрос конечно про антенны, вы ставили какие то свои операторские или обычные бытовые? Если не секрет какие?
        • 0
          Репитер улучшает сигнал в оба направления.
          30мВт — это к абонентам на самом деле.
          Скорость зависит от модуляции и кодирования. При ухудшении сигнала изменяется модуляция для лучшего распознавания сигнала. Коды назначаются БС в зависимости от предоставляемого сервиса.
  • +1
    В качестве предложения для будущего исследования:

    Если уж Вы знаете расположение всех базовых станций и можете ими управлять, то почему бы не «выжать» весь трафик 3G с помощью следящих направленных антенн. Так Вы поднимите дальность уверенной связи и качество канала.
    Мне кажется, что для описанных задач непрерывное подключение на 14Мбит/с является вполне достаточным. Ведь можно еще сделать и резервирование, работая сразу с 2-3 базовыми станциями.

    Плавал на морском лайнере — там вокруг море и использование спутникового (правда двунаправленного) канала оправдано, но Вы же в пределах видимости берега находитесь.
    • +2
      Интересное предложение.
      Однако любое увеличение мощности на базовой станции может привести к ситуации когда сота схлопнется и у нас будет очень большая дыра вместо покрытия. С этим надо осторожнее.
      Механизмы 3G роуминга подразумевают работу сразу с несколькими базовыми станциями, так что дополнительных мер по резервированию внедрять не нужно.
      • +1
        Нет-нет, я не имел ввиду увеличение мощности передатчика, а использование следящих направленных антен. Например, сразу 3 «полутарелки», каждая из которых направлена на «свою» базовую станцию. В фокусе каждой стоит «выносной» 3G приемник.
        Обычно суда возвышаются над поверхностью на 15-20 метров плюс вышки, стоят тоже на возвышениях. Значит Вы должны увидеть несколько станций даже при очень больших (до 10 км) сотах.
        Задача направить антенну — дело техники.

        Кстати, существует ли система вроде морского радара, которая показывает «розу» интенсивности сигнала 3G? Ее можно использовать для автоориентирования антенн.
        • 0
          Я понял что вы имели ввиду. Чувствительность приемника такой антенны все равно потребует увеличения мощности базовой станции для преодоления уровня помех. Дальше возможно схлопывание и потеря покрытия на участке.
          Довольно сложная конструкция получается. Как это крабоподобное поделие будет переключаться с БС на БС? Спутниковой тарелке приходится следить только за одним бортом и, если возникает необходимость переключения, то переключается на строго заданные координаты в небе с перерывом сервиса. Все БСки не опишешь. Проще добавить базовых станций на популярных участках.
          • 0
            Наверное, Вы правы

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное