Привет, Хабр!

Надеемся, что в Новогодние праздники многие из Вас отлично отдохнули. Но, каникулы закончились. Пора вернуться к машинному обучению и анализу данных. С 25 января мы запускаем третий набор Школы Данных «Билайн».

В прошлом посте мы обещали вам более детально рассказать, чему мы учим на наших занятиях по анализу текстов. В данном посте мы данное обещание исполняем.

Кстати, если вы уже активно занимаетесь анализом и обработкой текстов и хотите попробовать себя, рекомендуем поиграться с задачей The Allen AI Science Challenge на Kaggle=) и заодно поучаствовать в DeepHack, хакатоне по анализу текстов и построению ответных систем.

Про то, чему мы учим на наших занятиях по обработке текстов дальше.

Каждое лето на побережье Черного и Азовского морей обрушивается многомиллионное нашествие туристов, имя которым – отдыхающие.


Курортный сезон в н/п Архипо-Осиповка

От такого количества туристов мобильная сеть испытывает существенные перегрузки. Нам предстояло усилить покрытие на побережье и подготовить мобильную сеть к очередному курортному сезону. Мне довелось отвечать за общетехническую координацию проекта.

Мы уже рассказали о том, как проектировали и стоили наш TIER III ЦОД. Пора уже показать, что получилось.



Сначала на месте дата-центра было чистое поле, затем вырыли здоровенный 100–метровый котлован. Потом дата-центр стал похож на бетонную площадку, а еще позже – из металлоконструкций построили шестиугольное здание, внутри которого расположены шесть модулей ЦОД (на схеме выделены зеленым), «командный центр» для мониторинга магистральной сети по всей стране и офис (подробнее о строительстве можно почитать в публикации «ЦОД нашей мечты в Ярославле: фото строительства и запуска»).



Осторожно, трафик и гикпорн из ярославского дата-центра: 91 фотография только-только запущенного первого модуля, в главном здании кое-где ещё идут финальные работы, но капитального строительства больше не будет.

Северный Полярный Круг – это низкие температуры и вечная мерзлота под ногами. Климат в таких краях резко континентальный и суровый. Но здесь нужна связь. Например, в Салехарде и Лабытнанги.


Суровый зимний климат в г. Салехард

Мы провели модернизацию оборудования мобильной связи в этих городах и развернули новую опорную сеть. Был выполнен «перенос» мобильного коммутатора через реку Обь и осуществлена «телепортация» абонентов на новое оборудование. Я отвечал за организационную и техническую части этого северного проекта.

Когда объявляется крупный онлайн тендер, иногда случается так, что одна заявка приходит довольно быстро, а затем площадка с тендером ложится под крепкой DDoS атакой. Атака странным образом заканчивается в момент окончания тендера. Поскольку одна заявка поступила, именно она и выигрывает. С такой проблемой (как и с обычными DDoS атаками от недоброжелателей и шантажистов) сталкиваются многие наши корпоративные клиенты.

Теперь мы обеспечиваем защиту как сервис. Делается это на двух уровнях: установкой железа Radware DefensePro у клиента и при необходимости переключением трафика на наш центр очистки.



Максимальная мощность атаки — 80 Гб/с (на уровень приложений, более мощные тоже фильтруются, но уже без гарантий по отсутствию потерь легитимного трафика), планируем по мере необходимости расширять до 160. Время от начала до отражения атаки на стороне клиента — 18 секунд максимум, на стороне центра очистки данных — до 40 секунд с учётом времени переключения трафика. При переключении потерь трафика не происходит.