@brainplus read-only
Пользователь
19 ноября 2010 в 14:33

Администрирование → Отчет об экскурсии в самый крупный коммерческий ЦОД России. Построен Мегафоном (этот ЦОД скоро также станет площадкой для хостинга)

В начале ноября Мегафон-Поволжье пригласил 15 блоггеров Самары на экскурсию в свой ЦОД (он на данный момент крупнейший среди всех коммерческих ЦОД в России). Я стал одним из этих 15-ти. В мегафоне не работаю.

ЦОД открылся 8 октября 2010. Инвестиции в проект 900млн руб. Тут прессрелиз, там есть ряд технических характеристик. Строили этот ЦОД 2 года.

На территории ЦОДа общей площадью 6 912 кв. м расположено 6 автозалов площадью 400 м2, электропитающие установки и центр управления. В здании 6 этажей (правда работают только 1ый и 5ый пока, плюс на 5ом автозалов нет — только переговорные комнаты и Центр Управления Мониторинга).

Внешний вид этого 6-ти этажного здания футуристичен:


ЦОД расположен в 20км от города Самара, раньше тут были леса, сейчас там рядом построили ИКЕЮ (аж года 3 назад, но никак ее не запустят в эксплуатацию). Мегафоном куплено 3-4 гектара земли, и если понадобиться еще более расширится, можно будет пристроить еще одно здание рядом с ЦОДом на этой территории.


В ЦОДе сейчас работают 60 ч-к (но естественно в один момент времени всех 60ти там нет, потому что у кого-то выходной, у кого-то другая смена).

ЦОД строился в соответствии с мировым стандартом EIA/TIA-492 «Стандарт на телекоммуникационную инфраструктуру центров обработки данных». Проект отвечает всем требованиям стандарта. Это отдельно стоящее здание, удаленное от жилых построек, располагается в незатопляемой местности. Здесь реализуется 100-процентное резервирование по энергообеспечению (2 независимых ввода электроэнергии), обеспечивается высокая несущая способность полов – до 5 000 кг/м2., действует современная система пожаротушения, безопасная для клиентского оборудования, осуществляется круглосуточная охрана. На территории расположены 2 резервных дизель-генератора (в виде автофургонов). Если в обоих каналах электричество пропадает, в течение 90 секунд все питается от аккумуляторов, и за эти же 90 секунд дизель-генераторы выходят на требуемую мощность и электропитание начинает поступать от этих дизельгенераторов. В общем, с электричеством проблем не будет в любом случае.

Получено предварительное заключение Uptime Institute о соответствии ЦОД уровню надежности TIER III. В начале 2011 года будет получен соответствующий сертификат. Специалисты в рассказах сказали, что если бы не аэропорт в 25км от ЦОДа, то он бы получил 4ый уровень надежности, а не 3ий.

Пропускная способность сети центра – до 200 Гбит/сек.

Обладая собственной масштабной транспортной сетью на территории Поволжья и всей России, «МегаФон» гарантирует максимально надежную трансмиссию ВОЛС и дополнительное резервирование каналов. Волоконно-оптические линии подведены разными маршрутами, что обеспечивает дополнительное резервирование каналов в случае обрыва.

У ЦОДа даже есть пара своих скважин для добычи воды.

В общем, отличное место для облачного хостинга.

Мегафаон планирует предоставлять услуги collocation (размещения сторонних серваков) в данном ЦОДе. Но только объемами от одной стойки и выше (то есть один сервер поставить туда не дадут). Интересующимся обращаться в отдел корпоративных клиентов Мегафона. В пресс-релизе сказано что Мегафон собирается также и заняться хостингом (по слухам — в том числе и виртуальным хостингом).

Этот ЦОД — первый из сети ЦОДов, которые Мегфон планирует построить по всей стране.

Репортаж с экскурсии



Эксурсия проходила 13 ноября, в субботу (это был рабочий день в России). В 16-00 около центрального офиса Мегафона нас погрузили в микроавтобус и повезли в ЦОД. В начале пути нам раздали распечатанные пресс-релизы (первая ссылка в посте) и бахилы. Ехали примерно час (потому что попали в пробки).

На КПП у ворот у каждого из нас проверили паспорта, и пропустили внутрь.

Аптайм обеспечивается даже у елочек рядом со зданием! (там дуют сильные ветра)



Что немного опечалило — вайфай внутри ЦОДа — платный («мегафон-wifi»), очевидно потому что ПОКА никого помимо сотрудников Мегафона в ЦОДе не бывает.

На входе специально обученные роботы одевают бахилы на любые засунутые в них части тела. Потому что в ЦОДе грязи и пыли нет места. Курить в помещении ЦОДа тоже нельзя, для этого приходится выходить на улицу.


Сотрудники Мегафона, проводившие блоггеров по ЦОДу и рассказывающие о нем (CTO — слева на снимке). Они тоже в бахилах.


Эксурсанты + 2 девушки сотрудницы Мегафона:


Вход в первый машзал


В действующем машзале. Одна половина машзала пустая — так что места для стоек клиентов collocation найдется даже на этом этаже. А таких этажей с машзалами еще 4 (но в них пока ведется отделка). С потолка свисают системы пожаротушения.


Далее мы перешли в половину зала, где стоят стойки.



Внутри машзала нереальный шум из-за систем вентиляции и работы серверов, разговаривать можно только стоя в 1 метре от человека.



Блоггеры продолжали активно все фотографировать.


По словам инженеров, более 50% компов — под юникс-подобными ОС (а что же вы хотели!). Есть solaris, есть hpux, есть линукс. А СУБД в Мегафоне — Оракл.











Поднял руку с фотиком и сфоткал этот машзал:


Опять в пустой половине машзала. Видны системы пожаротушения на потолке.


Вот такой фасад у здания. Дырки сквозные — для отдачи тепла.


«Комната сторонних операторов» на 5ом этаже.


Потом мы пошли в центр управления мониторингом на 5ом этаже.


Там на всю стену огромный экран. 28 проекторов, стоящих за ним, выводят на него различную информацию по процессам, происходящим в оборудовании Мегафона в нескольких городах поволжья


Содержимое экрана.


Кажется на одном показан объем трафика, проходящего через сотовую сеть, в зависимости от времени суток.


тут структура собственной сети каналов Мегафон и кажется траффик в каждом из городов Поволжья от времени суток.


На всех компьютерах что стояли в ЦУМе — виндовс. Но некоторые используюся как терминальные клиенты для захода в юниксы — на некоторых экранах было видно окна, написанные на Motif.


Потом нас отвели в отдельный зал и показали кино про ЦОД (3Д-модель здания, местность и тд). К сожалению, по сообщению пиарслужбы компании, этого ролика онлайн никогда не будет.


После показа ролика нас повели перекусить в комнату для приема пищи для всех работников ЦОДа. Там есть холодильник и микроволновка.


И в процессе мы продолжали общаться с сотрудниками Мегафона, которые проводили для нас эту экскурсию.


После этого сотрудники Мегафона вручил каждому пакетики с памятными подарками — кружку, мячик, и даже «летающий будильник» — все брендированное.

После этого отвезли обратно к центральному офису Мегафона.

Все было отлично организовано и нереально позновательно (крупнейший коммерческий ЦОД России однако), огромное спасибо Мегафону за эту экскурсию, и всем сотрудникам, приложившим руку к ее организации.

@brainplus
карма
–18,0
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое Администрирование

Комментарии (72)

  • НЛО прилетело и опубликовало эту надпись здесь
  • 0
    Туда часть смены перевезли из башни?
    • 0
      честно скажу — не знаю
    • 0
      туа часть башни перевезли на постоянку. в частности тех.отдел
    • 0
      Туда перевезли все тех отделы из Фрегата вообще, осталось только администрация и менеджмент.
    • 0
      В башне смены никогда не было :) Перевезли всю.
  • +2
    Доводилось пользоваться пару раз этим автоматическим роботом для бахил. С первого раза не всегда получается )) Поэтому там частенько на дисплее нечетное число оставшихся бахил )
    • –4
      И где можно найти контакты девушки в белой футболке Мегафон? =)
      • –4
        А мне больше рыжеволосая девушка в очках понравилась :)
        • +12
          ну и вкусы у вас, господа…
          • НЛО прилетело и опубликовало эту надпись здесь
            • +1
              Но их не мало, от этого они прекраснее не становятся… Слишком мало действительно красивых.
        • –1
        • 0
      • –1
        Не знаю где взять контакты, но ещё немного её фотографий есть здесь в конце: kukaev.livejournal.com/719253.html
  • +1
    Больше всего впечатляет 5 тонн на метр.
    Бывшим коллегам из МСС-Поволжье, привет! :)
    • 0
      там вроде не на всех этажах 5 тонн на метр, на некоторых поменьше.
      • 0
        Даже на некоторых это сильно! Очень большой запас прочности.

        Основная проблема нынешних ЦОДов — использование зданий не предназначенных для таких целей и обеспечение электроэнергией в достаточном объеме. При этом, любая из этих проблем может стать ключевой в плане пригодности ЦОДа к использованию.
    • 0
      Привет привет :)
  • +2
    Лучше бы леса оставили.
    • –1
      Они уже обои поклеили. Леса можно было убрать.

      PS За 900 лимонов — весьма неплохо… мы тут на 5 небольшую серверную собрали.
  • +1
    Скажите парню в полосатом свитере, что у него бахилы не наделись.
    Ходют тут всякие и топчут…
    • +1
      Это диверсант МТС, его задача занести пыль на территорию ЦОД.
      • +1
        у меня мегафон с 2004 года, если что ;)
    • –1
      Превед, капитан очевидность! :)
  • +2
    А ИКЕЮ не откроют скорее всего — привет чинушам :(
    • 0
      вот у кого проблемы с электричеством! (если конечно эта ТА САМАЯ икея)
  • 0
    Да, не умеют у нас строить так, чтобы леса не вырубать. За обзор спасибо.
  • +27
    Куча отвратительных фотографий.
    Никакой интересной информации.

    Это отчет?
    • +2
      Всю инфу, которой я обладал, я написал в отчете. Фотографировал на плохой фотик, есть такой момент.

      Другие блоггеры тоже написали отчеты. Там фотки существенно лучше.
      Вот пример одного из отчетов sv-bob.livejournal.com/229004.html — посмотрите, и скажите какой из отчетов более интересен.
      • 0
        это хоть более увлекательно, спасибо за ссылку
      • +1
        -Ваш фотоаппарат делает отличные снимки!
        -Ваш рот делает отличные комплименты!
  • +1
    Цитата из прессрелиза
    Пропускная способность по энергосбережению сети центра – до 200 Гбит/сек
    Это как понимать?
    • 0
      Это коммерческая тайна :-)

  • +1
    HP,SUN,HUAWEI,NOKIA…
    не понимаю, зачем городить такой зоопарк?
    • –1
      а мне бы узнать зачем в мегафоне венда на серверах…
      • +1
        Задач полно, потому и зоопарк.
      • +1
        Как минимум для поднятия AD и офисной инфраструктуры
    • 0
      Ни один из указанных вендоров не может обеспечить полный комплект оборудования для работы сотового оператора. Плюс, так сложилось по историческим причинам.
    • 0
      Потому что там оборудование не только мегафона. Но и компаний которые там арендуют места.
      • 0
        Сейчас там оборудование только Мегафона, ну плюс от ФСБ. Пока никто не арендует места.
        • 0
          Я конечно не могу утверждать абсолютно, но Синтерра предлагала нам размещать в региональных цодах оборудование.
          Да и на мониторинге видно рутюб и мэил
          www.mobile-review.com/articles/2010/image/data-mega-samara/pic/Low/552.jpg
        • +1
          Нет там никакого оборудования ФСБ :) Есть для ФСБ.
          • 0
            Я говорю на основании слов представителей Мегафона на этой экскурсии :)
            • 0
              :) А я как сотрудник МегаФон. Принимавший участие в проектировании ИТ части ЦОД.
            • 0
              Впрочем, это не суть важно.
  • 0
    А про МТС и Билайн будет? Очень интересно посмотреть
    • 0
      Если пригласят — то может и будет.
  • 0
    познавательно
  • 0
    Забавно было прочитать этот отчет сразу после habrahabr.ru/blogs/infosecurity/108464/.
  • НЛО прилетело и опубликовало эту надпись здесь
  • 0
    > Пропускная способность сети центра – до 200 Гбит/сек.

    Я так понимаю, это не канал во внешний мир, а внутренняя скорость? Или, может, вообще сумма всех ethernet-портов серверов? Метрики отсутствуют, а маркетолухи могут что угодно написать, дай только волю.
    • 0
      думаю что внутренняя. Серверов там слишком много чтобы всего 200Гбит было в сумме
    • 0
      Запросто и внешняя. Это же Синтерра.
  • 0
    зачем делать такой плохой отчет?
    • 0
      чем именно он плох (кроме низкого качества фоток — но мы как бы не фотокружок; с удовольствием получу от вас зеркалку в подарок на будущее)?

      • 0
        не, я понимаю, обидно када свое.
        будете проездом в минске — устроим)
        • 0
          ок, ловлю на слове.
  • 0
    ок, ловлю на слове.
  • 0
    Если кому-то интересно, то в шкафах HP — система хранения HP EVA 6400 или 8400.
    • 0
      Гениально, открою тебе секрет, только 8100 и 8400
      • 0
        Ну по фотографиям более точно я определить не мог. А вот про 8100 не думал, так как уже предыдущее поколение.
        • 0
          То, что предыдущее, еще не значит что выбросить нужно :-)
          • 0
            Ну так я думал, что все оборудование закупали. А 8100 еще в сентябре прошлого года с производства сняли. Получается перевезли с предыдущего места обитания?
            • 0
              Да, и такое тоже :) Это даже не 3я имеющаяся площадка МегаФон в Самаре
  • 0
    Скромненько. Ни тебе «больших утюгов», ни сентер. Да и безопасность + стерильность очень так себе построена. Кстати, когда бывал в по-настоящему большом ЦОДе, настоятельно просили всю электронику (мобильники, камеры и т.д.) выключать—большим серьёзным системам (от IBM, DEC (да-да!), HP (PA-RISC)) не нравится излишнее электромагнитное излучение.
    • +1
      Большие «холодильники» пока в другом месте :) По поводу сотовых полный бред — ничего не влияет на сервера и СХД, специально даже делали запрос вендору.
    • 0
      Вы не поверите, но в ЦОДах мобильных операторов, например в залах где расположены MSC (коммутаторы мобильной сети), даже устанавливаются тестовые BS (базовые станции, с емкостью на передатчиках естественно) и делаются вызовы. И на стоящее в соседних рядах оборудование SUN, HP, IBM, EMC2 и т.д. это ни коим образом не влияет. Так что либо Вас ввели в заблуждение, либо скрыли цели… либо уж что-то очень специальное там стоит, чего в ЦОД мобильных операторов мне за 5 лет работы с ними не встречалось.
  • +2
    На самом деле — все «вкусное» — большие «холодильники» и прочие красивые дорогие игрушки еще не завезли по некоторым причинам. Так что рановато сходили на экскурсию.
  • 0
    Как то там в целом все выглядит скучно и грустно…
  • 0
    Красивые слова о чистоте, нарочитое внимание бахилам и обувающим в них роботам… и такая пыль и грязища прямо в действующем машзале:


Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.