Отчет об экскурсии в самый крупный коммерческий ЦОД России. Построен Мегафоном (этот ЦОД скоро также станет площадкой для хостинга)

    В начале ноября Мегафон-Поволжье пригласил 15 блоггеров Самары на экскурсию в свой ЦОД (он на данный момент крупнейший среди всех коммерческих ЦОД в России). Я стал одним из этих 15-ти. В мегафоне не работаю.

    ЦОД открылся 8 октября 2010. Инвестиции в проект 900млн руб. Тут прессрелиз, там есть ряд технических характеристик. Строили этот ЦОД 2 года.

    На территории ЦОДа общей площадью 6 912 кв. м расположено 6 автозалов площадью 400 м2, электропитающие установки и центр управления. В здании 6 этажей (правда работают только 1ый и 5ый пока, плюс на 5ом автозалов нет — только переговорные комнаты и Центр Управления Мониторинга).

    Внешний вид этого 6-ти этажного здания футуристичен:


    ЦОД расположен в 20км от города Самара, раньше тут были леса, сейчас там рядом построили ИКЕЮ (аж года 3 назад, но никак ее не запустят в эксплуатацию). Мегафоном куплено 3-4 гектара земли, и если понадобиться еще более расширится, можно будет пристроить еще одно здание рядом с ЦОДом на этой территории.


    В ЦОДе сейчас работают 60 ч-к (но естественно в один момент времени всех 60ти там нет, потому что у кого-то выходной, у кого-то другая смена).

    ЦОД строился в соответствии с мировым стандартом EIA/TIA-492 «Стандарт на телекоммуникационную инфраструктуру центров обработки данных». Проект отвечает всем требованиям стандарта. Это отдельно стоящее здание, удаленное от жилых построек, располагается в незатопляемой местности. Здесь реализуется 100-процентное резервирование по энергообеспечению (2 независимых ввода электроэнергии), обеспечивается высокая несущая способность полов – до 5 000 кг/м2., действует современная система пожаротушения, безопасная для клиентского оборудования, осуществляется круглосуточная охрана. На территории расположены 2 резервных дизель-генератора (в виде автофургонов). Если в обоих каналах электричество пропадает, в течение 90 секунд все питается от аккумуляторов, и за эти же 90 секунд дизель-генераторы выходят на требуемую мощность и электропитание начинает поступать от этих дизельгенераторов. В общем, с электричеством проблем не будет в любом случае.

    Получено предварительное заключение Uptime Institute о соответствии ЦОД уровню надежности TIER III. В начале 2011 года будет получен соответствующий сертификат. Специалисты в рассказах сказали, что если бы не аэропорт в 25км от ЦОДа, то он бы получил 4ый уровень надежности, а не 3ий.

    Пропускная способность сети центра – до 200 Гбит/сек.

    Обладая собственной масштабной транспортной сетью на территории Поволжья и всей России, «МегаФон» гарантирует максимально надежную трансмиссию ВОЛС и дополнительное резервирование каналов. Волоконно-оптические линии подведены разными маршрутами, что обеспечивает дополнительное резервирование каналов в случае обрыва.

    У ЦОДа даже есть пара своих скважин для добычи воды.

    В общем, отличное место для облачного хостинга.

    Мегафаон планирует предоставлять услуги collocation (размещения сторонних серваков) в данном ЦОДе. Но только объемами от одной стойки и выше (то есть один сервер поставить туда не дадут). Интересующимся обращаться в отдел корпоративных клиентов Мегафона. В пресс-релизе сказано что Мегафон собирается также и заняться хостингом (по слухам — в том числе и виртуальным хостингом).

    Этот ЦОД — первый из сети ЦОДов, которые Мегфон планирует построить по всей стране.

    Репортаж с экскурсии



    Эксурсия проходила 13 ноября, в субботу (это был рабочий день в России). В 16-00 около центрального офиса Мегафона нас погрузили в микроавтобус и повезли в ЦОД. В начале пути нам раздали распечатанные пресс-релизы (первая ссылка в посте) и бахилы. Ехали примерно час (потому что попали в пробки).

    На КПП у ворот у каждого из нас проверили паспорта, и пропустили внутрь.

    Аптайм обеспечивается даже у елочек рядом со зданием! (там дуют сильные ветра)



    Что немного опечалило — вайфай внутри ЦОДа — платный («мегафон-wifi»), очевидно потому что ПОКА никого помимо сотрудников Мегафона в ЦОДе не бывает.

    На входе специально обученные роботы одевают бахилы на любые засунутые в них части тела. Потому что в ЦОДе грязи и пыли нет места. Курить в помещении ЦОДа тоже нельзя, для этого приходится выходить на улицу.


    Сотрудники Мегафона, проводившие блоггеров по ЦОДу и рассказывающие о нем (CTO — слева на снимке). Они тоже в бахилах.


    Эксурсанты + 2 девушки сотрудницы Мегафона:


    Вход в первый машзал


    В действующем машзале. Одна половина машзала пустая — так что места для стоек клиентов collocation найдется даже на этом этаже. А таких этажей с машзалами еще 4 (но в них пока ведется отделка). С потолка свисают системы пожаротушения.


    Далее мы перешли в половину зала, где стоят стойки.



    Внутри машзала нереальный шум из-за систем вентиляции и работы серверов, разговаривать можно только стоя в 1 метре от человека.



    Блоггеры продолжали активно все фотографировать.


    По словам инженеров, более 50% компов — под юникс-подобными ОС (а что же вы хотели!). Есть solaris, есть hpux, есть линукс. А СУБД в Мегафоне — Оракл.











    Поднял руку с фотиком и сфоткал этот машзал:


    Опять в пустой половине машзала. Видны системы пожаротушения на потолке.


    Вот такой фасад у здания. Дырки сквозные — для отдачи тепла.


    «Комната сторонних операторов» на 5ом этаже.


    Потом мы пошли в центр управления мониторингом на 5ом этаже.


    Там на всю стену огромный экран. 28 проекторов, стоящих за ним, выводят на него различную информацию по процессам, происходящим в оборудовании Мегафона в нескольких городах поволжья


    Содержимое экрана.


    Кажется на одном показан объем трафика, проходящего через сотовую сеть, в зависимости от времени суток.


    тут структура собственной сети каналов Мегафон и кажется траффик в каждом из городов Поволжья от времени суток.


    На всех компьютерах что стояли в ЦУМе — виндовс. Но некоторые используюся как терминальные клиенты для захода в юниксы — на некоторых экранах было видно окна, написанные на Motif.


    Потом нас отвели в отдельный зал и показали кино про ЦОД (3Д-модель здания, местность и тд). К сожалению, по сообщению пиарслужбы компании, этого ролика онлайн никогда не будет.


    После показа ролика нас повели перекусить в комнату для приема пищи для всех работников ЦОДа. Там есть холодильник и микроволновка.


    И в процессе мы продолжали общаться с сотрудниками Мегафона, которые проводили для нас эту экскурсию.


    После этого сотрудники Мегафона вручил каждому пакетики с памятными подарками — кружку, мячик, и даже «летающий будильник» — все брендированное.

    После этого отвезли обратно к центральному офису Мегафона.

    Все было отлично организовано и нереально позновательно (крупнейший коммерческий ЦОД России однако), огромное спасибо Мегафону за эту экскурсию, и всем сотрудникам, приложившим руку к ее организации.

    Поделиться публикацией
    Реклама помогает поддерживать и развивать наши сервисы

    Подробнее
    Реклама
    Комментарии 72
    • НЛО прилетело и опубликовало эту надпись здесь
      • 0
        Туда часть смены перевезли из башни?
        • 0
          честно скажу — не знаю
          • 0
            туа часть башни перевезли на постоянку. в частности тех.отдел
            • 0
              Туда перевезли все тех отделы из Фрегата вообще, осталось только администрация и менеджмент.
              • 0
                В башне смены никогда не было :) Перевезли всю.
              • +2
                Доводилось пользоваться пару раз этим автоматическим роботом для бахил. С первого раза не всегда получается )) Поэтому там частенько на дисплее нечетное число оставшихся бахил )
                • –4
                  И где можно найти контакты девушки в белой футболке Мегафон? =)
              • +1
                Больше всего впечатляет 5 тонн на метр.
                Бывшим коллегам из МСС-Поволжье, привет! :)
                • 0
                  там вроде не на всех этажах 5 тонн на метр, на некоторых поменьше.
                  • 0
                    Даже на некоторых это сильно! Очень большой запас прочности.

                    Основная проблема нынешних ЦОДов — использование зданий не предназначенных для таких целей и обеспечение электроэнергией в достаточном объеме. При этом, любая из этих проблем может стать ключевой в плане пригодности ЦОДа к использованию.
                  • 0
                    Привет привет :)
                  • +2
                    Лучше бы леса оставили.
                    • –1
                      Они уже обои поклеили. Леса можно было убрать.

                      PS За 900 лимонов — весьма неплохо… мы тут на 5 небольшую серверную собрали.
                    • +1
                      Скажите парню в полосатом свитере, что у него бахилы не наделись.
                      Ходют тут всякие и топчут…
                      • +1
                        Это диверсант МТС, его задача занести пыль на территорию ЦОД.
                        • +1
                          у меня мегафон с 2004 года, если что ;)
                        • –1
                          Превед, капитан очевидность! :)
                        • +2
                          А ИКЕЮ не откроют скорее всего — привет чинушам :(
                          • 0
                            вот у кого проблемы с электричеством! (если конечно эта ТА САМАЯ икея)
                          • 0
                            Да, не умеют у нас строить так, чтобы леса не вырубать. За обзор спасибо.
                            • +27
                              Куча отвратительных фотографий.
                              Никакой интересной информации.

                              Это отчет?
                              • +2
                                Всю инфу, которой я обладал, я написал в отчете. Фотографировал на плохой фотик, есть такой момент.

                                Другие блоггеры тоже написали отчеты. Там фотки существенно лучше.
                                Вот пример одного из отчетов sv-bob.livejournal.com/229004.html — посмотрите, и скажите какой из отчетов более интересен.
                                • 0
                                  это хоть более увлекательно, спасибо за ссылку
                                  • +1
                                    -Ваш фотоаппарат делает отличные снимки!
                                    -Ваш рот делает отличные комплименты!
                                • +1
                                  Цитата из прессрелиза
                                  Пропускная способность по энергосбережению сети центра – до 200 Гбит/сек
                                  Это как понимать?
                                  • 0
                                    Это коммерческая тайна :-)

                                  • +1
                                    HP,SUN,HUAWEI,NOKIA…
                                    не понимаю, зачем городить такой зоопарк?
                                    • –1
                                      а мне бы узнать зачем в мегафоне венда на серверах…
                                      • +1
                                        Задач полно, потому и зоопарк.
                                        • +1
                                          Как минимум для поднятия AD и офисной инфраструктуры
                                        • 0
                                          Ни один из указанных вендоров не может обеспечить полный комплект оборудования для работы сотового оператора. Плюс, так сложилось по историческим причинам.
                                          • 0
                                            Потому что там оборудование не только мегафона. Но и компаний которые там арендуют места.
                                            • 0
                                              Сейчас там оборудование только Мегафона, ну плюс от ФСБ. Пока никто не арендует места.
                                        • 0
                                          А про МТС и Билайн будет? Очень интересно посмотреть
                                          • 0
                                            Если пригласят — то может и будет.
                                          • 0
                                            познавательно
                                            • 0
                                              Забавно было прочитать этот отчет сразу после habrahabr.ru/blogs/infosecurity/108464/.
                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                • 0
                                                  > Пропускная способность сети центра – до 200 Гбит/сек.

                                                  Я так понимаю, это не канал во внешний мир, а внутренняя скорость? Или, может, вообще сумма всех ethernet-портов серверов? Метрики отсутствуют, а маркетолухи могут что угодно написать, дай только волю.
                                                  • 0
                                                    думаю что внутренняя. Серверов там слишком много чтобы всего 200Гбит было в сумме
                                                    • 0
                                                      Запросто и внешняя. Это же Синтерра.
                                                    • 0
                                                      зачем делать такой плохой отчет?
                                                      • 0
                                                        чем именно он плох (кроме низкого качества фоток — но мы как бы не фотокружок; с удовольствием получу от вас зеркалку в подарок на будущее)?

                                                        • 0
                                                          не, я понимаю, обидно када свое.
                                                          будете проездом в минске — устроим)
                                                    • 0
                                                      ок, ловлю на слове.
                                                      • 0
                                                        Если кому-то интересно, то в шкафах HP — система хранения HP EVA 6400 или 8400.
                                                        • 0
                                                          Гениально, открою тебе секрет, только 8100 и 8400
                                                          • 0
                                                            Ну по фотографиям более точно я определить не мог. А вот про 8100 не думал, так как уже предыдущее поколение.
                                                            • 0
                                                              То, что предыдущее, еще не значит что выбросить нужно :-)
                                                              • 0
                                                                Ну так я думал, что все оборудование закупали. А 8100 еще в сентябре прошлого года с производства сняли. Получается перевезли с предыдущего места обитания?
                                                                • 0
                                                                  Да, и такое тоже :) Это даже не 3я имеющаяся площадка МегаФон в Самаре
                                                        • 0
                                                          Скромненько. Ни тебе «больших утюгов», ни сентер. Да и безопасность + стерильность очень так себе построена. Кстати, когда бывал в по-настоящему большом ЦОДе, настоятельно просили всю электронику (мобильники, камеры и т.д.) выключать—большим серьёзным системам (от IBM, DEC (да-да!), HP (PA-RISC)) не нравится излишнее электромагнитное излучение.
                                                          • +1
                                                            Большие «холодильники» пока в другом месте :) По поводу сотовых полный бред — ничего не влияет на сервера и СХД, специально даже делали запрос вендору.
                                                            • 0
                                                              Вы не поверите, но в ЦОДах мобильных операторов, например в залах где расположены MSC (коммутаторы мобильной сети), даже устанавливаются тестовые BS (базовые станции, с емкостью на передатчиках естественно) и делаются вызовы. И на стоящее в соседних рядах оборудование SUN, HP, IBM, EMC2 и т.д. это ни коим образом не влияет. Так что либо Вас ввели в заблуждение, либо скрыли цели… либо уж что-то очень специальное там стоит, чего в ЦОД мобильных операторов мне за 5 лет работы с ними не встречалось.
                                                            • +2
                                                              На самом деле — все «вкусное» — большие «холодильники» и прочие красивые дорогие игрушки еще не завезли по некоторым причинам. Так что рановато сходили на экскурсию.
                                                              • 0
                                                                Как то там в целом все выглядит скучно и грустно…
                                                                • 0
                                                                  Красивые слова о чистоте, нарочитое внимание бахилам и обувающим в них роботам… и такая пыль и грязища прямо в действующем машзале:


                                                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.