Как выбрать дата-центр для ИТ-проекта в России: аптайм, деньги и общая адекватность



    Команда проекта King Servers столкнулась с необходимостью перевезти свою инфраструктуру из одного российского дата-центра в другой. В этом материале мы рассказываем о сложностях, с которыми столкнулись, и делимся практически советами по выбору новой площадки для размещения оборудования.

    Предыстория


    Задуматься о переводе инфраструктуры в новый дата-центр нас заставила задуматься жизнь. В какой-то момент стабильность его работы перестала соответствовать потребностям нашего бизнеса. Если раньше нам было достаточно надежности по стандарту TIER-2, то с развитием компании и ростом числа клиентов нам потребовалась уже надежность TIER-3, которую наша старая площадка обеспечить уже не могла.

    Решить проблему можно было только с помощью переезда. К процессу решили подойти основательно и провели небольшое исследование рынков дата-центров в России.

    Муки выбора


    У нас было четыре основных требования к будущему ЦОД:

    • сертификация по уровню надежности TIER-3 Uptime Institute;
    • техподдержка, которая сможет оказать помощь при установке оборудования в стойки;
    • адекватная стоимость услуг;
    • положительные отзывы клиентов.

    Этим критериям соответствовали 6 дата-центров. Мы проанализировали предложения всех из них, особенное внимание уделив московским площадкам.

    Первые сюрпризы начались уже на этапе согласования стоимости услуг — к примеру, нам попадались организации, которые расхваливали свои дата-центры и говорили о высокой надежности, но при этом предлагали цены в 2-2,5 раза выше средних по остальным площадкам.

    Кроме того, некоторые площадки в погоне за клиентом готовы были приукрашивать действительность. Например, пару раз в ходе переговоров нам обещали компенсации в размере 100% месячной стоимости услуг при простое более 5 минут, однако впоследствии в присланном договоре компенсация составляла 1% — то есть по факту, никаких гарантий надежности нам не давали.

    После раунда переговоров с администрацией всех интересующих площадок, было решено переезжать в московский дата-центр компании DataPro. Переезд планировался в несколько этапов — впоследствии это решение оказалось не очень удачным.

    Нельзя просто так взять и переехать


    После согласования деталей сотрудничества с выделенным нам менеджером, мы запланировали переезд. В назначенный день начались наши приключения.

    С самого начала все пошло не по плану. Прежде всего, инженеры площадки не смогли заранее подготовить стойку, и собирали её уже в день переезда — из-за этого мы лишились времени на проверку сетевого оборудования.

    При этом работники дата-центра хотели дождаться приезда всего нашего оборудования и лишь затем окончательно собирать и подключать стойку. Нам с помощью серьезных усилий удалось уговорить коллег все же собрать стойку до того, как привезут серверы. На тот момент в дата-центр уже доставили сетевое оборудование — коммутаторы и главный маршрутизатор, доставка самих серверов планировалась на втором этапе. Когда стойку с сетевым железом все же собрали, выяснилось, что один из коммутаторов не работает — до переезда с ним не было проблем.

    Нам удалось оперативно найти аутсорсинговую компанию, которая могла привезти нам коммутатор в день переезда — это была суббота. Однако в DataPro нам отказали в доставке оборудования — принять его без одобрения службы безопасности дата-центра было никак нельзя, а по выходным у ее сотрудников были выходные. Интересно здесь другое — изначально доставка всех наших серверов планировалась именно на этот день, и это не вызвало замечаний у нашего менеджера. По факту оказалось, что даже если бы все наше железо привезли, то обслуживать наших клиентов было бы невозможно до выхода на работу безопасников площадки в понедельник.

    В итоге мы решили отменить переезд в DataPro и прекратить сотрудничество с этой площадкой. Однако на этом история не закончилась, и мы столкнулись с проблемами с вывозом уже доставленного туда оборудования. На эвакуацию коммутаторов у нас ушло больше месяца — отвечающие за работу с нами менеджеры попеременно уходили в отпуск или уезжали в командировки.

    Также нужно было согласовать и подписать множество бумаг — например, от нас требовали подписать акты ввода в эксплуатацию, что по условиям договора обязывало бы нас размещать оборудование в этом дата-центре в течение 12 месяцев. Мы не готовы были это подписывать, а без подписи нам отказывались отдавать оборудование — ситуация разрешилась лишь после звонка руководителя компании замдиректора DataPro. По итогам непростой беседы ситуацию удалось урегулировать — нам не вернули деньги за установку стойки, хотя мы в нее так и не въехали, однако оборудование удалось забрать.

    Попытка номер два


    Неудачный первый опыт не мог остановить наш переезд, поэтому мы с новыми силами взялись за переговоры с различными дата-центрами. На этот раз выбор пал на площадку DataLine — с ней нам удалось составить устраивающий обе стороны договор, в котором нужные гарантии бесперебойной работы были прописаны на бумаге, а не озвучены лишь на словах.

    Кроме того, в отличие от многих российских площадок, которые лишь заявляют о «соответствие стандартам TIER-3», дата-центр DataLine реально прошел дорогостоящую сертификацию Uptime Institute и указан на сайте организации.



    Описание полученных дата-центром сертификатов

    В назначенный день наше оборудование приняли на площадке без лишних проволочек и бюрократии, наша стойка была подготовлена за несколько дней до переезда основной части оборудования, мы получили удаленный доступ к коммутаторам и смогли все заранее настроить и проверить.

    При переезде совсем без нештатных ситуаций обойтись практически невозможно — так было и в этот раз. Оказалось, что у смены инженеров DataLine недостаточно кабелей питания для подключения нашего оборудования — те, что мы привезли с собой не подходили к установленным на площадке розеткам. Выяснилось все это уже в ночь переезда, но это не помешало команде дата-центра получить разрешение на открытие основного склада, чтобы добрать нужное количество шнуров питания — все это удалось проделать просто по звонку, без длительной переписки.

    В итоге переезд прошел без серьезных проблем, и наши клиенты получили более высокий уровень сервиса, чем раньше.

    Заключение: 3 совета по выбору дата-центра


    В завершение, дадим несколько советов, которые помогут избежать проблем при выборе российского дата-центра для перевоза инфраструктуры:

    • Важно проверять соответствие устных обещаний тексту договора — распространенная проблема, при которой менеджеры по продажам ради закрытия сделки обещают то, что затем компания не может выполнить. Например, гарантии отказоустойчивости и высокие компенсации за простой — часто озвученные на переговорах условия становятся значительно хуже в финальном тексте договора.
    • Переезд должен проходить в несколько этапов — как показал наш опыт, полностью доверять новой площадке сразу не стоит, если бы наш переезд в первый дата-центр не был разбит на несколько этапов, и если бы уже на самом первом не возникли проблемы с ввозом оборудования, то мы рисковали бы начать рабочую неделю в офлайне.
    • От переезда никогда не поздно отказаться — дата-центр для ИТ-проекта является одним из самых главных партнеров, поэтому при возникновении сомнений в адекватности контрагента и различии подходов к работе, как это случилось у нас, лучше отменить переезд. Это поможет еще раз проанализировать ситуацию и найти по-настоящему подходящую площадку.
    King Servers 110,87
    Хостинг-провайдер «King Servers»
    Поделиться публикацией
    Комментарии 22
    • 0
      В заголовке написано
      аптайм, деньги и общая адекватность

      Первый и третий пункт освещены, а деньги нет(
      • +2
        Мнение работника ЦОДа.
        1. ЦОД рассчитан на определённое кол-во стоек и они уже должны там стоять. Поэтому всё что нужно от стойки для её сдачи — это подключить её к питанию (для этого надо знать какая будет нагрузка на стойке, для этого нужен список ввозимого оборудования). Поэтому «собирать» стойку в день переезда клиента — странно. Либо у них ещё не все стойки скоммутированы, то есть ЦОД — новый.
        2. Обычно компании (которые от 5 серверов) сначала привозят какой нибудь dlink маршрутизатор, мы выделяем ему внешний ip и таким образом они тестируют переезд в ЦОД.
        3. Tier 3. Лично я вижу что это бОльше маркетинг. Tier гарантирует аптайм ЦОДа, но он не гарантирует аптайм вашего оборудования! Поэтому когда вы читаете, что Tier безотказность 99.9, то это не означает что ваши сервера будут работать 99.9.
        • 0
          По третьему пункту:
          Так-то оно так, но всё же это задаёт верхний предел аптайма клиентского оборудования, т.е. если будет лежать инфраструктура, сервера уж точно не будут доступны. Так что это тоже важно и не «чисто маркетинг».
        • +1
          Ок, понятно. В DataPro ни ногой.
          • +2
            Тоже недавно переезжали. Поездили по всем ЦОДам, которые нас устраивали по стоимости, пообщались, посмотрели. В итоге выбирали между DataLine и Linx, по ряду причин выбрали второй, хотя DataLine в принципе тоже предлагал хорошие условия. За полгода впечатления только положительные, пожаловаться не на что.
            • 0
              Кстати, а вы пока выбирали, какие размеры стойки себе хотели, какие предлагали, какие были варианты и компромиссы?
              Обычно вроде бы 600х800 предлагают. По глубине в принципе не сложно договориться, а вот с шириной — это прям проблема какая. Экономисты как посчитали, что в ряду N количество стоек должно быть, так и мучайтесь заказчики со своим телекоммуникационным оборудованием. С серверами проблем не так много, хотя спагетти растягивать внутри стойки всё равно не удобно. А вот как быть с SDH, PDH, да даже с коммутатором с большим количеством занятых портов с ВРУ оптического кабеля…
              • 0
                Есть нюанс, ребята заезжали в Датапро без подписанного даже договора, без собранного канала — просто вот так нахаляву привезли железки без оплаты, без бумаг и хотели их монтировать уже. Это просто подстава своих клиентов так поступать. Обычно сначала договор, стойки, кроссировки, тестовый прогон сети на неделю и потом плавный переезд по 5-6 серверов за раз.
                • –1
                  У вас не до конца верная информация. А кто вам вообще ее дал? Датапро? конфиденциальность, не, не слышали?
                  Подписывать договор на то, что в дальнейшем не устроит? Мне вас жаль )
                  • 0
                    т.е. я правильно понимаю что Ваша уважаемая компания начала переезжать в большой серьезный ЦОД, даже не подписав контракта и не подготовив площадку и не протестировав связь и оборудование? Сразу тащить туда живых клиентов? Мне вас жаль )
                    У нас-то все с Датапро отлично, дело к 50 стойкам там идет — мы переезжали в 4 захода из двух ЦОД, все тщательно подготовив и объединив сети. Нас все устраивает, но всегда можно лучще. Нет ничего удивительного, что некоторые регламенты вноса/выноса сложны в исполнении и требуют тщательного исполнения, особенно когда речь идет про дорогостоящее оборудование.
                    • +2
                      Мне кажется тут вопрос не в том, что договора не было, а в том, что менеджер пролюбил вообще момент, что они туда что то хотят привезти, а потом ещё и ДЦ не в состояние был решить вопрос со службой безопасности в выходные, ради не самого незначительного клиента (я уж по факту не знаю, насколько они там больше и сколько денег обещали платить).
                      Со стороны это выглядит не очень.
                      По себе знаю, что в оказание услуг связи, телематике и т.п. есть моменты, когда с исполнение задачи надо вписаться в определённые сроки, иначе потом будет ряд причин, почему это может быть не удобно, дороже, ущербнее для бизнеса на почве репутации…

                      Вам вряд ли друг друга жаль, но плохо выглядит в этой ситуации принимающий ДЦ.
                      • –1
                        я вообще не понимаю как можно чисто теоритически привезти оборудование без бумаг и без готовой, подключенной стойки. ДЦ работает по твердому регламенту, новых клиентов в выходные на запускают без предварительной проработки — это же не пивка в магазе взять. И если ДЦ работает по регламенту, то в выходные без бумаг не заезжают — но это так же значит что и кондиционеры в порядке и охрана работает как предполагается.
                        • +2
                          я полагаю, что они думали, что их будут ждать. Бумаг тут может и не быть (кроме согласования списка железа и необходимых мощностей по электропитанию). Можно упариваться и требовать проект размещения делать и согласовывать (как это делает ММТС-9), а можно тесно и оперативно работать с клиентом. Я ничего против проектов не имею, наоборот, я даже за. Но когда есть сроки и диалог ведётся между теми, кто хочет зарабатывать деньги, то можно и протянуть за 30-40 минут линию питания, собрать за 1-2 часа стойку и напрячь админа СПД выдать порт.

                          А что такого в новых клиентах в выходные? По мне так самое время их запускать, потому что у этих самых клиентов ЧНН в будни на их сервисе, с помощью которого они зарабатывают деньги и делятся ими с ДЦ.

                          я в прошлом году пошатался по ДЦ и везде слушал манагера, который водил экскурсии по машзалам и рассказывал, как у них и что. Потом он получал простой вопрос — «У меня что-то упало на этой площадке. Мне из офиса ехать 15 минут. Как это укладывает в требование предупредить вас письменно (где-то даже на официальном бланке просили) за 1-2 часа до прохода?». Дальше были поиски, как притереться по этому вопросу. Затем очевидный вопрос «Заезд и доступ в выходные?». Если с заездом в нашем случае было всё понятно, так как мы никуда не торопились и не сервис переносили, а искали, где новый узел для него разместить, то с доступом в выходные оказалось всё ещё хуже.

                          Безопасность дело конечно нужное, но доводить до того, что простейшие бизнес кейсы никак из-за неё не решить, не стоит. Если прикинуть, то ДатаПро потерял из-за этой ситуации с заездом минимум 60-70к в месяц. А может и больше из-за повышенного потребления электропитания (и генерации тепла), а так же очевидной потребности в обозримом будущем расшириться, так как стойка уже забита, а с ростом клиента потребуется ещё одна.

                          я ничего не имею против ДатаПро, а лишь обсуждаю и высказываюсь на тему описанной ситуации. Может это от КингСервера человек профакапил что-то, а что б не огребать свалил на манагера по-тихому :) Поэтому просто обсуждаем описанную ситуацию.
                          • –1
                            попробую описать как я себе это вижу из 15 летнего опыта работы с самыми разными ЦОД.
                            1) в большом ЦОД высокого уровня всегда есть план размещения и техусловия. Их делают инженеры ЦОД, это занимает несколько дней. Подписать договор можно после согласования всех технических бумаг и коммерческих условий. Это примерно займет около месяца. В Европе и США — дольше. Может кто этого и не знает, но это до первого раза. Быстро бывает только в мелких лавочках, но это всегда в ущерб качеству — нельзя сделать мелкий ЦОД надежным за разумные деньги в пересчете на стойку.
                            2) Не все деньги одинаково полезны. Быстро за полчаса сделать можно конечно, но не в ЦОД где 2000-3000 стоек и план работы у электриков расписан плотненько на пару недель — по существующим клиентам.
                            3) Дело не в выходных, а в том что к выходным клиент оказался без согласованных бумаг и без разрешения на внос. Решать этот вопрос мимо регламента не позволяет большой сертификат и устав, на который нельзя класть. Если бы у клиента все бумаги были подготовлены и технические службы клиента делали это не в первый раз, результат был бы совсем другой. Они бы просто приехали с железом, разгрузились, описали его, подписали акты вноса и спокойно занялись бы монтажем. Но это требует аккуратной подготовки, без всяких эмоций — за пару недель стоит начинать.
                            4) если клиенту надо быстро попадать в ЦОД, он просто вносится в списки на охране на круглосуточный доступ — четко по процедуре. Показывает паспорт и проходит дальше с карточкой. Та же фигня и с железками, есть четкая процедура — она позволяет в дальнейшем избежать недопонимания по имуществу и позволяет ЦОДу вести бухучет надележащим образом. Ведь по закону каждая ерундовина на территории предприятия должна быть в бухгалтерии помечена — поставлена на баланс или быть учтена на за-балансовых счетах. Если ЦОД позволяет таскать железо туда-сюда без бумаг — они НЕ ведут бухгалтерию как положено, нарушают закон — это может привести к отказу в обслуживании у клиента. У монетки две стороны.
                            Я помню мне рассказывали поучительную историю — в ЦОД пришел присмотреться крупный иностранный клиент, а манагер что-то сказал охраннику и они пошли вовнутрь, не проверяя документы у потенциального клиента. После этого клиент немного походил, развернулся и ушел — насовсем. Как думаете почему? Правильно — если персонал кладет на регламент, то все остальное точно в таком же состоянии — не исключая инженерных систем и бухгалтерии.
                            5) Датапро ничего не потерял, доход с нагруженной стойки тысяч 5-10р от силы в месяц. Ресурс ограниченный, она уйдет более подготовленным и аккуратно планирующим заказчикам. А еще более ограниченный ресурс у менеджеров, работать с неформатным заказчиком. Пустое стойко-место есть не просит, костов не генерит как мы знаем.

                            • +1
                              С внутренней кухней всё понятно (я не в том плане, что я знаю как работает ДЦ, а в том плане, что я понимаю, что она есть). Но опять же, кто его там знает, как оно было. Но лично я, как клиент ДЦ, был бы приятно удивлён, если бы договора не подписывались месяц, ибо они и так типовые, важная бумажка в них — это ТУ, на составление которого допускаю трату одной недели, что бы все службы определили куда присосаться и зарезервировали квадрат на плане машзала. Остальные ожидания насчёт сроков в месяца — мне не понятны. Даже на М9 можно заехать через 2 недели со всеми бумажками и проектами.
                              В общем я бы не стал внутренние проблемы ДЦ как то накладывать на эту ситуацию. я не за то, что бы ДЦ не исполнял регламентов и т.п. Но искренне не понимаю, что там согласовывать месяцами ради одной стойки без каких либо охранных систем и особых условий. Типовая задача не может решаться так долго. Возможно дело уже в масштабах компании и её не поворотливости.
                              Ну это ладно. Мне больше вот интересно, откуда вот эта информация:

                              5) Датапро ничего не потерял, доход с нагруженной стойки тысяч 5-10р от силы в месяц.

                              это для юрлица чистый доход? а как же покрытие зп служб? в любом случае место должно работать, иначе это не просто упущенная прибыль, а прямые убытки за зп обслуживающего персонала и оплату этой самой не используемой площади. Но если там очередь из тех, кто хочет арендовать этой место, то вопрос конечно отпадает — рынок позволяет диктовать свои условия заказчику и находить приемлемого.
                              • +1
                                считаем на калькуляторе, 5 кВт стойка.
                                электричество как обычно, возьмем 5р с НДС за кВт/ч — 5*24*30 *5= 18000р
                                затраты на кондиционирование 30% в самом эффективном ЦОД, 23400р
                                затрата на ИБП и прочие потери, +10% — 25700р
                                итого, грубо 30000р прямых расходов только на электричество.
                                Стойка и силовая обвязка в закупке стоят около 120К (хорошая стойка АРС + 2 ATS + 2 вертикальных PDU), предположим на год по 10000 в месяц.
                                т.е. уже мы имеем 40К в месяц прямых затрат, без амортизации здания и оборудования, без ФОТ и прочего. А стойка сдается тысяч за 60 с НДС.
                                • 0
                                  А стойка сдается тысяч за 60 с НДС.

                                  подороже
                                  А вообще думаете там тарифы как для юрлица в офисе? Думаю вряд ли.
                                  В прочем с экономикой я не знаком и цифр не знаю, так как мои все подключения уже на уровне рядового абонента электросети, если вообще учёт на моей стороне происходит.

                                  PS: 5кВт кстати много. обычно это 3. Либо стоимость за стойку сразу больше 60. А в этом году, когда нам предлагали последнее место в одном и ДЦ, 60к уже без НДС было. Это я так, для справки читателям.
                                  • 0
                                    1) тарифы МЭС как правило те же или даже выше.
                                    2) они хостеры, там будет ровно 4,5-5 — поверьте. Ориентироваться будут на автомат на вводе.
                                    3) розничные цены на рынке в Москве за 5кВт стойку в 2017 году с НДС:
                                    — говноцод без удобств — 35-45К
                                    — небольшой ЦОД в арендованом помещении без излишеств — 50-60К
                                    — приличный ЦОД средней руки в арендованом ОСЗ — 60-80К
                                    — сертифицированный ЦОД Тиер3 в своем здании- 80-100К
                                    • 0
                                      Ну вот видите, стоимость за стойку уже существенно выше. Значит маржинальность всё таки выше.
                                      Стоки они тоже не штучно покупают, а значит и тут ценник существенно ниже. Причём стойки то мы покупали и знаем, что эти барыги за хороший заказ и скинуть могу очень существенно! А если брать напрямую (что крупные ДЦ наверняка и делают), то тем более очевидно, что ценник не фул прайс с первого попавшегося сайта.

                                      По электроэнергии вы приблизительно правы.
                                      У я нашёл от одного из ДЦ предложения по размещению. Там значит написано следующее:
                                      58 000 за стойку в месяц без НДС
                                      • 0
                                        (не успел внести правки и дописать после случайно отправки)

                                        Я нашёл от одного из ДЦ предложения по размещению (не TIER3, но там достойно всё сделано было). Там значит написано следующее:
                                        за стойку + 5кВт месяц — 58 000 без НДС
                                        Дополнительный 1кВт — 7000 без НДС

                                        Позвонил энергетику одного средненького оператора. Они подключены к двум лучам от разных подстанций и выделено им 200мВт. Платят 5руб/кВт. Т.е. в принципе ДЦ продают ЭЭ подороже, если она на потребителя выделяется сверх расчётной экономики
                                        • 0
                                          если кстати считать дальше, то можно очень четко понять сколько в себестоимость простых ЦОД добавляют батареи ИБП с сроком службы 3-5 лет и кондиционеры со сроком службы в 10 лет. Плюс, самое главное в РФ — цена денег в 20% годовых на вложенное.
                                          58 без НДС это дофига без сертификата, можно значит НДС торгануть. кВт по 7 это нормально, ведь надо же что-то заработать
                                          • 0
                                            да, инфляция и стоимость АКБ это прям повод расстраиваться. Себе покупали АКБ на площадки, что бы обеспечить требование в 4 часа автономии (при том, что у нас обеспечена подача электропитания с двух разных районов). Почти миллион потратили на 28 АКБ по 12Вх100ач. Видел, сколько в dataline их стоит — там вообще камазами завози-вывози.

                                            58к без НДС это типа последняя стойка в ЦОД оставалась. Он был небольшой (на 300 стоек по-моему). Рассматривали, так как удобно располагался по отношению к нашему кабелю и в принципе недалеко от точки, откуда мы думали сваливать. Когда в первый раз столкнулись с этим ДЦ, его только набивали, но мы пошли всё таки в другое место (по политическим причинам). А когда мы туда первый раз обратились, было что-то в районе 45 с НДС. Но точной цифры у меня нет.
                                        • 0
                                          тут же не про маржинальность, а про все сопутствующее. Короче я вот про что, крупный ЦОД не будет бегать за одностоечными клиентами — ему не выгодно. Бывают исключения конечно, когда надо выбирать квоту по электричеству в формате «бери или плати» и берут всех с прицелом потом поднять цену, но чаще они работают от 5 стоек.

                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                  Самое читаемое