Исполнительная документация была, здесь нужно учитывать общие условия — оптика прокладывалась, когда это был еще один завод, потом уже все посносили, построили 2 ТЦ и ЖК, ну в какой-то момент и по оптике попали.
Спасибо за вопрос, но, к сожалению, раскрывать количество персонала дежурной смены мы не имеем права. Однако можем сказать, что сегодня на объекте уже создана собственная служба эксплуатации с диспетчерской, организованы дежурные смены. В состав дежурных смен входят диспетчера, осуществляющие круглосуточный контроль за объектом, а также функциональные инженеры по направлениям, отвечающие за работоспособность систем жизнеобеспечения объекта (таких как электроснабжение, механические системы, слаботочные системы и т.д.), проведение регламентных и ремонтных работ.
Служба эксплуатации не останавливается на достигнутом, проводит доукомплектование диспетчерских смен профильными специалистами на перспективу развития объекта и увеличения его мощности до номинальной величины.
Спасибо за вопрос! Вот ответ, который сегодня нам дал генеральный директор ООО «Авантаж» — Александр Крок: «Опыт строительства ЦОДов в северных широтах, например, в скандинавских странах, насчитывает уже много лет, однако, необходимо учитывать такие важные требования, как катастрофоустойчивость и отсутствие объектов повышенной опасности, в том числе природного характера. Тем более, инфраструктура наших северных широт не располагает нужными для строительства ЦОДов возможностями».
Отвечая на этот вопрос, генеральный директор ООО «Авантаж» — Александр Крок, сказал, что ЦОД будет функционировать в полном соответствии с законодательством РФ.
Nikobraz, спасибо за комментарий. Ниже ответ наших коллег из Промсвязьбанка.
Мы очень сожалеем, что у вас сложился такой негативный взгляд и готовы ответить на ваши вопросы:
1) решение о предоставлении кредита или кредитной карты принимается банком после комплексной оценки анкетных данных клиента и предоставленного им пакета документов. В данном случае это, скорее всего, было лишь предварительное одобрение заявки;
2) сотрудники банка соблюдают действующее законодательство РФ и не имеют права разглашать персональные данные клиентов третьим лицам;
3) карты, выпущенные в рамках зарплатных проектов, при увольнении сотрудника переводятся на специальные условия, которыми предусмотрена оплата комиссии за годовое обслуживание карты за счет клиента. Возможно, задолженность, о которой идет речь — это комиссия за годовое обслуживание. В случае возникновения задолженности банк вынужден осуществлять звонки на контактные номера телефонов клиента с целью урегулирования вопроса об оплате долга.
Но для подробного разбора каждой ситуации нам необходимы личные данные клиентов. Такие данные, а также информацию по любым спорным вопросам вы можете направить на электронный адрес info@psbank.ru с указанием темы обращения, составить заявку в интернет-банке или написать в личные сообщения нашего сообщества «Вконтакте» — vk.com/psbank_ru
Ответ наших коллег из Промсвязьбанка:
Действительно, данный интернет-банк до сих пор функционирует. Но этим летом мы открыли доступ к новому: business.psbank.ru
Чтобы им воспользоваться достаточно ввести свой логин и пароль, который вы используете для доступа в мобильный банк и PSB On-Line.
Спасибо за ваш комментарий, hippoage! Ответ наших коллег из Промсвязьбанка:
Вы правы, слово «требования» могло ввести в заблуждение. То, что перечислено выше, скорее рекомендации, если вы будете использовать какие-то другие технологии, не вопрос — мы будем рады. Чтобы избежать недопониманий на лендинге заменили слово «Требования» на «Рекомендации».
Наличие в команде дизайнера или маркетолога также не является требованием, про это нигде не написано. Тем не менее, организаторы обещают укомплектовать команду и найти требуемого участника, ведь заявки можно подавать как командой, так и индивидуально. А пройти в финал можно только в составе команды.
В России согласно ФЗ 152 все персональные данные надо защищать, а в Банках особенно.
Есть требование 21 приказа ФСТЭК России (ЗИС 3. Обеспечение защиты персональных данных от раскрытия, модификации и навязывания (ввода ложной информации) при ее передаче (подготовке к передаче) по каналам связи, имеющим выход за пределы контролируемой зоны, в том числе беспроводным каналам связи).
Шифрование по AES не признается как достаточная защита для такого типа данных.
Разрешается только ГОСТ 28147-89.
· «Вендор-лок» уже был до начала проекта. Этим вендором заказчик доволен, поэтому решено не менять его на другого производителя.
· Про AISC. BFD хорошо использовать на оборудовании, если есть специализированный ASIC, где может работать BFD. В распределенной сети заказчика, включая ЦОД есть множество маршрутизаторов, а также Cisco ASA, которые не поддерживают аппаратно BFD.
· BFD между Main и DR ЦОД через L3VPN каналы и тем более к офисам лучше не ставить. Обязательно будет периодически флаппать OSPF, не говоря уже про то, что у нас в сети еще криптошлюзы.
· BFD – технология, позволяющая уменьшить таймеры обнаружения проблемы. Но вот время конвергенции после обнаружения отказа она никак не уменьшит. OSPF по умолчанию просто ждет 5 секунд для стабилизации сети. Если сеть флаппает, этот таймер увеличивается до 10 секунд. Также есть и другие таймеры, связанные с пересчетом LSA. Конечно, есть guide, где можно настроить конвергенцию меньше, чем в одну секунду, но это нужно делать очень аккуратно.
2. Это уже было так реализовано, и переделывать все филиалы не было возможности в связи со сроками. Конечно, было 3 общих L3VPN облака (оператора). У каждого филиала было как минимум 2 оператора, которые доходили до ЦОД. Каналы в филиалах равнозначны. А сами туннели нужны для шифрования, без них никак в Банках.
А в чем ее заплесневелость? Cisco с IWAN до сих пор продвигает DMVPN.
3. Там 2 типа GRE. Первые через интернет, просто с внешних интерфейсов. Вторые GRE специально сделаны через всю сеть Банка iBGP (Main)<->EiGRP (Main+DR)<->статика (DR). Таким образом, проверяется вся связность между ЦОД внутри и во вне сети заказчика, чтобы исключить все false positive и true negative описанные выше сценарии.
Такой проблемы с траблшутингом не будет, т.к. второй EIGRP процесс – это по сути overlay сеть. В той цепочке EIGRP процессы разные. И на практике все оказалось не так сложно.
4. Даже, если мы бы договорились отправлять операторам по /25, а они в аплинкам отправляли /24, это нам не помогло бы.
· У заказчика уже используется более половины доступных адресов для Main ЦОД.
· Представьте ситуацию. Часть интернет-клиентов прилетает к оператору А и попадает в основной ЦОД. Если канал этот падает, то оператор начинает перенаправлять всех клиентов в DR ЦОД. А вычислительные мощности переезжать не должны. Пришлось бы тогда делать заворот интернет потока из DR ЦОД в Main ЦОД обратно. Ведь клиент будет продолжать прилетать к оператору А. Таким образом, сильно возрастают задержки для бизнес приложений, т.к. DR в другом городе. Да и схема тоже усложняется.
Вадим, вот ответы, которые сегодня нам дал генеральный директор ООО «Авантаж» — Александр Крок.
Расскажите, что у вас планируется с каналами связи? Как будет достигаться отказоустойчивость от случайных раскопов оптики веселыми трактористами и выгорания коллекторов? Какая политика по присутствию сторонних операторов связи в ЦОД?
В «Авантаже» будет обеспечена возможность любому оператору связи организовать два физически независимых ввода по ВОЛС. ЦОД полностью открыт к размещению у себя точек присутствия сторонних операторов. Если будет необходимость у арендаторов в услугах связи какого-то конкретного оператора, то вход на телекоммуникационную площадку ЦОДа будет обеспечен ТУ. Заказчики получат того оператора, которого пожелают. Наше присутствие будет на всех основных узлах обмена трафиком в Москве.
Понятно, что проще сдавать машинные залы либо стойкоместа целиком, но будет ли у вас поюнитовая «розница»?
Во-первых, есть часть услуг, которые непосредственно связаны с поюнитовой арендой. Например, размещение оборудования операторов связи и клиентов в кроссовых помещениях и других технологически разделяемых зонах.
Во-вторых, если будет выявлена необходимость в поюнитовой аренде пространства ЦОД, то, вероятнее всего, ею будет заниматься отдельный сервис-провайдер.
Не боитесь, что ощутимая удаленность от Москвы станет отпугивающим фактором для некоторых клиентов?
Удалённость иллюзорная! В реальности, добраться до ЦОД Авантаж (находится в 9 км от МКАД) в рабочие время проще, чем до некоторых ЦОД, расположенных внутри МКАД.
Планируете ли вы сдавать часть помещения под офисы клиентов для размещения дежурных бригад клиента, например?
Планируем, для этого построен 4-х этажное административное здание.
Что вы думаете на счёт четвёртого корпуса DataLine Nord? Как бы вы охарактеризовали ваш ЦОД относительно, например, ДатаЛайновского на Коровинском шоссе?
Наличие нормальных конкурентов — путь к индустриальному развитию.
Земля, она в каком правовом статусе? А то были ЦОД, которые были построены на территориях с мутными договорами субаренды и на личных договорённостях, в большинстве случаев это однажды оканчивалось спешным переездом ЦОД.
В кадастровых документах точно определен статус объекта — Центр хранения и обработки данных — ЦОД «Авантаж».
Как рассказал нам генеральный директор ООО «Авантаж» — Александр Крок — Окупаемость проекта может варьироваться от загрузки и предоставляемых услуг от 3 до 7 лет.
Вадим, спасибо за интересные вопросы. По факту Вы подсказали тему для отдельного поста про политику продаж. Правда, это относится к зоне ответственности нашего заказчика — ООО «Авантаж». Поговорим с коллегами и дадим полную раскладку. По сети внутри ЦОД решение пока не принято. Вопрос по присутствию сторонних операторов связи в ЦОД тоже зададим им.
А пока отвечу на второй вопрос « Как обстоят дела по энерго-резервированию на случай блэкаутов? От скольких и каких независимых источников у вас городские вводы?»
Оборудование ЦОД Авантаж в штатном режиме получает питание от новой подстанции РП 10кВ НИЦ ЦИАМ, расположенной на территории ЦИАМ (чуть более 1,5 км от «Авантажа»). Подвод питания к ЦОД организован двумя лучами от двух взаимнорезервируемых секций РП10кВ. Каждый питающий луч прокладывается в отдельной траншее.
В свою очередь РП 10кВ НИЦ ЦИАМ получает питание от подстанции 220/110/10кВ — ПС Мячково от двух взаимнорезервируемых автотрансформаторов двумя лучами. Питающая подстанция 220/110/10кВ, также находится в непосредственной близости.
Таким образом, близкое расположение питающего центра — ПС Мячково (в пределах двух километров от ЦОД Авантаж), минимальное количество промежуточных пунктов распределения питания от объединенной энергосистемы Центра (ОЭС Центра), резервирование кабельных линий, секционирование луча А и луча В — минимизируют риски возможных аварий, которые могли бы привести к нарушению электроснабжения потребителей ЦОД Авантаж.
На случай «блэкаута» в системе электроснабжения ЦОД Авантаж предусмотрена система бесперебойного и гарантированного электроснабжения (СБГЭ). Она в ЦОД организована путем установки Дизельно-динамических источников бесперебойного питания. Они установлены в здании — Энергоцентр, примыкающий к Блоку машинных залов (посмотрите на схеме в начале поста).
Дизельно-динамических источников бесперебойного питания внедрены в систему электроснабжения на уровне 10кВ, и имеют степень резервирования N+1 в режиме работы «Continues Power». Распределительная сеть 10кВ ЦОД Авантаж построена по структуре 2N, начиная от каждого ДДИБП, тем самым исключается наличие единой точки отказа в системе распределения объекта.
Автономной работы системы топливоснабжения достаточно на 48 часов бесперебойной работы дизельно-динамических источников бесперебойного питания в режиме 100%-й загрузки ЦОД. При этом система топливоснабжения будет также работать в режиме N+1. Для более длительной автономной работы в системе топливоснабжения предусмотрена возможность дополнительной заправки топливом. Таким образом, ЦОД «Авантаж» имеет возможность не только поддерживать режим автономной работы системы электроснабжения необходимое количество времени, но также и проводить плановое/внеплановое сервисное обслуживание, и ремонт внезапно отказавшего элемента системы электроснабжения при необходимости.
Отечественных материалов в ЦОД применено большое количество.
Кроме всех строительных и конструктивных материалов и элементов, все лотковые трассы выполнены на компании ДКС, все трубопроводы и воздуховоды, теплоизоляция, огнезащита так же российского производства.
Из элементов системы холодоснабжения теплообменники AlfaLaval и насосы Grundfos произведены на территории российских заводов этих производителей.
Служба эксплуатации не останавливается на достигнутом, проводит доукомплектование диспетчерских смен профильными специалистами на перспективу развития объекта и увеличения его мощности до номинальной величины.
Мы очень сожалеем, что у вас сложился такой негативный взгляд и готовы ответить на ваши вопросы:
1) решение о предоставлении кредита или кредитной карты принимается банком после комплексной оценки анкетных данных клиента и предоставленного им пакета документов. В данном случае это, скорее всего, было лишь предварительное одобрение заявки;
2) сотрудники банка соблюдают действующее законодательство РФ и не имеют права разглашать персональные данные клиентов третьим лицам;
3) карты, выпущенные в рамках зарплатных проектов, при увольнении сотрудника переводятся на специальные условия, которыми предусмотрена оплата комиссии за годовое обслуживание карты за счет клиента. Возможно, задолженность, о которой идет речь — это комиссия за годовое обслуживание. В случае возникновения задолженности банк вынужден осуществлять звонки на контактные номера телефонов клиента с целью урегулирования вопроса об оплате долга.
Но для подробного разбора каждой ситуации нам необходимы личные данные клиентов. Такие данные, а также информацию по любым спорным вопросам вы можете направить на электронный адрес info@psbank.ru с указанием темы обращения, составить заявку в интернет-банке или написать в личные сообщения нашего сообщества «Вконтакте» — vk.com/psbank_ru
Ответ наших коллег из Промсвязьбанка:
Действительно, данный интернет-банк до сих пор функционирует. Но этим летом мы открыли доступ к новому: business.psbank.ru
Чтобы им воспользоваться достаточно ввести свой логин и пароль, который вы используете для доступа в мобильный банк и PSB On-Line.
Вы правы, слово «требования» могло ввести в заблуждение. То, что перечислено выше, скорее рекомендации, если вы будете использовать какие-то другие технологии, не вопрос — мы будем рады. Чтобы избежать недопониманий на лендинге заменили слово «Требования» на «Рекомендации».
Наличие в команде дизайнера или маркетолога также не является требованием, про это нигде не написано. Тем не менее, организаторы обещают укомплектовать команду и найти требуемого участника, ведь заявки можно подавать как командой, так и индивидуально. А пройти в финал можно только в составе команды.
Есть требование 21 приказа ФСТЭК России (ЗИС 3. Обеспечение защиты персональных данных от раскрытия, модификации и навязывания (ввода ложной информации) при ее передаче (подготовке к передаче) по каналам связи, имеющим выход за пределы контролируемой зоны, в том числе беспроводным каналам связи).
Шифрование по AES не признается как достаточная защита для такого типа данных.
Разрешается только ГОСТ 28147-89.
Отвечаем на вопросы:
1. Это один из аргументов. Детальнее по пунктам:
· «Вендор-лок» уже был до начала проекта. Этим вендором заказчик доволен, поэтому решено не менять его на другого производителя.
· Про AISC. BFD хорошо использовать на оборудовании, если есть специализированный ASIC, где может работать BFD. В распределенной сети заказчика, включая ЦОД есть множество маршрутизаторов, а также Cisco ASA, которые не поддерживают аппаратно BFD.
· BFD между Main и DR ЦОД через L3VPN каналы и тем более к офисам лучше не ставить. Обязательно будет периодически флаппать OSPF, не говоря уже про то, что у нас в сети еще криптошлюзы.
· BFD – технология, позволяющая уменьшить таймеры обнаружения проблемы. Но вот время конвергенции после обнаружения отказа она никак не уменьшит. OSPF по умолчанию просто ждет 5 секунд для стабилизации сети. Если сеть флаппает, этот таймер увеличивается до 10 секунд. Также есть и другие таймеры, связанные с пересчетом LSA. Конечно, есть guide, где можно настроить конвергенцию меньше, чем в одну секунду, но это нужно делать очень аккуратно.
2. Это уже было так реализовано, и переделывать все филиалы не было возможности в связи со сроками. Конечно, было 3 общих L3VPN облака (оператора). У каждого филиала было как минимум 2 оператора, которые доходили до ЦОД. Каналы в филиалах равнозначны. А сами туннели нужны для шифрования, без них никак в Банках.
А в чем ее заплесневелость? Cisco с IWAN до сих пор продвигает DMVPN.
3. Там 2 типа GRE. Первые через интернет, просто с внешних интерфейсов. Вторые GRE специально сделаны через всю сеть Банка iBGP (Main)<->EiGRP (Main+DR)<->статика (DR). Таким образом, проверяется вся связность между ЦОД внутри и во вне сети заказчика, чтобы исключить все false positive и true negative описанные выше сценарии.
Такой проблемы с траблшутингом не будет, т.к. второй EIGRP процесс – это по сути overlay сеть. В той цепочке EIGRP процессы разные. И на практике все оказалось не так сложно.
4. Даже, если мы бы договорились отправлять операторам по /25, а они в аплинкам отправляли /24, это нам не помогло бы.
· У заказчика уже используется более половины доступных адресов для Main ЦОД.
· Представьте ситуацию. Часть интернет-клиентов прилетает к оператору А и попадает в основной ЦОД. Если канал этот падает, то оператор начинает перенаправлять всех клиентов в DR ЦОД. А вычислительные мощности переезжать не должны. Пришлось бы тогда делать заворот интернет потока из DR ЦОД в Main ЦОД обратно. Ведь клиент будет продолжать прилетать к оператору А. Таким образом, сильно возрастают задержки для бизнес приложений, т.к. DR в другом городе. Да и схема тоже усложняется.
з.ы. Все схемы рисовались в Ms Visio.
Расскажите, что у вас планируется с каналами связи? Как будет достигаться отказоустойчивость от случайных раскопов оптики веселыми трактористами и выгорания коллекторов? Какая политика по присутствию сторонних операторов связи в ЦОД?
В «Авантаже» будет обеспечена возможность любому оператору связи организовать два физически независимых ввода по ВОЛС. ЦОД полностью открыт к размещению у себя точек присутствия сторонних операторов. Если будет необходимость у арендаторов в услугах связи какого-то конкретного оператора, то вход на телекоммуникационную площадку ЦОДа будет обеспечен ТУ. Заказчики получат того оператора, которого пожелают. Наше присутствие будет на всех основных узлах обмена трафиком в Москве.
Понятно, что проще сдавать машинные залы либо стойкоместа целиком, но будет ли у вас поюнитовая «розница»?
Во-первых, есть часть услуг, которые непосредственно связаны с поюнитовой арендой. Например, размещение оборудования операторов связи и клиентов в кроссовых помещениях и других технологически разделяемых зонах.
Во-вторых, если будет выявлена необходимость в поюнитовой аренде пространства ЦОД, то, вероятнее всего, ею будет заниматься отдельный сервис-провайдер.
Не боитесь, что ощутимая удаленность от Москвы станет отпугивающим фактором для некоторых клиентов?
Удалённость иллюзорная! В реальности, добраться до ЦОД Авантаж (находится в 9 км от МКАД) в рабочие время проще, чем до некоторых ЦОД, расположенных внутри МКАД.
Планируете ли вы сдавать часть помещения под офисы клиентов для размещения дежурных бригад клиента, например?
Планируем, для этого построен 4-х этажное административное здание.
Что вы думаете на счёт четвёртого корпуса DataLine Nord? Как бы вы охарактеризовали ваш ЦОД относительно, например, ДатаЛайновского на Коровинском шоссе?
Наличие нормальных конкурентов — путь к индустриальному развитию.
Земля, она в каком правовом статусе? А то были ЦОД, которые были построены на территориях с мутными договорами субаренды и на личных договорённостях, в большинстве случаев это однажды оканчивалось спешным переездом ЦОД.
В кадастровых документах точно определен статус объекта — Центр хранения и обработки данных — ЦОД «Авантаж».
А пока отвечу на второй вопрос « Как обстоят дела по энерго-резервированию на случай блэкаутов? От скольких и каких независимых источников у вас городские вводы?»
Оборудование ЦОД Авантаж в штатном режиме получает питание от новой подстанции РП 10кВ НИЦ ЦИАМ, расположенной на территории ЦИАМ (чуть более 1,5 км от «Авантажа»). Подвод питания к ЦОД организован двумя лучами от двух взаимнорезервируемых секций РП10кВ. Каждый питающий луч прокладывается в отдельной траншее.
В свою очередь РП 10кВ НИЦ ЦИАМ получает питание от подстанции 220/110/10кВ — ПС Мячково от двух взаимнорезервируемых автотрансформаторов двумя лучами. Питающая подстанция 220/110/10кВ, также находится в непосредственной близости.
Таким образом, близкое расположение питающего центра — ПС Мячково (в пределах двух километров от ЦОД Авантаж), минимальное количество промежуточных пунктов распределения питания от объединенной энергосистемы Центра (ОЭС Центра), резервирование кабельных линий, секционирование луча А и луча В — минимизируют риски возможных аварий, которые могли бы привести к нарушению электроснабжения потребителей ЦОД Авантаж.
На случай «блэкаута» в системе электроснабжения ЦОД Авантаж предусмотрена система бесперебойного и гарантированного электроснабжения (СБГЭ). Она в ЦОД организована путем установки Дизельно-динамических источников бесперебойного питания. Они установлены в здании — Энергоцентр, примыкающий к Блоку машинных залов (посмотрите на схеме в начале поста).
Дизельно-динамических источников бесперебойного питания внедрены в систему электроснабжения на уровне 10кВ, и имеют степень резервирования N+1 в режиме работы «Continues Power». Распределительная сеть 10кВ ЦОД Авантаж построена по структуре 2N, начиная от каждого ДДИБП, тем самым исключается наличие единой точки отказа в системе распределения объекта.
Автономной работы системы топливоснабжения достаточно на 48 часов бесперебойной работы дизельно-динамических источников бесперебойного питания в режиме 100%-й загрузки ЦОД. При этом система топливоснабжения будет также работать в режиме N+1. Для более длительной автономной работы в системе топливоснабжения предусмотрена возможность дополнительной заправки топливом. Таким образом, ЦОД «Авантаж» имеет возможность не только поддерживать режим автономной работы системы электроснабжения необходимое количество времени, но также и проводить плановое/внеплановое сервисное обслуживание, и ремонт внезапно отказавшего элемента системы электроснабжения при необходимости.
Кроме всех строительных и конструктивных материалов и элементов, все лотковые трассы выполнены на компании ДКС, все трубопроводы и воздуховоды, теплоизоляция, огнезащита так же российского производства.
Из элементов системы холодоснабжения теплообменники AlfaLaval и насосы Grundfos произведены на территории российских заводов этих производителей.