Фондовый рынок — высокотехнологичная отрасль. В нашем блоге мы уже писали о протоколах передачи финансовых данных, алгоритмах обнаружения инсайдерской торговли, разработке финансового софта и способах ускорения транзакций. Все это разнообразие технологий и инструментов выстраивается вокруг серверного ядра самих бирж — многие HFT-трейдеры пользуются услугами колокации и размещают серверы со своими торговыми приложениями как можно ближе к биржевому торговому движку.
Сегодня мы поговорим о дата-центрах различных площадок и покажем, как они выглядят.
NYSE Euronext
Дата-центр биржи NYSE Euronext расположен в городе Махва, штат Нью-Джерси. Площадь залов для колокации серверов трейдеров составляет около 18 тысяч квадратных метров — площадь самого здания при этом составляет более 120 тыс. кв. метров. Издание Data Center Knowledge публиковало некоторые фотографии этого ЦОД.
Центр управления объектом — в нем объединены интерфейсы систем управления зданием (BMS) и управления инфраструктурой самого ЦОД (DCIM). Именно здесь сидят специалисты, которые контролируют режимы температуры и влажности, состояние блоков питания и других элементов в каждом серверном зале.
А вот так выглядит «горячий коридор», в который поступает воздух, выбрасываемый серверами:
Длинный главный коридор дата-центра позволяет прочувствовать огромные масштабы объекта.
Финансовый хаб Equinix
Компания Equinix является одним из крупнейшим мировых игроков на рынке ЦОД и колокации. Одним из ее объектов является здание бывшего завода по производству очков в Секаукусе штат Нью-Йорк площадью более 100 000 квадратных метров, переоборудованное в современнейший дата-центр. Его услугами пользуются такие биржи, как NASDAQ, BATS, CBOE, и вот как он выглядит.
По обе стороны длинного главного коридора дата-центра расположены решетки; эти решетки и стойки соединяются кабелем, который проходит по желтым подвесным кабель-каналам.
Потолок высотой 12 метров предоставляет большое пространство для нескольких уровней размещения кабель-каналов, заполняющих верхнюю часть дата-центра Equinix, в которой находятся отдельные каналы для соединительных, несущих и силовых кабелей.
Зал источников бесперебойного питания (ИБП) в дата-центре Equinix NY4, питающийся от подстанции мощностью 26 мегавольт-ампер. Оборудование состоит из системы бесперебойного питания мощностью 30 мегаватт, поддерживающей работу вычислительной установки в случае отказа системы электроснабжения.
На случай отключения электроэнергии оборудование дата-центра NY4 оснащено этими 18 запасными дизельными генераторами фирмы «Caterpillar» мощностью 2,5 мегаватт каждый, которые в сумме дают 46 мегаватт аварийной электроэнергии, достаточной для обеспечения полным запасом энергии оборудования, а также холодильных установок и систем ИБП. Во время урагана Сэнди эти генераторы поддерживали оборудование в рабочем состоянии в течение целой недели.
Охладительная система в NY4 оборудована громадными трубами, по которым охлажденная вода поступает к оборудованию, а также к пластинчатому теплообменнику (справа), выполняющему роль холодильника зимой и позволяющему сохранять энергию, которая при обычных условиях тратилась бы на работу холодильных установок.
Московская биржа, дата центры М1 и DataSpace1
В настоящий момент крупнейшая российская биржевая площадка предлагает трейдерам возможность размещения своего оборудования в московском дата-центре М1 (адрес: Варшавское шоссе, д. 125).
Согласно информации, представленной на сайте компании-оператора ЦОД, он является крупнейшим в московском регионе — его емкость составляет 950 серверных стоек. Дата-центр введен в эксплуатацию в 2006 году, его общая площадь составляет 3850 кв.м, из которых под серверные залы отведено 2400 кв. м (нагрузочная способность 5-8 кВт на стойку).
Для поддержания необходимо режима температуры ( 22 ± 4 градусов) и влажности (45 ±10 %) в серверных залах установлены системы приточно-вытяжной вентиляции и прецизионные кондиционеры промышленного типа. Компоненты системы кондиционирования также зарезервированы по схеме N+3 и лучше. Источник фото ниже: сайт stacktelecom.ru
Серверные стойки располагаются принципу по горячих и холодных коридоров, закрытие последних позволяет исключить смешивание горячего, выбрасываемого оборудованием воздуха, с поступающим от кондиционеров холодным.
Источники бесперебойного питания рассчитаны на время работы всего оборудования большее, чем необходимо для запуска дизель-генераторных установок и перехода на автономное энергоснабжение ЦОД.
Фактическая надежность ЦОД в период с 2008 заявлена на уровне в 100%.
Стойки в дата-центре М1 есть не только у самой биржи, но и у брокерских компаний — например, ITinvest предлагает возможность установки в своих стойках как серверов, так и запуска торговых систем на специально «поднятых» виртуальных машинах.
В 2014 году руководство «Московской биржи» приняло решение о переезде в дата-центр DataSpace1. ЦОД сдан в эксплуатацию в июле 2012 года. Его общая вместимость составляет 1062 стойко-места — 12 машинных залов, площадью до 255 квадратных метров каждый. Будет выделен отдельный зал для колокации оборудования участников торгов. Источник фото ниже: сайт dataspace.ru.
В ЦОД организованы 6 независимых цепей электропитания, каждый машинный зал снабжается электричеством от 2 независимых цепей.
Чиллеры и сухие воздухоохладители установлены по схеме распределённого резервирования N+1, холодный воздух подводится под полом.
Периметр здания и внутренние помещения оснащены 8-уровневой системой безопасности, которая включает различные компоненты контроля доступа и наблюдения.
Как сказано в пресс-релизе Биржи, посвященному переезду в новый ЦОД, DataSpace1 обладает сертификатами Tier III Design Documentation и Tier III Constructed Facility.
Заключение
Биржевые площадки и HFT-трейдеры уделяют большое внимание выстраиванию собственной торговой инфраструктуры. Сегодня на фондовом рынке успех от неудачи часто отделяют доли секунды, поэтому и софт и железо, обеспечивающие работу финансовых приложений, должны работать в высшей степени надежно.
Уровень нагрузки столь велик, что справиться с ним нелегко — это требует серьезных инвестиций со стороны провайдеров услуг ЦОД. В противном случае могут возникать ситуации, наподобие той, что произошла в августе 2015 года в дата-центре CenturyLink — во время серьезно движения на рынке, инфраструктура для HFT-торговли работала в усиленном режиме, с которым не справилась система вентиляции (HVAC).
В результате многие серверы не просто перегрелись, а физически сгорели:
