Comments 81
У нас по этому ЦОДу SLA — с 99,98-процентной доступностью, это 1 час 45
минут возможного простоя в год. Сразу скажу: это только в рекламе, а в
документах это никак не регламентировано. Но мы всё равно выплачиваем
компенсации.
Nuff said. Компенсации, конечно же, расчитываются от стоимости получаемых услуг? Типа, 0.3% стоимости аренды за каждый час простоя?
Кстати о телефонах. Завязывание всё на IP телефоны, может проявиться именно так как в публикации, когда сломается то, что недолжно было ломаться.
Хотя бы часть часть важных помещений должны быть связаны независимой АТС. Особенно если они в подвале, где мобильной связи нет.
Завязывание всё на IP телефоны, может проявиться именно так как в публикации, когда сломается то, что недолжно было ломаться.
А собственно как еще? Не админов телефонии же ставить
Особенно если они в подвале, где мобильной связи нет.
А VoWiFi на телефонах разве не для таких вот случаев делают? Ну да — надо чтобы работал WiFi в этом подвале.
Ну и… есть кстати облачные сервисы IP-телефонии которые готовы выдать SIM/eSIM… вот правда как минимум часть из них VoWiFi не поддерживает даже если "базовый" оператор в это может. Можно для таких целей на том же смартфоне где SIM от оператора такой телефонии n и Zoiper какой то иметь.
Правда вопрос насколько у такого сервиса все защищено от аварий
Ребята, вы молодцы, что все порешали. Но! С дизелем вы облажались по полной программе. Это ваш косяк и ваша вина в том, что обслуживание проводилось недостаточно качественно. Я обслуживаю свои машины сам (мои авто не знают, что такое СТО). И могу сказать с полной уверенностью — ни один патрубок не перейдет из состояния "полностью исправен" в состояние "разорван" ни за час, ни за день. И даже за неделю не перейдет. он будет достаточно долго и медленно трескаться. Выявляется это визуально при простых сжатиях патрубков рукой. И судя по вашей истории, патрубкам было плохо уже зимой (в холодном состоянии без давления резина не продолжает разрушаться, как ржавчина на металле). И никто их не осматривал, минимум, полгода.
Нужна статистика, без статистики можно получить ошибку выжившего. У вас единичные примеры, у автор статьи статистика по 14 датацентрам. Если массово проблемы с дизелями нет, значит такой тщательный осмотр не нужен или отсутствие осмотра не критично корректней сказать. То есть ради увеличения надежность на 0.1% вводить штат дизелистов осматривающих патрубки дизелей нецелесообразно. У вас уклон в дизели, у них в написание сетевых драйверов на низком уровне. У кого-то, как в статье описано в резервирование по датацентрам, больше ДЦ, значит ниже требования к каждому по отдельности.
Мы с Иваном Кузмичем работали на дизеле (с)
А что за история с Караваном? Где почитать?
Интернет помнит не все, но кое-что в подтверждение свидетельств очевидцев все же удалось откопать.
Telehouse Caravan был одним из самых современных дата-центров в 2010-х, когда еще DataPro и в помине не было. Там размещались почти все заметные в то время проекты: Связной, Банки.ру, Туту.ру, Техносила. Оттуда свой путь начали и мы. К сожалению, на место, где был размещен дата-центр, у Правительства Москвы были другие планы. Промзону, расположенную по адресу Проспект мира 222, заняли сначала Северо-Восточная Хорда и МЦК, а затем и бизнес-кварталы.
В результате Caravan разделился на 2 части, одна из которых была продана Reg.ru (железо и то, что удалось вывезти из дата-центра до сноса), а вторую поглотил Rusonyx (торговую марку, технологии, клиентов).
Как обычно, толпы специалистов, которые знают как надо делать. Очевидно, что в хостинговых компаниях, которые им принадлежат, всё делается совсем не так :)
Возможно, будем страховаться и выписывать дополнительные разовые пропуска каждую смену.
Которые в один не самый прекрасный момент кто-то забудет/поленится заказать, тут-то все и... Как вариант: постоянный "вездеход" на каждого потенциально требующегося при аварии сотрудника - в опечатанный конверт, конверт - в опечатанный шкаф под камерой. Вскрытие - по регламенту в случае ЧП, передача "вездеходов" через проходную примчавшейся группе быстрого реагирования. За вскрытие конверта без ЧП - публичная порка виновных перед строем полка.
Охрана — в нашем случае внешний периметр Росгвардии — пускает тех, кто есть в списке, и не пускает остальных. Аварийной команды в списке не было, им нужно было получить соответствующий приказ.
Но приказ-то им дать почему не могли? У вас нет процедуры эскалации, как есть в случае с любой сервисной организацией? Или из-за того, что это силовики, вариант с эскалацией на уровень принятия решения невозможен?
Прочитайте предыдущую статью, там про это есть. Дело произошло ночью на выходных, до начальства было оперативно не добраться.
Ну вот у меня и вопрос - каким образом может быть так, что до начальства не добраться. Я живу в мире, где при инциденте начальники добываются довольно быстро. Этому мало кто рад и иногда это может выйти боком, но это возможно.
Ну как быстро. Вон в Корее тонул крупный пароход с людьми. Корейские МЧСники прибыли на место быстро... и 3 часа не начинали эвакуацию, потому что не могли получить отмашку от начальника в правительстве(!). В результате спасли только команду и тех пассажиров, которые сами вышли на палубу - их забрали катера природохраны.
А разве МЧС нужна отмашка? Это же их работа, спасать людей, особенно, если они кричат - спасите нас. И смешно, и грустно.
А разве МЧС нужна отмашка?
Восток — дело тонкое, сэр!
Электричества не было на станции — но в 6 км было! Что делали бы мы — катушка кабеля и бегом. У них это невозможно. Когда проложили кабель — разъемы для соединения не подошли. Так они их заказали на заводе. Хорошо, что еще тендер не объявили.
— гендиректор "Росэнергоатома" В Асмолов об аварии на Фукушиме
Начальники добываются быстро когда они под угрозой разделения ответственности за сроки восстановления после инцидента. Очевидно что при выходе из строя целого цода, начальник системных администраторов, да что уж там, гендир компании будет поднят звонком в любое время суток.
А вот начальник отдельной организации, к тому же к самому цоду имеющий опосредованное отношение (он отвечает за охрану как я понял некоей "стратегической" территории с возможно десятком арендаторов, может и не быть доступным, рядовые сотрудники на местах не понимают масштаб проблемы, и не видят необходимость эскалации за которую потом могут по голове не погладить, а скорее наоборот.
Надеюсь админы получат хорошую премию.
И будут провоцировать такие аварии. Расшатывать патрубки и сводить критичные сервисы в один датацентр )
Премия - за решение проблемы. А за ее создание - серьезные разборки. Как видите, каждая проблема была нормально исследована. При регулярных повторениях могут возникнуть подозрения, конечно, но мне кажется, что в данном случае, премии админы заслужены.
И оплачиваемый отпуск. И к терапевту хорошему за счёт компании на всякий случай заглянуть, уж очень производство получилось вредное. Что там, кстати, IT-профсоюз (к примеру@it_union) на этот счёт думает?
Отсутствие ответа на исходный комментарий от официального аккаунта смотрится несколько неприятно, надо сказать.
У меня вопрос по питанию. Скажите, а у серверов есть приоритеты по питанию? Если генератор окажется перегружен, они умрут все одновременно, или сначала выключатся низкоприоритетные?
(Я знаю, что в городе есть такая штука, если частота падает, защита отключает потребителей по таймеру, спасая что-то более важное)
Нет ответа на главный вопрос, как так получилось, что система, которая считалась не критической (тот самый коммутатор, который лежал в шкафу) "внезапно" оказалась критической. Это явная ошибка проектирования, причем очень грубая, так как никто не понял заранее, что авария на этой системе отключит мониторинг, на который завязано полноценное функционирование всех ЦОДов. То есть вы прозевали критическую точку отказа. Это и была вторая фатальная ошибка, вместе с отсутствием доступа у персонала.
Не было самого главного вопроса - почему так вышло, что дизели перегрелись? Они не были рассчитаны на нагрузку или в чем проблема? То, что вы хотите поставить 500N+500 дизелей малой мощности не даст вам надежность.
И второй вопрос не задал никто вроде - почему нельзя было сразу же при первых глюках коммутатора, что во внутренней сети - сразу его поменять на 100% рабочий превентивно? Вы вроде писали, что старый работал, но как-то не так - вот как только стало ясно - это как-то не так и заменить...
В остальном - вы молодцы, особенно ценно, что вы все рассказываете - как правило политика все замолчать и...
вот как только стало ясно - это как-то не так и заменить
Насколько я понял, так и сделали, просто то, что с ним что-то не так поняли не сразу.
Обычно проблема детектируется по типу "есть сигнал - нет сигнала" . А тут был вариант "есть сигнал, да не тот". На это многие разработчики систем накалываются.
С мобильным дизелем напрашивается идея сделать возможность подключения в менее охраняемом периметре.
Спасибо за подробный и правдивый ответ о SLA! Я уже было подумал, что мой вопрос в комментарии к предыдущей статье не был замечен, или был сознательно пропущен как "дискредитирующий". Обещание девяток в рекламе, и их отсутствии в договорах - это так-себе решение. А вот выплата компенсаций пострадавшим от сбоя и планы по внесению SLA в договора - это правильно
Интересно мнение тех, кто хостинг арендует. Нужна ли им эта компенсация, что с ней делать? Думаю клиенты предпочли бы отсутствие сбоев. А компенсация на фоне потерь исчезающе мала. Тут лучше подойдет страхование бизнеса, это должна делать страховая компания, а не хостер.
У меня например недорогой VPS сервер есть, затраты на него небольшие, а компенсация за простой в 10% от платежа на уровне шума что-то, сумма вообще ни о чем.
SLA 100% за время простоя — нафиг — это в любом случае копейки.
Потому что если простой будет пару дней и сервис еще нужен (=проблема не (хотя бы) регионального) уровня) — арендатор будет уже думать не про возврат 6% от месячной оплаты, а про то, у какого нового хостера, поднимать бекап (если он конечно есть).
SLA вида — простой больше часа = следующий месяц бесплатно хоть чем то лучше.
Потерянную прибыль никакой хостер разумеется компенсировать не будет.
SLA вида — простой больше часа = следующий месяц бесплатно хоть чем то лучше.
Чем лучше? Возвращаемся к исходным условиям. При большом простое клиенты все равно уйдут к другому хостеру.
Тем лучше, что когда мне за малейший простой насыпают в качестве компенсации дорогих ресурсов — я знаю, что хостер не будет относиться к простоям спустя рукава, т.к. ему они обходятся в ощутимые суммы компенсаций. Мне не столько этот месяц бесплатный нужен, сколько подтверждение того, что за каждый простой хостер теряет деньги — отдаст он их мне или в детский дом, не так важно, главное моя уверенность в том, что они будут потрачены.
А если хостеру простой обходится в х2-х3 денег за эти часы(сколько там, допустим 3000/30/24*10*3=125р за 10 часов простоя, смешно), то да, при втором повторении факапа я пойду искать другого хостера, потому что когда пенальти за факап небольшое — ничего не мотивирует факапы предупреждать.
Это какие-то психологические манипуляции менеджером над клиентами. Для инженера важна только статистика, простой средний 5 минут в год по данным за 10 лет. Или 0 минут у некоторых хостеров, но дороже. А когда начинается игра на когнитивных искажениях, это может только раздражать. Упал сервер - получи бейсболку в подарок.
Вы читать-то умеете, или ключевые слова парсите и на них ответы пишете?
Я прямым текстом говорю: большую компенсацию мне я рассматриваю не как бесплатную бейсболку, а как штраф хостера за факап. Маленький штраф разрешает им косячить дальше, и такого хостера надо менять, большой штраф — мотивирует не косячить и одновременно демонстрирует мне, что хостер более-менее уверен в том, что следующий факап будет небольшим.
Если хостер вместо компенсации будет на эти деньги устраивать фейерверк с надписью в небе "мы лохи и не держим SLA", то в целом, мне примерно одинаково от обоих вариантов будет.
Тут уже особенности когнитивных искажений клиентов. Одним нужно наказание. Другим только статистика. Третьим личное внимание от менеджера причем в ходе личного общения. Кому-то нужна только статистика без цирка от менеджеров, например простой строго 0 в год, без компромиссов.
Как вариант хостер может не платить компенсаций, потому что работает с минимальной наценкой за оказание услуг и компенсация за простой уже в составе тарифа изначально. И менеджеров у них нет, так как процессы автоматизированы. Соответственно у них будет линейка тарифов для хостинга с разной надежностью. Выше надежность - выше цена.
Как вы изящно ставите на все, что не укладывается в вашу логику, ярлык "когнитивных искажений". Типа, вы глупенькие, но это не вы конкретно, а все человеки.
По факту, есть простое соотношение цены хостинга (а значит и маржи) и цены факапа. Цена хостинга 1000/месяц, маржинальность 30%, значит цена факапа в 1000 — хорошая заявка хостера на то, что факапы будут не чаще раза в год. Цена факапа в 60("мы вам компенсируем пару дней") — соответственно, можно каждые пару месяцев косячить.
Это не "наказание", это попытка понять, что для хостера выгоднее исходя из его внутренней экономической модели — вкладываться в предотвращение факапов или компенсировать простой. Если первое — то с ним можно работать, даже если что-то случается, если второе — то даже от устраивающего всем хостера стоит уходить, потому что бизнес не обманешь.
Гарантированного нулевого простоя в год не бывает и не будет — кто вам гарантирует такое, просто врет, и такому хостера доверия еще меньше, чем кому-либо. Про "нулевой простой" можно говорить только ретроспективно, но это такое: у меня ретроспективно у сервера дома тоже нулевой простой за прошлый год, но за хостинг такого уровня я гроша ломанного не дам.
В статье же есть пример, аптайм 100% на одной из площадок
Сейчас, возможно, мы ещё выдохнем и будем менять договоры в сторону более явного прописывания SLA. Если бы мы делали это заранее, то ЦОД в Королёве имел бы 99,96 % или 99,9 %, а не 99,98 %. Для примера: фактический аптайм 100 % с 1991 года есть в Останкино.
То что хостер может врать, это конечно проблема. Может получится так, что большую прибыль получит не тот, кто обеспечил наилучшее соотношение цена/качество, а у кого лучше маркетологи, которые манипулируют имиджем компании.
что для хостера выгоднее исходя из его внутренней экономической модели
Можно предположить что хостер не выплачивает компенсации, а покупает новое оборудование повышающее его надежность. Тут снова всё меняется до наоборот для клиента.
В статье же есть пример, аптайм 100% на одной из площадок
Для примера: фактический аптайм 100 % с 1991 года есть в Останкино.
Это ретроспективный анализ. Не выключать же сервера в конце года чтобы держать 99.9. Но если вы придете к ним и скажете "плачу в три раза больше, гарантируйте мне 100% аптайм на следующий год со штрафом 500%", то на это щедрое предложение никто не согласится, хотя казалось бы, что им стоит на халяву получить х3 к чеку, раз у них уже 30 лет аптайм.
Можно предположить что хостер не выплачивает компенсации, а покупает новое оборудование повышающее его надежность. Тут снова всё меняется до наоборот для клиента.
Может, конечно. Но у меня к этой информации доступа нет, а если бы был — у меня недостаточно квалификации, чтобы проанализировать ее, и если честно, недостаточно желания и времени.
Поэтому я делаю проще: если штраф за факап достаточно большой, выгоднее будет стремиться к недопущению факапов, а это автоматически влечет за собой покупку нужного железа, обучение сотрудников и так далее.
Тем что у клиента есть возможность подумать, остыть немного и посмотреть. В том числе посмотреть на то, это точно был единичный случай или потом еще вскроются детали.
Ну и можно как минимум резервом оставить старый хостинг на этот месяц.
Потому что, как мне кажется, проплачивать еще один месяц (если оплата помесячная — обычно ж так) после такого — ой врядли кто-то будет.
Да и для хостера это стимул НЕ повторять факап.
Ну можно не месяц, можно взять как компенсацию среднепотолочную стоимость альтернативного хостинга на месяц (сейчас с оплатой "за ресурсы" мало кто) + среднепотолочную стоимость работы админа по восстановлению.
они очень тяжёлые, то есть давят на перекрытия
Тогда литий-ионный или литий-железные аккумуляторы предложенные под предыдущей статьей имеют смысл. Они легкие и могут быстро отдавать ток (до 25С) и заряжаться. То есть они продержали нагрузку 3 минуты, дождались включения резерва и через 3-5 минут снова готовы держать отключение. В таком случае литиевый аккумулятор заменяет несколько свинцовых той же емкости, каждый из которых еще и легче будет.
Литий-ионные аккумуляторы пока не научились эффективно тушить, вроде бы. Фосфатные в этом смысле побезопаснее.
Литий-ионные аккумуляторы пока не научились эффективно тушить
Эмммм... а методом вытеснения кислорода фреоном? Для электромобилей, конечно, не годится — но для ДЦ — вполне...
Лодочная Объемная Химическая. И самоспасатель каждому работнику.
Водой тушат как ни странно. Теслы погружают в бочку с водой и ждут пока остановятся все химические реакции. Официальная методика. Вода забирает тепловую энергию от аккумуляторов и цепная реакция останавливается, когда одна ячейка поджигает другую.
Ну так Вы определитесь с терминами — Вам шашечки или ехать "тушить" (останавливать горение) или "останавливать тепловыделение"?
Останавливаем тепловыделение и таким образом тушим. Если вы имеете ввиду что нужно перекрыть доступ кислорода, как при обычном горении, то это ошибка. Аккумуляторам кислород не нужен, они и так горят
https://habr.com/ru/articles/372703/
Итак, после того, как произошло короткое замыкание, аккумулятор начинает нагреваться. Когда температура достигает 70-90 °C, ион-проводящий защитный слой на аноде начинает разлагаться. А дальше литий, встроенный в анод, вступает в реакцию с электролитом, выделяя летучие углеводороды: этан, метан, этилен и т.д. Но, несмотря на наличие такой взрывоопасной смеси, возгорания не происходит, так как в системе пока нет кислорода.Так как реакции с электролитом экзотермические, температура и давление внутри аккумулятора продолжают повышаться. Когда температура достигает 180-200 °C, материал катода, обычно представляющий из себя оксид переходных металлов со встроенным в кристалл литием, вступает в реакцию диспропорционирования и выделяет кислород. Вот тут-то и происходит самовозгорание и ещё более резкий скачок температуры. Параллельно идёт термическое разложение электролита (200-300 °C), также выделяющее тепло
И, в конце концов, в реакцию с электролитом (если он ещё остался) вступает графит, а когда температура достигает 660 °C, плавится алюминиевый токоприёмник. Выше 900°C температура обычно не поднимается, так как разлагаться уже нечему.
Проблема в том, что литиевые аккумуляторы горят сами по себе, им кислород не нужен. И горят они, пока не сгорят полностью. Выше написали про "тушение" водой, но это на самом деле не тушение, а недопущение поджога соседних банок от уже горящей. С горящей сделать уже ничего невозможно, пока она сама не сгорит до конца.
Ну без кислорода они не и не горят в привычном понимании этого слова. Просто греются и плавятся, поджигая соседние ячейки. Это даже не какая-то химия, а просто запасенная энергия в тепло переходит.
Проблема в том, что литиевые аккумуляторы горят сами по себе, им кислород не нужен.
Позвольте-позвольте, реакция "горения" — это химическая экзотремическая (т.е. с выделением тепла) реакция соединения двух химических элементов, в которой один ("горючее") образует соединение с другим ("окислителем"), передавая тому свой электрон с внешней орбитали. При этом горючее должно находиться левее окислителя в таблице Менделеева (иначе электрон не передастся, по закону сохранения энергии). Соответственно, вопрос — кто Ваш литий окисляет?
https://habr.com/ru/articles/372703/
Итак, после того, как произошло короткое замыкание, аккумулятор начинает нагреваться. Когда температура достигает 70-90 °C, ион-проводящий защитный слой на аноде начинает разлагаться. А дальше литий, встроенный в анод, вступает в реакцию с электролитом, выделяя летучие углеводороды: этан, метан, этилен и т.д. Но, несмотря на наличие такой взрывоопасной смеси, возгорания не происходит, так как в системе пока нет кислорода.Так как реакции с электролитом экзотермические, температура и давление внутри аккумулятора продолжают повышаться. Когда температура достигает 180-200 °C, материал катода, обычно представляющий из себя оксид переходных металлов со встроенным в кристалл литием, вступает в реакцию диспропорционирования и выделяет кислород. Вот тут-то и происходит самовозгорание и ещё более резкий скачок температуры. Параллельно идёт термическое разложение электролита (200-300 °C), также выделяющее тепло
И, в конце концов, в реакцию с электролитом (если он ещё остался) вступает графит, а когда температура достигает 660 °C, плавится алюминиевый токоприёмник. Выше 900°C температура обычно не поднимается, так как разлагаться уже нечему.
Не 3-5 минут на заряд, а скорее час. Тут уже мощность ввода будет ограничивать скорость. Но это все равно будет на порядок быстрее свинца.
Если у них резерв генераторов 2N+1 то вполне может зарядить успеть за 5 минут. Или быстрее, например генератор запускается за 1 минуту, аккумулятор работает соответственно 1 минуту и заряд потребует тоже 1 минуту даже на мощности 1С.
Резерв всегда за скобками, на то он и резерв. А отдельный генератор на заряд аккумуляторов никто делать не будет. Максимум на что можно рассчитывать это разница между мощностью вода N и текущим потреблением (условно 0,8N).
Не знаю насколько это актуально для датацентров, но в сфере автодомов при замене свинцовых аккумуляторов на литиевые бывает возникает проблема, что горят генераторы от такой безграничной способности принимать ток на зарядку. Не сгорит ли там резерв когда на него сразу при включении налетит толпа голодных аккумуляторов?
А вы не думали отдать патрубок на экспертизу а потом компании обслуживающей дизель выкатить иск в суд?
В Останкино у нас, например, охрана — отдельным батальоном Росгвардии. Поверьте, туда не приедет никакой ретивый сотрудник МВД с документами на следственные действия по виртуальному серверу вынимать физический.
Ну прийдёт ФСБ, делов-то? Или сами прийдут.
Отвечаю на вопросы после аварии