История одного инцидента на Mediatemple

Хостинг*

Уважаемые господа, хочу поделиться с вами радостью!
(Вначале этот заголовок подразумевал сарказм, «однако за время пути собачка могла подрасти»)
Все мы слышали о хостинге от MediaTemple, многие на нем работают.
Так вот, сегодня, в 15:15 обнаруживаю поддерживаемый мной сайт лежащим. Речь идет о Официальном сайте женского волейбольного клуба «Динамо» (Краснодар)
Проверка показывает, что база данных не отвечает в принципе.
В блоге состояния на эту тему записей нет (кластер 6, сегмент 1)
Отправляю запрос — Estimated response time 23 hours.

Далее развитие действа:

15:23 *Мысли вслух* Завтра у команды игра: сегодня нужен анонс, завтра — текстовая трансляция в реальном времени: «Штирлиц был на грани провала»… вспоминаю все свои грехи, молюсь всем известным богам. Если на матче меня повесят под куполом — в этом будет вина MT.
15:25 На всякий случай нахожу их twitter канал, и пишу туда… *Молюсь о спасении души*
15:41 Ответный твит: Запрос увидели, сейчас ответим.
15:41 Ответ MT на запрос: «Администратор подтвердил недоступность хоста баз данных с вашего GS (Grid Server), сейчас мы выявляем причину и работаем над ее устранением...»

An administrator has identified a MySQL hostserver is unresponsive at the moment for your particular (gs) Grid-Service. We are currently identifying and correcting the issue. This Support Request has been attached to a tracking system and you will be updated via this request.

15:56 Ответ в запросе MT: «Инженеры исследуют недоступность баз данных для вашего аккаунта. Ваш запрос был присоединен к внутренней трекинговой системе, будете получать периодические обновления по ситуации через открытый запрос...»

Engineers are currently investigating the unavailability of MySQL services for your particular (gs) Grid-Service. This request has been attached to an internal tracking system and periodic updates will be given via this request. We apologize for the unavailability and appreciate your understanding in this matter.

16:30 — Сайт включился, работает, потерь данных нет…
16:40 — Отчет из MT: Ваш вопрос решен, Системные инженеры обнаружили проблемы с дисковым хранилищем на сервере баз данных, сейчас проблема решена и сервер баз данных работает в боевом режиме…

The incident (INC# 1134) relating to your support request has now been resolved and closed.

A System Engineer became aware of disk errors being reported on a particular host server for MySQL. The Engineering staff resolved the issue and now the MySQL server is back to its normal state. Please update this Support Request if you have any further issues with the MySQL Environment.

P. S.> Господа, все персонажи и события реальны: сайт приводил выше, размещение GS, кластер 6, сегмент 1.
Системный администратор, инженеры… речь идет о субботе, 4-5 утра по их местному времени!
Ошибка файловой системы на сервере баз данных — тут обычно не об оперативном подъеме думаешь, а о том, чтобы ресурс не потерять… 20 минут, и все работает.

+50

13 февраля 2010, 17:37

ZiNTeR 9,5

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

комментарии (87)

+12

Evengard 13 февраля 2010, 17:40 #

Это положительный или отрицательный отзыв всё таки? )))
По мне так больше положительный — всего один час на всё про всё и проблемы нету… )

ZiNTeR 13 февраля 2010, 17:49 # ↑

Ну как бы по мне ответ «Все работает» за час в субботу раньше утра, да еще и с такой проблемой, как ошибки дисковой системы…
Как начал писать — это был негатив, но не успел опубликовать как исправили — пришлось писать позитивно :)

Ueasley 13 февраля 2010, 19:01 # ↑

Т.е. сначала вы хотели написать о том, что у вас сайт упал?

ZiNTeR 13 февраля 2010, 19:04 # ↑

Не совсем — сайты иногда падают, сервера иногда горят: такова жизнь.
Я несколько прифигел от надписи: estimated response time 23 hours.
Если бы вопрос решался именно столько времени — это бы для меня была бы катастрофа.

–1

Andrey_Rogovsky 13 февраля 2010, 17:53 # ↑

Если бы не жалели денег на дублирование дискового хранилища — сайт был бы доступен

Хотя конечно, это смотря какой даунтайм закладывать в кластер. Одно дело 15 часов в год, другое дело 15 минут в год

ZiNTeR 13 февраля 2010, 18:04 # ↑

Если бы не было дублирования дискового хранилища, я бы, наверное, потерял данные.

Andrey_Rogovsky 13 февраля 2010, 20:19 # ↑

Если бы небыло бекапа — тогда да
Дублированное хранилище это два девайса которые работают как raid1
Выход одного из строя незаметен

romx 14 февраля 2010, 08:05 # ↑

> Если бы не жалели денег на дублирование дискового хранилища — сайт был бы доступен

Если бы не жалели денег на дублирование дискового хранилища — хостинг бы стоил заметно дороже

Andrey_Rogovsky 14 февраля 2010, 08:55 # ↑

Не заметно, а чуть-чуть
Зато качетсво повысилось

romx 14 февраля 2010, 09:11 # ↑

Для кого «чуть-чуть», а для кого и «заметно». ;)

Crashus 15 февраля 2010, 03:10 # ↑

$2k просто сервер $2.2k сервер с ещё одним винтом, даже если сервер будет служить всего год это $200\12 ~ $17/month учитывая что юзеров на сервере обычно 100-1000 выходит + 0.17-0.017 доллара в месяц, немного на самом деле. Стоимость сервера в моём варианте завышена как и значительно занижено «время жизни» сервера. На самом деле очень часто сервера не выкупают LTO а арендуют и там выходит что-то в том-же районе $15-$20 за доп винт в месяц.

romx 15 февраля 2010, 06:03 # ↑

Стоимость владения состоит не только из цены железа. Извините, что такие букварные истины приходится повторять.

Crashus 15 февраля 2010, 12:03 # ↑

Мы считаем наценку а не стоимость владения. Извините что приходится повторять, ага

romx 15 февраля 2010, 12:07 # ↑

А стоимость владения оборудования, как основных средств, и влияет на наценку оказываемых услуг непосредственным образом, извините что приходится повторять букварь, ага.

Crashus 15 февраля 2010, 12:11 # ↑

Но стоимость владения включена в общую стоимость оба раза, и я считаю наценку только за дополнительный винт, кроме общей уже включённой цены.
И да извиняю, ок. На этом закончу.

romx 15 февраля 2010, 12:24 # ↑

Да, вы нацелены тупить, я не могу вас тут поддержать, не силен.

nolled 13 февраля 2010, 17:58 #

Впринципе ожидаемо, недешевые цены ж.

ZiNTeR 13 февраля 2010, 18:52 # ↑

Я бы не сказал что они уж очень дорогие, особенно если вопрос надежности стоит не на последнем месте.
Убедился в этом на собственном опыте.

ivlis 13 февраля 2010, 19:01 # ↑

$50 за 512 non-managed VPS вы считаете не особо дорого? За эти деньги можно дедик нормальный взять.

Psih 13 февраля 2010, 19:11 # ↑

Когда речь идёт об отказоустойчивом сервисе, то это другойпорядок цен и впринципе это не дорого. Сам сейчас исследую этот вопрос и прикидываю, какой примерно может быть ценник за такой сервис (речь идёт о варианте, когда если падает сервер или база, то клиент этого даже не замечает).

ivlis 13 февраля 2010, 19:18 # ↑

Да там вроде обычный такой VPS, как у всех.

НЛО прилетело и опубликовало эту надпись здесь

ivlis 14 февраля 2010, 00:08 # ↑

Вообще-то пишут, что там контрол панель параллельз. Мне, если честно, эти рюшечки только мешают. vnc и кнопки reset по уши.

Terehoff 14 февраля 2010, 14:16 # ↑

mediatemple.net/company/clients/bios/adobe.php

Список доменов:
• adobecards.com
• adobeflashad.com
• onair.adobe.com
• adobetourtracker.com
• xd.adobe.com

У меня открылся onair.adobe.com и жутко тормозя через минуту adobecards.com

ZiNTeR 13 февраля 2010, 19:19 # ↑

Можно и дешевле. Но я предпочитаю спать спокойно по ночам
Вопрос в том что у MT физически понятие Dedicated отсутствует. Вы работаете в облаке, и не привязаны к какому-то конкретному серверу. Более того, вы оплачиваете по-сути среднюю нагрузку, а не максимально выдерживаемую.

Грубо говоря, вас не волнует, удержит ли пик нагрузки хостер или нет. Главное — не выходить за рамки отведенных GPU в месяц, чтобы не платить дополнительных денег. Приобретая же Dedicated вы в первую очередь оплачиваете страховку от Denial of Service (имеется в виду не атака, а именно сам отказ от обслуживания при перегрузке) при пиках нагрузки пользователями.

В тому же по моим расчетам для приведенного выше сайта будет использоваться 1000GPU в месяц при 7-8 тыс. пользователей в день, и при просмотре каждым из них в среднем 10 страниц.

Поскольку тут я не могу учесть эффекты кэширования, поскольку при большой нагрузке они нелинейны, то можно ожидать и большего числа посетителей в день при соблюдении квоты 1000GPU/month

ivlis 13 февраля 2010, 19:24 # ↑

Плюсы и минусы везде есть.

XeNum 17 февраля 2010, 23:08 # ↑

По скорости сайт работает если не отлично (все таки пинг большой), то хорошо. И есть куда еще оптимизировать. Тот же hworld.ru, оптимизированный WebOptimizer`ом грузится намного дольше.

ZiNTeR 18 февраля 2010, 03:01 # ↑

Думаю что WebOptimizer далеко не панацея. К тому же процесс оптимизации он не только из техник состоит, но и из определенного творчества. А эмуляторов творчества я почему-то не замечаю.

ooprizrakoo 13 февраля 2010, 20:34 # ↑

«нормальный дедик»? за 50$? Покажете?

Laughboy 13 февраля 2010, 20:36 # ↑

www.hetzner.de/de/hosting/produkte_rootserver/eq4/

emposha 13 февраля 2010, 23:11 # ↑

Once-off Setup Fee 149 € как бы совсем не 50$

Laughboy 13 февраля 2010, 23:44 # ↑

тогда www.hetzner.de/de/hosting/produkte_rootserver/ds3000/ ;)

ivlis 13 февраля 2010, 20:40 # ↑

Ну ладно, не баксов, а евро

www.hetzner.de/de/hosting/produkte_rootserver/eq4/

brooho 13 февраля 2010, 22:39 # ↑

Там ещё минус 19% для нерезидентов Евросоюза. Так что почти 50$ и выйдет.

Psixozzz 14 февраля 2010, 05:02 # ↑

Цены не бывают дешевыми или дорогими. Они бывают низкими или высокими. Дешевым бывает только товар. Это я так, на будущее (=

Psih 13 февраля 2010, 19:12 #

Вы как-то быстро решили писать негатив. То что вам за 20 минут решили такую серьёзную проблему, да ещё и без последствий — да вам им надо ещё приплатить в благодарность :)

zhernovoi 13 февраля 2010, 19:19 #

С радостью бы оставался на Медиатемпле, но скорость доступа к ресурсам на их серверах уж очень невелика для восточно-европейских посетителей (как и скорость ftp), поэтому и ушел.
А вообще обожаю их службу поддержки, там даже по телефону можно (было) с русскоговорящим пообщаться. И ещё они никогда не обвиняют пользователя в лаже с его стороны.

ZiNTeR 13 февраля 2010, 19:48 # ↑

Со службой поддержки стараюсь общаться в переписке, поскольку с моего произношения смеются даже шотландцы :)
А насчет низкой скорости доступа можно поподробнее? Просто на мой взгляд скорость скорость очень приличная. Задержки — да, но тут уж, простите, против географии не попрешь. Но частично улучшить ситуацию за счет спрайтов (со скоростью и нагрузкой на самом сайте)

zhernovoi 13 февраля 2010, 23:27 # ↑

Если кратко, то у меня появлялись проблемы со скоростью доступа при высоких нагрузках на сайт, долгий пинг и т.д. Не перманентно, но мешало. Но было это около года назад на другом кластере, но у вас сайт, на мой взгляд, работает довольно быстро. Ну и скорость фтп была медленная.
В остальном, (mt) был значительно лучше остальных, имхо.

joukov 15 февраля 2010, 10:06 # ↑

Скорость доступа из России зависит от провайдеров. Например, в офисе у нас не очень, а дома как из пушки. Я про МТ.

VladimirAndreev 13 февраля 2010, 19:22 #

проблемы с дисковым хранилищем — например, переполнение файловой системы базы данных. и субд намертво зависает.

g0dlike 13 февраля 2010, 19:42 #

Розовый шрифт — мои глаза!..

zencd 13 февраля 2010, 20:01 # ↑

Всё-таки с ошибками восстановились данные! Цветовая схема слетела.

g0dlike 13 февраля 2010, 20:02 # ↑

Ага, и изменился цвет favicon)

elych 13 февраля 2010, 20:13 # ↑

Ребят, это же сборная прекрасного пола

g0dlike 13 февраля 2010, 20:14 # ↑

Оно то так, но сочетание цветов не очень (черный, синий, розовый)…

elych 13 февраля 2010, 20:21 # ↑

Да ладно вам, шуток не понимаете

yevgeny 13 февраля 2010, 20:18 #

У вас на отдельный контейнер с приложением и отдельно заказанный контейнер MySQL?

yevgeny 13 февраля 2010, 20:19 # ↑

(«На» лишнее.)

ZiNTeR 13 февраля 2010, 20:25 # ↑

Нет, вполне хватает базового варианта за 20$/mo.
Да и ресурсы GPU мы за месяц использовали на 5% от допустимого, при этом никто пока-что оптимизацией не кода занимался.

Supercharged 13 февраля 2010, 20:39 #

Я что-то больше 20 минут насчитал. Больше часа только с того момента, как вы засекли неработающий сайт.

ZiNTeR 13 февраля 2010, 20:43 # ↑

В общем — то вы правы.
В последней фразе имеется в виду что 20 минут на исправление подобной проблемы — это очень хороший показатель.

adnull 13 февраля 2010, 20:56 # ↑

Ну, как на это посмотреть. Вы ведь достоверно не знаете, что там за проблемы были?
А так — обычная нормальная реакция на неполадки. За 20 минут можно и дефектное ПО на сервере пересобрать, если обнаружена проблема.

Lord_Daedra 13 февраля 2010, 21:14 #

Ошибки возникают у всех… Хорошо, что ошибки исправляются оперативно… Считаю данный отзыв положительным…

Nicomashi 13 февраля 2010, 22:17 #

Замечательный провайдер, и вправду. Только как-то с негативом вы поторопились. Обычно у людей такая потребность после минимум месяца мучений. Терпимее нужно быть, избаловали они вас =)

mokaton 13 февраля 2010, 22:26 #

Сейчас посмотрите насколько MT хорош от хабра-эффекта :)

ZiNTeR 13 февраля 2010, 22:31 # ↑

Ну для начала уже давно проверено что MT держит и Хабраэффект, и Диг эффект.
К тому же для этого надо видеть статистику MT, а не моего сайта.
Первая ссылка на MT ведет, и это сделано не случайно. Ссылка подписана не «Мой крутой мега сайт», а речь идет о «Офсайт ЖВК...» — вряд ли многим IT специалистам будет интересно читать новости клуба не самого популярного вида спорта в России (читайте «нефутбола-нехоккея»)
А вот если MT ляжет от Хабраэффекта — это будет жутко… Хоть и прикольно :)

mokaton 13 февраля 2010, 23:07 # ↑

Ладно, а такой вопрос нуба по поводу этого хостинга — если я хочу хостить сайт на PHP, то мне хватит $20/month? Или нужно будет брать еще и MySQL контейнер? Я чего-то из описания так и не понял, в эти 20 баксов входит мускуль или нет?

ZiNTeR 13 февраля 2010, 23:12 # ↑

MySQL контейнер нужен в том случае, если у вас очень высокая нагрузка на БД. Я уже писал ниже.
По-сути это отдельный хостинг для Базы.
Я, например, его не покупал — для меня пока-что ресурсов итак за глаза.

XeNum 17 февраля 2010, 22:57 # ↑

Не подскажите по поводу PostgreSQL. У них в одном месте написано, что входит в состав ПО на сервере, а в другом, что нужно покупать контейнер. Как там на самом деле?

ZiNTeR 18 февраля 2010, 02:55 # ↑

Контейнера PostgreSQL лично я в админке не видел.
PG использую сам — он доступен в GS, но лучше все-же именно у них пользоваться MySQL: есть возможность перехода на контейнер+ MT хорошо под MySQL заточен.
При PG возможен переход только на dv, где PG последней версии можно поднять самому.
PG почему-то стоит старый 7.4 — с этим стоит быть осторожнее: мне например pg_dump pg_restore из 8.2 не дал перенести всю базу — пришлось многое по структуре руками вытаскивать и заливать.

zhernovoi 13 февраля 2010, 23:17 # ↑

Конечно входит. Контейнер — необязательное дело для обычных сайтов. Больше о контейнерах в хелпах (mt).

joukov 15 февраля 2010, 10:41 # ↑

Хабра-эффект выдумка.

ZiNTeR 15 февраля 2010, 15:41 # ↑

Если к вам в Парижском метро не прижимаются люди, это вовсе не означает что метро в Париже не существует.

joukov 15 февраля 2010, 15:44 # ↑

Мы в Турбомилке, как никто другой знаем, что такое хабра-эффект. Он случается, только если у админа совсем уже кривые руки. Вот дигг-эффект, в честь которого он назван — это пипец похожий на ддос атаку.

shortcaster 13 февраля 2010, 22:29 #

Я ищу хостинг на Rails, правильно я понял что на mediatemple для этого нужно будет платить 20$ за gs + от 20$ за каждое приложение?

shortcaster 13 февраля 2010, 22:30 # ↑

И еще отдельно за контейнер MySQL?

ZiNTeR 13 февраля 2010, 22:37 # ↑

За контейнер Ruby — да. За один контейнер на все приложения.
За контейнер MySQL — только в том случае если у вас пойдет очень большая нагрузка на БД.
Это сделано для удобства масштабирования уже написанного ПО.
В вашем же случае, насколько я понимаю речь идет о 20+20 за хостинг с 100 доменами, 100 гигами, 1Тб траффика и правом исполнять Ruby на всех ресурсах. Имеет смысл при большом количестве разработок на Ruby — для одного двух проектов это много.

Но это мое ИМХО — постучитесь к ним, пообщайтесь. Я не представитель компании — просто довольный клиент :)

shortcaster 13 февраля 2010, 22:52 # ↑

Спасибо за разъяснение

nolled 13 февраля 2010, 22:55 # ↑

Объясните пожалуйста с этим рубиконтейнером как обстоят дела. Меня интересует возможно ли без возни с администрированием сервера залить апликуху и чтоб она работала аля google app engine. Это типа этого?

ZiNTeR 13 февраля 2010, 23:15 # ↑

Вот тут не подскажу — с Ruby не работал, контейнер не подключал.
Покопайте Knowledge base на эту тему:
kb.mediatemple.net/

andoriyu 14 февраля 2010, 00:57 # ↑

www.engineyard.com/ — мне вот отсюда постоянно звонят и спрашивают как дела, не хочу ли я нем перейти и, что завтра у них очередной вэбинар о том как все круто работает. Они гордятся, что у них очень просто деплоить приложения, счет на секунды идет.

sach 13 февраля 2010, 22:34 #

А вас эпик фейл MT не коснулся (пароли хранившееся в плейн текст утекшие наружу и как следствие куча хакнутых сайтов)? А меня еще по IP адресу заблокировали (ни в акаунт сентер ни на свои сайты не зайти). И поддержка по телефону сидишь ждешь по пол часа музыку слушаешь.

ZiNTeR 13 февраля 2010, 22:44 # ↑

Нет, не коснулся. Можно пруфлинк?

sach 13 февраля 2010, 22:46 # ↑

weblog.mediatemple.net/weblog/2009/11/26/1026-gs-security-advisory/
michaeltorbert.com/blog/media-temple-hacked/

По английски. Переводить лень, надеюсь для вас не проблема

AHDPEu 13 февраля 2010, 23:29 #

Больше похоже на плохую рекламу. Простите если это не так.

unsobill 14 февраля 2010, 00:27 #

я поначалу думал с ними работать — даже на интервью два раза приходил — красиво у них — только вот все безалаберные они — негр админ какой-то левый — да и тот тупой в доску, кроме дебиан нихера толком не знает — нераз их хакали и воровали НЕЗАКРИПТОВАНУЮ базу — сеть и роутеры рентуют у третих людей — ненравится мне куда компания идет — раньше получше были

unsobill 14 февраля 2010, 00:49 # ↑

позиция была, кому интересно, персонал дата-центра
негр админ сказал что я «overqualified» что в переводе «сверхквалифицированный»
видимо я кожей не вышел наверно — негры расисты 99% процентов в компаниях США при наборе на работу
даже термины «Reverse discrimination» и «Affirmative action» придумали для того чтобы легально защищаться от этого — мне похер я лучше компанию найду!

romanoza 14 февраля 2010, 16:52 #

пользовался их услугами, получил много положительных эмоций, даже манибк сделали
ушел, т.к. длинные пинги до них

andruhan 14 февраля 2010, 17:24 #

То, что проблемой начали заниматься только после вашего обращения — фэйл чистой воды.
Мониторинг должен был им об этом сообщить моментально. Т.о. при ответе на первое ваше сообщение должно было быть предоставлено 2 вещи:
1) Причина, по которой недоступен ваш сайт.
2) ETA на решение проблемы.
По моему опыту общения — в servepath\savvis\level3 всегда было так.

valyard 15 февраля 2010, 18:27 #

Редкий положительный пост о хостинге на Хабре.
Я тоже на МТ и у меня за многие годы еще не было ни одной серьезной проблемы.

ZiNTeR 16 февраля 2010, 17:09 # ↑

Проблемы рано или поздно возникают у всех. Вопрос в том, как их решают. Я, например, проработав с компанией Арбатек без особых вопросов несколько лет, столкнулся с проблемой с их стороны (ограничили число видимых объектов в папке 20 000 файлов. Речь идет о эпохе MySQL 3-4, и потому я несколько гигабайт текста решил хранить во внешних файлах, чтобы не ощущать радость тормозов. Файлов в папке было 40 000 — просто тексты). Так вот, мне 20 минут рассказывали, что такое решение тормозит системы, типа даже у них открытие папки (через вебпанель!) заняло больше десяти минут, и я такой нехороший, сервер им торможу.
Спустя минут 20 разговора человеку на том конце провода стало ясно, что я понимаю больше его, и отмазаться не получится. Он произнес фразу, которую не забуду до сих пор «Хорошо, тогда перезвоните через пару часов, когда подойдет специалист»… был в шоке.
Бояться проблем не стоит — стоит опасаться ситуации, когда от твоих вопросов будут отмазываться типа «сам дурак»

valyard 17 февраля 2010, 11:01 # ↑

именно, я и пишу «серьезной проблемы»
косячки есть везде и всегда, все-таки errare humanum est
но все те несколько косячков за годы работы разрешились очень быстро и без вопросов
даже когда я сам накосячил, мне все поправили и не тыкали пальцем, мол я сам идиот… хотя так и есть )8

mokaton 19 февраля 2010, 23:53 #

Хотел вот еще что спросить — как вам работа с МТ? На сколько сильно лаги из-за удаленности серверов (кстати где ваш проект располагается территориально?).
Я собираюсь запускать проект, но боюсь удаленности этого хостера, а у российских боюсь косяков (нахватался уже) и какого-нить хабраэффекта словить :)

mokaton 19 февраля 2010, 23:58 # ↑

Я сейчас скормил ссылку вашего проекта хост-тракеру и как-то по моему результаты не впечатляют :(
host-tracker.com/ru/check_res_ajx/4428214-0/share/

XeNum 21 февраля 2010, 22:18 # ↑

В вашем результате запросы из России просто провалились — 3-4 секунды, при среднем времени 1 сек. Тоже протестировал, получилось лучше. Время из России равно среднему, т.е. той же секунде. Это конечно не так здорово, но делайте скидку, что все-таки далеко от России.