Твиттер откроет собственный дата-центр

image
В последнее время пользователи Твиттера наблюдали, что социальная сеть не справлялась с нагрузками и испытывала проблемы надежности. Отчасти это было связано с проведением Чемпионатом мира по футболу в ЮАР, отчасти из-за быстрых темпов роста в последнее время – за последнее время было создано более 300 000 новых аккаунтов. Это подтолкнуло компанию к шагу о создании собственного хранилища данных в Солт-Лэйк Сити, США.

Несомненно будущий дата-центр не будет таким же большим, как строящийся в Северной Каролине центр обработки и хранения данных компании Apple. Проект для Twitter был разработан на заказ, и запуск центра запланирован до конца этого года.

Представители компании считают, что собственный дата-центр даст возможность лучше и быстрее адаптироваться к росту числа и активности пользователей сервиса.

У Твиттера будет полный контроль над сетью и конфигурацией систем, занимающих гораздо большую чем сейчас площадь в здании специально спроектированным для этих мощностей и систем охлаждения. Дата-центр собирается из оборудования разных производителей и будет работать под управлением свободных ОС и приложений.

До сих пор Твиттер использовал центры обработки и хранения данных, построенные компанией NTT America в бухте Сан-Франциско. Компания продолжит работать с NTT, которая займется управлением площадями, занимаемыми оборудованием специализированного дата-центра.

Этот шаг последовал вслед за январским объявлением компанией Facebook о создании собственного дата-центра, который находится в Орегоне, где у многих компаний есть центры обработки и хранения данных, включая Amazon и Google. Причинами выбора такого географического положения служат дешевая электроэнергия, хороший климат и налоговые льготы для компаний, строящие дата-центры в этом штате.

Сейчас Твиттер находится под массированным давлением общественности, в связи с необходимостью объяснять пользователям, почему сервис продолжает сбоить и зачем отключаются некоторые функции. Компании даже разместила пост в собственном блоге, рассказывающую в общих чертах о проблемах и еще один пост для технических специалистов, описывающий ситуацию подробно. Основная суть публикаций в том, что в понедельник одна из главных баз данных «застряла» на одном из запросов и система была переведена в режим ограниченных возможностей. Пришлось делать перезагрузку сервера баз данных, которая заняла более 12 часов.

Похоже компании действительно требуется больший контроль над собственными системами. И теперь понятно, почему в компании часто сравнивают задачи масштабирования, обслуживания и тонкой настройки своего сервиса с работами по созданию ракеты средней дальности.

По информации TechCrunch
+23
22 июля 2010, 17:32
3
tau 9,0

комментарии (32)

+2
torsion #
>В последнее время пользователи Твиттера наблюдали, что социальная сеть не справлялась с нагрузками и испытывала проблемы надежности.
Последнее? Точно?
+2
Tigger #
Думаете, еще не последнее?
+10
SilenceAndy #
Ну по сравнению с тем, что было 3 года назад, сейчас твиттер — мега стабильный.
+3
mih #
Буквально вчера аватарки пользователей вообще не грузились!
+3
porzione #
Не замечал оч давно, хотя может клиент кэширует.
–6
mihmig #
ОМГ, постройка нового датацентра для того чтоб стабильно грузились аватарки! О времена! о нравы!
0
Masterkey #
«On Monday, our users database, where we store millions of user records, got hung up running a long-running query»
простите, а никто не в курсе — они что используют mysql с myisam?
+1
Masterkey #
*facepalm*
провтыкал окончание у слова и потерял весь смысл предложения.
+4
porzione #
Запросто, почему нет?
www.insight-it.ru/masshtabiruemost/arkhitektura-twitter/ все, что есть по теме
0
Masterkey #
спасибо за ссылку )

в универе нас натаскивали на 3НФ и НФБ-К, а тут просто и ясно: нагруженный проект — старые правила фтопку

хотя я не понимаю их упорства — монго уже достаточно стабильна для таких вот вещей, почемубы не использовать ее?
0
Dj_PiTeR_FM #
возможно потому что «достаточно стабильный» код твиттера на «достаточно стабильном» ror (хотя тут не уверен, возможно юзается старая ветка) при переносе на «достаточно стабильный» монго = риск воплей юзеров и поддержки — верните все как было
+2
SMiX #
Я думаю, что как раз innodb. И 12 часов, которые перезагружалась бд, откатывались назад транзакции.
0
litos #
Может им пришло время смотреть в сторону другой СУБД, а не MySQL?
+2
onlinehead #
Молодцы ребята, давно пора.
Еще бы характеристики поподробнее разведать, а то интересно:)
0
aquarius #
Надеюсь, у них в бизнес-плане описано как все это окупить.
0
chaliy #
Они каким то макаром в этом году умудрились получить 100млн прибыли.
+4
ivanzoid #
с работами по созданию ракеты средней дальности.


в оригинале скорее:

«с созданием ракеты в процессе полёта»
–1
artch #
Amazon AWS не справляется?
–1
zvic #
Твиттер не имеет никакого отношения к Amazon AWS. Сведения из первых рук.
+1
artch #
Не знаю как сейчас, но еще совсем недавно аватарки грузились с S3.
–1
zvic #
Если в URL случайно присутствует S3, то это совершенно не означает что они сидят на Amazone. У них собственная платформа
–1
artch #
Не стоит по умолчанию считать других людей дураками. В URL присутствовало не s3, а s3.amazonaws.com.

habrahabr.ru/blogs/hosting/20425/
0
zvic #
Может быть какая-то часть контента и была 2 года назад в Амазоне (в чем я кстати очень не уверен), но основной хостер (о котором написано в новости) у Твиттера не менялся уже на протяжении 3-4 лет. И это не гадания на кофейной гуще, а сведения из первых рук.
0
Dj_PiTeR_FM #
фраза «сведения из первых рук» повторенная дважды должна окончательно убедить оппонента в правоте ваших суждений
0
Renmby #
Сейчас подавляющее большинство грузится с aX.twimg.com, где X=1,2,3…
(У меня свой сервис для Твиттера, поэтому есть некоторая статистика)
+2
bir_liozz #
Не совсем понятно, почему все решили, будто со своим собственным дата-центром твиттер сбоить не будет. Запас по прочности появится, это да, но такие проблемы как «создание ракеты в процессе полета», о которых они говорят — эти проблемы будут всегда
+2
zvic #
Именно. Их проблемы не в дата-центре, а в их собственных руках и головах
0
Dj_PiTeR_FM #
как правило так и бывает, но свой датацентр это как не крути воркераунд, причем железобетонный
–2
nepx #
Кита жалко, датацентр — убийца!
–1
Rodman #
За фейсбуком повторяют)
+1
Leency #
Twitter откроет собственный дата-центр, Google выходит на рынок энергетики, KolibriOS Team начала работать над поддержкой HDAudio…
0
SparcO #
… и серверные стойки будут в виде кита и птичек, которые его несут…

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.