Системное администрирование → ИТ управление — масштабируемый подход
Долго являлся пассивным читателем Хабра, но вот собрался с духом и решил поделиться своим опытом. Надеюсь, мои идеи придут на пользу в повседневной практике админов.
Пару месяцев назад я проводил на работе анализ ИТ инфраструктуры, в ходе которого нужно было установить наиболее слабые места и дать рекомендации к улучшению. Уверен, ситуация с которой я столкнулся известна многим. За несколько лет, компания существенно изменилась и заметно подросла, однако некоторые элементы в используемой ИТ инфраструктуре так и остались неизменными за прошедшие 10 с небольшим лет. В результате, регулярно придумывались различные заплатки и изощрения дабы собрать все воедино, что, очевидно, не добавляло стабильности и эффективности общей системе. Итогом являлся пересмотр общей инфраструктуры и требований бизнес-процессов с целью выбрать новое единое решение. Другими словами – революция, не эволюция.
Пару месяцев назад я проводил на работе анализ ИТ инфраструктуры, в ходе которого нужно было установить наиболее слабые места и дать рекомендации к улучшению. Уверен, ситуация с которой я столкнулся известна многим. За несколько лет, компания существенно изменилась и заметно подросла, однако некоторые элементы в используемой ИТ инфраструктуре так и остались неизменными за прошедшие 10 с небольшим лет. В результате, регулярно придумывались различные заплатки и изощрения дабы собрать все воедино, что, очевидно, не добавляло стабильности и эффективности общей системе. Итогом являлся пересмотр общей инфраструктуры и требований бизнес-процессов с целью выбрать новое единое решение. Другими словами – революция, не эволюция.
Высокая производительность → Архитектура Plenty of Fish
Plenty of Fish представляет собой популярный сервис онлайн знакомств, насчитывающий 45+ миллионов посетителей в месяц и 30+ миллионов просмотров страниц в сутки. Но это не самая интересная часть истории… Все это управляется одним человеком при использовании нескольких серверов, при этом он тратит на работу всего пару часов в день и зарабатывает более 6 миллионов долларов на рекламе от Google. Завидуете? Я тоже) Как же ему удалось соединить столько влюбленных пар, используя так мало ресурсов?
Я пиарюсь → Архитектура высоконагруженных систем
Наверное многие видели иногда проскальзывающие на хабре ссылки на мой блог Insight IT, посвещенный во многом архитектуре высоконагруженных систем. На данный момент статьи данной тематики в основном повествуют о зарубежных проектах на основе англоязычных данных.
В рунете тоже полно высоконагруженных сайтов и других проектов, но по ним мало кто публикует достаточное количество информации, чтобы была возможность написать какой-то аналогичный материал об их архитектуре. Хочется перейти собственно к цели данного поста: я бы хотел найти людей, готовых поделиться информацией об архитектуре рускоязычных высоконагруженных проектов, скорее всего владельцев или других уполномоченных лиц. На основе этих данных я бы хотел написать статью для блога Insight IT.
В рунете тоже полно высоконагруженных сайтов и других проектов, но по ним мало кто публикует достаточное количество информации, чтобы была возможность написать какой-то аналогичный материал об их архитектуре. Хочется перейти собственно к цели данного поста: я бы хотел найти людей, готовых поделиться информацией об архитектуре рускоязычных высоконагруженных проектов, скорее всего владельцев или других уполномоченных лиц. На основе этих данных я бы хотел написать статью для блога Insight IT.
Интернет → Aladdin от Baidu
Все прекрасно знают о лидерах интернет-поиска в российской части интернета: про Google, Яндекс или Рамблер сказано уже не мало слов, все много раз о них читали, пользовались, обсуждали — ведь уже прошло много лет с создания каждой из этих поисковых систем и их конкуренции на просторах рунета. Намного меньше же внимания на российских сайтах уделяется национальным проектам других стран, а ведь среди них тоже есть заслуживающие внимания экземпляры, об одном из них я бы и хотел сегодня поведать.
Высокая производительность → Архитектура Stack Overflow
Stack Overflow является любимым многими программистами сайтом, где можно задать профессиональный вопрос и получить ответы от коллег. Этот проект был написан двумя никому не известными парнями, о которых никто никогда раньше не слышал. Хорошо, не совсем так. Stack Overflow был создан топовыми программистами и звездами блогосферы: Jeff Atwood и Joel Spolsky. В этом отношении Stack Overflow похож на ресторан, владельцами которого являются знаменитости. По оценкам Joel'а около 1/3 программистов всего мира использовали этот интернет-ресурс, так что должно быть он представляет собой что-то достаточно полезное и интересное.
Одним из ключевых моментов в истории Stack Overflow является использование вертикального масштабирования, как достаточно работоспособного решения достаточного большого класса проблем. Не смотря на то, что публика на сегодняшний день больше склоняется к подходу с использованием горизонтальным масштабирования и не-SQL баз данных.
Joel любит похвастаться тем, что они достигли производительности, сравнимой с другими сайтами аналогичных размеров, используя в 10 раз меньше оборудования. Он удивляется, работали над этими сайтами по-настоящему хорошие программисты. Давайте взглянем на то, как им это удалось, и дадим Вам возможность побыть судьей.
Читать дальше →
Open source → Terrastore
Terrastore является свежеиспеченной системой хранения документов, с отличными возможностями по масштабируемости и эластичной настройке, при этом без жертв со стороны консистентности данных.
Google App Engine → Django в гостях у Google
Хотя да, достаточно давно уже Google выпустили в свет платформу Google App Engine. Описание этого продукта меня заинтересовало еще до открытия публичного доступа к системе и я даже записался на полу-закрытое тестирование. Вскоре пришло подтверждение, что мол «мы рады сообщить, что Ваша учетная запись активирована и теперь у Вас есть возможность попробовать наш новый продукт, для этого нажмите ссылку такую-то». Но пришло оно как-то не очень удачно, когда ни лишнего свободного времени не было, да и идеи подходящей для создания чего-нибудь эдакого на новой платформе тоже на горизонте не наблюдалось. В общем зашел на их сайт, посмотрел админку, поставил демо-приложение, поигрался чуток и забросил. Но с тех пор руки так и не прекращали чесаться от желания попробовать GAE на каком-нибудь более приближенном к реальности приложении, что мне совсем недавно и довелось сделать. Спешу поделиться впечатлениями.
Читать дальше →
Блог им. FFX → FathomDB — новый стартап от Y Combinator.
Сегодня стартовал закрытый бета-тест. В данный момент известно достаточно мало подробностей о данном стартапе (например, неизвестно кто за ним стоит), но задумка смотрится весьма интересно. FathomDB предлагает нам «реляционные БД как сервис».
Если по сути, то в данный момент это MySQL на EC2 с различными «плюшками». Следовательно, можно без особых проблем начать использование данного сервиса, или наоборот — прекратить.
Из «плюшек» нам предлагают автоматические бэкапы и мониторинг, а также всякие полезности для анализа производительности (в данный момент, судя по всему, не сильно продвинутые — круговые диаграммы и просмотр самых медленных запросов). На их сайте доступен скринкаст, а также предложение оставить е-мэйл (после чего вам пообещают написать, когда создадут ваш аккаунт).
В дальнейшем, по заявлению разработчиков, планируется поддержка других БД и хостингов.
Что интересно — WebMynd, тоже YC-стартап (очередное гетто? ;), начали использовать FathomDB ещё в прошлом году и неплохо его пиарят :)
В принципе — отличная идея с движением в правильном направлении (хотя это, естественно, не мэйнстримовый продукт).
И, если не ошибаюсь, отказоустойчивые БД на EC2 предлагает как минимум ещё один, более крупный игрок — RightScale.
Если по сути, то в данный момент это MySQL на EC2 с различными «плюшками». Следовательно, можно без особых проблем начать использование данного сервиса, или наоборот — прекратить.
Из «плюшек» нам предлагают автоматические бэкапы и мониторинг, а также всякие полезности для анализа производительности (в данный момент, судя по всему, не сильно продвинутые — круговые диаграммы и просмотр самых медленных запросов). На их сайте доступен скринкаст, а также предложение оставить е-мэйл (после чего вам пообещают написать, когда создадут ваш аккаунт).
В дальнейшем, по заявлению разработчиков, планируется поддержка других БД и хостингов.
Что интересно — WebMynd, тоже YC-стартап (очередное гетто? ;), начали использовать FathomDB ещё в прошлом году и неплохо его пиарят :)
В принципе — отличная идея с движением в правильном направлении (хотя это, естественно, не мэйнстримовый продукт).
И, если не ошибаюсь, отказоустойчивые БД на EC2 предлагает как минимум ещё один, более крупный игрок — RightScale.
Блог им. FFX → Automattic выбирает HP и AMD для WordPress.com
Barry Abrahamson, работающий на компанию Automattic, раскрывает некоторые технические подробности о новом дата-центре, расположенном в Чикаго. Это один из трех дата-центров, обеспечивающих работоспособность WordPress.com.
Железо, которое в нем установлено:
В сумме это 1440 ядер и что-то между 520 ГБ и 1.4 ТБ оперативной памяти.
Железо, которое в нем установлено:
- 150 серверов HP DL165 с двумя четырехъядерными AMD 2354 и 2-4 ГБ оперативной памяти
- 50 серверов HP DL365 с двумя двухъядерными AMD 2218 и 4-16 ГБ оперативной памяти
- 5 серверов HP DL185 с двумя четырехъядерными AMD 2354 и 4 ГБ оперативной памяти
В сумме это 1440 ядер и что-то между 520 ГБ и 1.4 ТБ оперативной памяти.
Блог им. FFX → Презентация: Behind the Scenes at MySpace.com
Дэн Фарино, ведущий системный архитектор MySpace, рассказывает некоторые технические подробности об инфраструктуре компании.
Для примера: Сейчас у MySpace более 3000 серверов, на которых стоит IIS 6.0
Для примера: Сейчас у MySpace более 3000 серверов, на которых стоит IIS 6.0