Хабрахабр: Метки / масштабируемость http://habrahabr.ru/rss/tag/масштабируемость/ ru editor@habrahabr.ru habrahabr.ru Sun, 12 Feb 2012 00:26:03 GMT http://habrahabr.ru/ http://habrahabr.ru/i/logo.gif Хабрахабр <![CDATA[Git / Проблемы с производительностью Git на большом репозитории]]> http://habrahabr.ru/blogs/Git/137615/ http://habrahabr.ru/blogs/Git/137615/ пожаловался в листе рассылки Git на некоторые проблемы с производительностью, которые возникли у Facebook на большом репозитории. Они создали синтетический репозиторий и провели тесты.

Тестовый репозиторий
4 млн коммитов, линейная история и около 1,3 млн файлов. Размер папки .git — около 15 ГБ, её упаковали командой repack:

git repack -a -d -f --max-pack-size=10g --depth=100 --window=250

Процесс занял около двух суток на хорошей машине (много памяти, SSD). Размер индексного файла составил 191 МБ.
Читать дальше →
]]> Sat, 04 Feb 2012 19:20:55 GMT alizar FacebookGitпроизводительностьмасштабируемость <![CDATA[Высокая производительность / [Перевод] Анализ использования циклов процессоров Intel Core 2]]> http://habrahabr.ru/blogs/hi/107650/ http://habrahabr.ru/blogs/hi/107650/
Читать дальше →
]]> Sat, 06 Nov 2010 21:34:53 GMT divanikus масштабируемостьintelvtuneperformance countersсчетчики производительности <![CDATA[Высокая производительность / [Перевод] Поиск и решение проблем масштабируемости на примере многоядерных процессоров Intel Core 2 (часть 4)]]> http://habrahabr.ru/blogs/hi/107624/ http://habrahabr.ru/blogs/hi/107624/ часть 1, часть 2, часть 3
Читать дальше →
]]> Fri, 05 Nov 2010 15:16:59 GMT divanikus масштабируемостьintelvtuneperformance countersсчетчики производительности <![CDATA[Высокая производительность / [Перевод] Поиск и решение проблем масштабируемости на примере многоядерных процессоров Intel Core 2 (часть 3)]]> http://habrahabr.ru/blogs/hi/107622/ http://habrahabr.ru/blogs/hi/107622/ часть 1, часть 2, часть 4
Читать дальше →
]]> Fri, 05 Nov 2010 15:01:08 GMT divanikus масштабируемостьintelvtuneperformance countersсчетчики производительности <![CDATA[Высокая производительность / [Перевод] Поиск и решение проблем масштабируемости на примере многоядерных процессоров Intel Core 2 (часть 2)]]> http://habrahabr.ru/blogs/hi/107621/ http://habrahabr.ru/blogs/hi/107621/ часть 1, часть 3, часть 4
Читать дальше →
]]> Fri, 05 Nov 2010 14:51:29 GMT divanikus масштабируемостьintelvtuneperformance countersсчетчики производительности <![CDATA[Высокая производительность / [Перевод] Поиск и решение проблем масштабируемости на примере многоядерных процессоров Intel Core 2 (часть 1)]]> http://habrahabr.ru/blogs/hi/107620/ http://habrahabr.ru/blogs/hi/107620/
Читать дальше →
]]> Fri, 05 Nov 2010 14:40:58 GMT divanikus масштабируемостьintelvtuneperformance countersсчетчики производительности <![CDATA[Серверная оптимизация / [Перевод] 6 способов убить Ваши сервера — познаем масштабируемость трудным путем]]> http://habrahabr.ru/blogs/server_side_optimization/102494/ http://habrahabr.ru/blogs/server_side_optimization/102494/
Несколько лет назад ко мне пришел мой босс и сказал: «У нас есть новый проект для тебя. Это перенос сайта, который уже имеет 1 миллион посетителей в месяц. Тебенеобходимо его перенести и убедиться, что посещаемость может вырасти в будущем без всяких проблем.» Я уже был опытным программистом, но не имел никакого опыта в области масштабируемости. И мне пришлось познавать масштабируемость трудным путем.
Читать дальше →
]]> Tue, 24 Aug 2010 09:12:34 GMT Disturbed масштабируемостьпроизводительностьphpmysqlnginxsmartyapacheоптимизацияdrbdlighttpdmemcachedinodereiserfs <![CDATA[Высокая производительность / [Перевод] Согласованные в конечном счете (Eventually Consistent)]]> http://habrahabr.ru/blogs/hi/100891/ http://habrahabr.ru/blogs/hi/100891/
Читать дальше →
]]> Wed, 04 Aug 2010 06:08:10 GMT Shedar highloadNoSQLCAPмасштабируемость <![CDATA[Высокая производительность / Результаты тестирования масштабируемости облачных сервисов]]> http://habrahabr.ru/blogs/hi/94964/ http://habrahabr.ru/blogs/hi/94964/ High Scalability провел тестирование облачных сервисов хранения данных на масштабируемость в зависимости от нагрузки. В качестве тестирования применили распространенный тест TPC-W. Для тестирования нагрузку постепенно увеличивали от 1 пользователя до 9000 одновременно работающих пользователей. В тестировании принимали участие следующие сервисы: полноценная реляционная СУБД SQL Azure, Amazon S3, Amazon RDS, Amazon SimpleDB, Google AppEngine.

Результаты тестирования:

image

Очевидно, что SQL Azure, представляя собой полноценную реляционную БД, показывает отличные результаты. По возможностям+масштабируемости — это однозначно лидер тестирования. Сервис от Google оказался аутсайдером проведенного тестирования.

Первоисточник: highscalability.com/blog/2010/5/26/end-to-end-performance-study-of-cloud-services.html]]> Sun, 30 May 2010 14:39:35 GMT XaocCPS облачная платформабазы данныхмасштабируемостьamazongooglemicrosoft <![CDATA[Google App Engine / Google App Engine – масштабируемые приложения]]> http://habrahabr.ru/blogs/gae/94640/ http://habrahabr.ru/blogs/gae/94640/
Как писать быстрые и хорошо масштабируемые приложения – об этом пойдет речь в этой статье.

Все ниже изложенное прежде всего касается приложений, написанных на Java, но большей частью должно быть справедливо и для приложений написанных на языке Python.
Читать дальше →
]]> Wed, 26 May 2010 15:54:16 GMT Nikita google app engineпроизводительностьмасштабируемостьjava <![CDATA[Системное администрирование / ИТ управление — масштабируемый подход]]> http://habrahabr.ru/blogs/sysadm/82807/ http://habrahabr.ru/blogs/sysadm/82807/
Пару месяцев назад я проводил на работе анализ ИТ инфраструктуры, в ходе которого нужно было установить наиболее слабые места и дать рекомендации к улучшению. Уверен, ситуация с которой я столкнулся известна многим. За несколько лет, компания существенно изменилась и заметно подросла, однако некоторые элементы в используемой ИТ инфраструктуре так и остались неизменными за прошедшие 10 с небольшим лет. В результате, регулярно придумывались различные заплатки и изощрения дабы собрать все воедино, что, очевидно, не добавляло стабильности и эффективности общей системе. Итогом являлся пересмотр общей инфраструктуры и требований бизнес-процессов с целью выбрать новое единое решение. Другими словами – революция, не эволюция.

Читать дальше →
]]> Mon, 01 Feb 2010 22:48:13 GMT Bomber системное администрированиемасштабируемостьит-инфраструктураит управление <![CDATA[Персональные блоги / [Перевод] 7 стадий развития веб-приложений]]> http://habrahabr.ru/blogs/personal/56212/ http://habrahabr.ru/blogs/personal/56212/ со слайдов презентации тов. John Engates
формат: номер слайда, краткое содержание и (мои редкие каменты)
  1. Этапы становления веб-ресурсов
    автор: John Engates
  2. Регламент:
    • Что мы ждём от веб-приложений
    • Как это бывает
    • Неплохие примеры
    • Вопросы и ответы
Читать дальше →
]]> Wed, 01 Apr 2009 19:52:40 GMT habraname переводыархитектура веб-системмасштабируемостьрасширяемостьпроизводительностья пиарюсьтиповые решениясвой луна-парк <![CDATA[Персональные блоги / FathomDB — новый стартап от Y Combinator.]]> http://habrahabr.ru/blogs/personal/53158/ http://habrahabr.ru/blogs/personal/53158/ FathomDB предлагает нам «реляционные БД как сервис».
Если по сути, то в данный момент это MySQL на EC2 с различными «плюшками». Следовательно, можно без особых проблем начать использование данного сервиса, или наоборот — прекратить.

Из «плюшек» нам предлагают автоматические бэкапы и мониторинг, а также всякие полезности для анализа производительности (в данный момент, судя по всему, не сильно продвинутые — круговые диаграммы и просмотр самых медленных запросов). На их сайте доступен скринкаст, а также предложение оставить е-мэйл (после чего вам пообещают написать, когда создадут ваш аккаунт).
В дальнейшем, по заявлению разработчиков, планируется поддержка других БД и хостингов.

Что интересно — WebMynd, тоже YC-стартап (очередное гетто? ;), начали использовать FathomDB ещё в прошлом году и неплохо его пиарят :)

В принципе — отличная идея с движением в правильном направлении (хотя это, естественно, не мэйнстримовый продукт).
И, если не ошибаюсь, отказоустойчивые БД на EC2 предлагает как минимум ещё один, более крупный игрок — RightScale.]]> Sat, 28 Feb 2009 15:33:58 GMT FFX МасштабируемостьScalabilityDBDBAMySQLEC2Amazon EC2базы данныхCloud computingRightScale <![CDATA[Персональные блоги / Automattic выбирает HP и AMD для WordPress.com]]> http://habrahabr.ru/blogs/personal/52377/ http://habrahabr.ru/blogs/personal/52377/ раскрывает некоторые технические подробности о новом дата-центре, расположенном в Чикаго. Это один из трех дата-центров, обеспечивающих работоспособность WordPress.com.
Железо, которое в нем установлено:
  • 150 серверов HP DL165 с двумя четырехъядерными AMD 2354 и 2-4 ГБ оперативной памяти
  • 50 серверов HP DL365 с двумя двухъядерными AMD 2218 и 4-16 ГБ оперативной памяти
  • 5 серверов HP DL185 с двумя четырехъядерными AMD 2354 и 4 ГБ оперативной памяти

В сумме это 1440 ядер и что-то между 520 ГБ и 1.4 ТБ оперативной памяти.]]> Thu, 19 Feb 2009 17:01:11 GMT FFX МасштабируемостьAutomatticWordPress.comAMDHP