Высокая производительность → In-memory-data-grid. Режимы работы, индексы, блокировки
Я продолжаю небольшой цикл статей на тему In-memory-data-grid.
В первой статье была раскрыта сама концепция IMDG без конкретных примеров и деталей реализации. Сегодня мы копнем чуть глубже.
В первой статье была раскрыта сама концепция IMDG без конкретных примеров и деталей реализации. Сегодня мы копнем чуть глубже.
Высокая производительность → In-memory-data-grid. Масштабируемые хранилища данных из песочницы
В последнее время интерес к облачным архитектурам растет с каждым днем, так как это один из наиболее эффективных способов масштабировать приложение, не прикладывая больших усилий, а самым узким местом любого высоконагруженного проекта является хранилище данных, в частности реляционная БД. Для борьбы с недостатками традиционных БД в основном используется 2 подхода:
1) Кэширование результатов выполнения запросов
2) NoSQL решения
Сегодня я хочу познакомить вас с таким типом хранилища данных, который объединяет достоинства обоих подходов и при этом имеет ряд преимуществ перед упомянутыми выше решениями: In-memory-data-grid (IMDG).
1) Кэширование результатов выполнения запросов
- плюсы: высокая скорость доступа к данным
- минусы: требует компромисса между актуальностью данных и скоростью доступа, т.к. данные в кэше могут устареть, а удалять старые данные из кэша с последующим кэшированием новых — это дополнительные задержки и нагрузка на систему
2) NoSQL решения
- плюсы: хорошая горизонтальная масштабируемость, доменная модель данных совпадает с моделью хранения данных
- минусы: низкая скорость получения результатов в случае использования диска, практически невозможно обеспечить работу внутрикорпоративного софта, который ориентирован на работу с конкретной реляционной БД.
Сегодня я хочу познакомить вас с таким типом хранилища данных, который объединяет достоинства обоих подходов и при этом имеет ряд преимуществ перед упомянутыми выше решениями: In-memory-data-grid (IMDG).
DIY или Сделай Сам → А не сделать ли нам домашнюю файлопомойку на 90 терабайт?

Собственно идея летает давно и начала свои корни с публикации компании backblaze как сделать дешевое петабайтное хранилище.
В мире есть как минимум один юзер, который сделал его сам, вот его блог, корпус он правда заказал готовый и внес кое какие улучшения в конструкцию(например убрал второй блок питания, и сделал интересную разводку на один).
В России такие хранилища делает промобит и у них даже есть промосайт для их битблейза.
Но мы не ищем простых путей, всем кому интересно как это сделать своими руками прошу подкат.
NoSQL → Tarantool Данные и Протокол

Tarantool это замечательное высокопроизводительное no-Sql решение, разработка компании Mail.Ru. Исходники
Данное решение позволяет использовать как режим key/value, так и выборку множества записей в рекордсет по одному или нескольким критериям (полям поиска). Аналогов в рунете и не только, я пока не встречал. С натяжкой можно сравнить редис. Но в редисе — списковые данные и их нельзя выбирать по ключу. Судя до утверждениям разработчиков, скорость доступа по ключу превосходит memcache, при этом еще в бэдграунде осуществляется постоянное сохранение данных на диск. Но к сожалению, данная разработка имеет единственный perl клиент для доступа к данным, из-за чего не имеет такой популярности, как например у redis или memcache.
В doc/box-protocol источников есть описание Протокола, которое я в настоящее время переработал для написания клиента на Си и PHP. Изучив Протокол, вы можете реализоать нативный клиент на любимом Вам языке. Надеюсь, данная статья в этом Вам пригодится.
Я пиарюсь → Box расширяет объёмы онлайн-хранилища
Сетевое хранилище и облачный сервис Box расширяет свои горизонты, увеличив размеры выделенных квот пользователям с бесплатной и платной подпиской.
Пользователи с бесплатной подпиской получили 5 Гб хранилища (вместо 1 Гб) при ограничении на размер файла в 25 Мб. Также можно за дополнительную плату увеличить размер хранилища 50 Гб (за 19,99$). Также можно увеличить объём загружаемого файла до 1 Гб. Загруженные файлы можно расшаривать через ссылки, а также существует мобильный доступ через приложение (Android, BlackBerry, iPad, iPhone, веб-клиент).
Если у вас компания с штатом более 3 сотрудников, то вы можете оформить бизнес-подписку с 500 Гб пространства и ограничением на загрузку файла размером в 2 Гб (15$/человек/месяц). Также добавляется синхронизация через клиент, интеграция с Google Apps и ряд других бонусов.
Корпоративным пользователям нужно заключать договор на получение неограниченного хранилища и дополнительных функций шифрования.
Если вы пользователь данного сервиса и не увидели никаких изменений, то нововведения касаются только новых пользователей. Уже зарегистрированные получат апгрейд в течение нескольких недель.
[Via CNET]
Пользователи с бесплатной подпиской получили 5 Гб хранилища (вместо 1 Гб) при ограничении на размер файла в 25 Мб. Также можно за дополнительную плату увеличить размер хранилища 50 Гб (за 19,99$). Также можно увеличить объём загружаемого файла до 1 Гб. Загруженные файлы можно расшаривать через ссылки, а также существует мобильный доступ через приложение (Android, BlackBerry, iPad, iPhone, веб-клиент).
Если у вас компания с штатом более 3 сотрудников, то вы можете оформить бизнес-подписку с 500 Гб пространства и ограничением на загрузку файла размером в 2 Гб (15$/человек/месяц). Также добавляется синхронизация через клиент, интеграция с Google Apps и ряд других бонусов.
Корпоративным пользователям нужно заключать договор на получение неограниченного хранилища и дополнительных функций шифрования.
Если вы пользователь данного сервиса и не увидели никаких изменений, то нововведения касаются только новых пользователей. Уже зарегистрированные получат апгрейд в течение нескольких недель.
[Via CNET]
Блог компании Синхро системс → Открытие бесплатного доступа и новые сервисы в Synchronet
В рамках данного поста, хотелось бы информировать хабрасообщество о нововведениях в нашем сервисе и рассказать тем кто не знает о нас, чем www.synchronet.ru может быть Вам полезен. Разумеется мы ждем Вашу конструктивную критику.
Итак, нововведения таковы:
Добавлен кросплатформенный клиент синхронизации файлов на JAVA(Бета)
Отключено ограничение срока эксплуатации бесплатной версии
Усовершенствована система предоставления доступа к данным
Исправлены известные недочеты и ошибки
Итак, нововведения таковы:
Добавлен кросплатформенный клиент синхронизации файлов на JAVA(Бета)
Отключено ограничение срока эксплуатации бесплатной версии
Усовершенствована система предоставления доступа к данным
Исправлены известные недочеты и ошибки
Веб-разработка → Mozart CMF: API, основанный на XML
Итак, в своей первой статья я сделал несколько предположений об архитектуре предметной области в CMF/CMS системах. Тогда я сделал предположение об объектной модели я связанном с нею сервисе, который умел обрабатывать входящие запросы и выдавать нужный результат на основании внутренней структуры модели.
Сегодня, сейчас, я бы хотел коснуться вопроса непосредственного использования такой системы в существующем фреймворке Mozart, не так давно впущенном компанией ADV под лицензией GPLv3.
Основой API Mozart'а служат newt-контейнеры. Newt — это XML-контейнер (в XML-фрагменте), который специальным образом обрабатывается XML-парсером. Newt может быть как одиночным тэгом (закрытым тэгом <newt />), так и контейнером (содержит в себе другие контейнеры (newt'ы, инструкции)). Аналог newt'а — это функция, задачей которой является произвести какие-то действия (и вернуть результат, если требуется).
Сегодня, сейчас, я бы хотел коснуться вопроса непосредственного использования такой системы в существующем фреймворке Mozart, не так давно впущенном компанией ADV под лицензией GPLv3.
Основой API Mozart'а служат newt-контейнеры. Newt — это XML-контейнер (в XML-фрагменте), который специальным образом обрабатывается XML-парсером. Newt может быть как одиночным тэгом (закрытым тэгом <newt />), так и контейнером (содержит в себе другие контейнеры (newt'ы, инструкции)). Аналог newt'а — это функция, задачей которой является произвести какие-то действия (и вернуть результат, если требуется).
Персональные блоги → SAS Banking Intelligence Solution: особенности внедрения в России
Предисловие ко третьему изданию статьи:
14 ноября 2009 г.Немногим менее года длился этап моей трудовой карьеры, связанный с фирмой «Ирбикон» и с технологиями SAS. Именно в тот период был написан первый вариант статьи, призванный ознакомить сослуживцев по предыдущей работе с новой для них технологией. Второй вариант был размещен на сайте Егора Липчинского, посвященному внедрению продуктов SAS. Как следует из последнего абзаца статьи и предисловию ко второму изданию, я все это время продолжал скучать по работе в «Нострадамусе», общался с нострадальцами, и в итоге вернулся и вот уже больше года снова работаю в проекте. Тем не менее, считаю, статья не потеряла актуальности и может понравиться хабрасообществу.
Предисловие ко второму изданию статьи:
22 марта 2008 г.Работая в Програмбанке, в проекте «Нострадамус», я познакомился с одной из сторон создания банковских хранилищ данных на основе реляционной модели данных. Данный текст я написал после семинара для бывших коллег, многие из которых активно интересовались решениями SAS (в свое время аналитический комплекс «Нострадамус» разрабатывался на технологиях SAS). Мои новые коллеги могут обвинить меня после прочтения в отсутствии патриотизма, но у меня есть поводы с почтением относиться к тому, чем занимался раньше. Возможно, какое-то время спустя мое мнение изменится, посмотрим… А пока у меня есть еще корыстная цель привлечь кого-то из бывших сослуживцев к работе в «Ирбиконе».
Статья для неофициального сайта проекта «Нострадамус» была написана по свежим впечатлениям от нашего семинара. Особая благодарность Михаилу Капитонову за его ценные сведения о мировых банковских стандартах Basel и комментарии по архитектуре SAS BIS в ходе семинара и в кулуарах, Федору Хилькевичу за мудрое руководство нашим МДМ-овским коллективом и его жесткую линию разработки в соответствии со стандартами и Вадиму Александрову, вместе с которым мы проводили самостоятельное исследование наличия в схеме BIS DDS такого понятия как «Блок».
SAS Banking Intelligence Solution: особенности внедрения в России
23 февраля 2008 г. Статья для неофициального сайта проекта «Нострадамус». Автор — brutaltag (Тагир Билалов)Для банковского сегмента SAS предлагает Banking Intelligence Solution, в рамках которого специалистами внедрения предполагается создание и последующее наполнение хранилища детальных данных – BIS DDS (Detailed Data Storage), рекомендованная схема которого создана по стандартам Basel 1,2,3, то есть отвечает общемировой схеме банковского бизнеса, которая порядком отличается от российской, где очень серьезная часть отводится учету бухгалтерских операций. На такой случай SAS предлагает унифицированный подход к кастомизации хранилища.
Западная модель банковского бизнеса вращается вокруг прочнейшей связки «Клиент» – «Сделка» (Account). Под этим словом никоим образом не понимается привычное российским разработчикам понятие банковского счета. Это именно сделка. Которой присущ определенный риск, и, в конечном счете, вся отчетность западных банков должна отражать именно риск его банкротства.