Интересное вчерашнее объявление от Myspace.com
Некоторые источники уже отчитались по этому поводу и написали, что это фреймворк для системы рекомендаций. Это не так. Это полноценная имплементация MapReduce, написанная для Windows.
Не так часто любителей .NET сталкиваются с open source проектами такого уровня. Несмотря на то, что система заявленая как Alpha заявлено довольно много функциональности (что неудивительно, поскольку это вроде как работающий на myspace framework)
Выглядит все это довольно внушительно, хотя у думаю сейчас уже не особо важно на чем такие frameworks написаны. Используют их все равно платформо независимыми методами – легкими сервисами а-ля REST/REST2. Говорят тот же Bing использует Hadoop. Но в любом случае приятно что коллеги из Myspace поделились кодом.
Да, код на гуглокоде
Сегодня мы открываем в Open Source Qizmt, внутренний фреймворк для распределенных вычислений, созданный командой Data Mining в Myspace. Qizmt может быть использован для многочисленных операций, которые требуют процессинга больших объемов данных. Таких как фильтрация в системе рекомендаций и аналитика.
Некоторые источники уже отчитались по этому поводу и написали, что это фреймворк для системы рекомендаций. Это не так. Это полноценная имплементация MapReduce, написанная для Windows.
Не так часто любителей .NET сталкиваются с open source проектами такого уровня. Несмотря на то, что система заявленая как Alpha заявлено довольно много функциональности (что неудивительно, поскольку это вроде как работающий на myspace framework)
- Быстрая разработка mapreduce jobs в C#
- Легкий инсталлер
- Встроенный IDE/Debugger (включая step through отладку jobs на кластере)
- Из любой машины в кластере:
- Cluster Assembly Cache (CAC) – кеш .NET assemblies для mapreduce jobs
- 3 вида jobs:
— Mapreduce – set логика для больших объемов данных
— Remote – для тех задач, которые не подходят под шаблон mapreducer
— Local – оркестрация связей между Mapreduce и Remote jobs
- 3 способа обмена данных в mapreduce
— Отсортированные – key/value пары равномерно отсортированы по кластеру
— Сгруппированные – неотсортированные, но похожие пары key/value на одному reducer
— Сортированные по хэшу – супер быстрый способ сортировки случайных данных
Выглядит все это довольно внушительно, хотя у думаю сейчас уже не особо важно на чем такие frameworks написаны. Используют их все равно платформо независимыми методами – легкими сервисами а-ля REST/REST2. Говорят тот же Bing использует Hadoop. Но в любом случае приятно что коллеги из Myspace поделились кодом.
Да, код на гуглокоде