Активисты движения за свободное ПО запустили новый проект: поисковую систему YaCy, которая в перспективе может составить конкуренцию Google, Yahoo/Bing, «Яндекс» и прочим закрытым коммерческим поисковикам. Версия YaCy 1.0 вышла после пяти лет разработки, и теперь присоединиться к сети наконец-то может любой желающий.

Эх, раз, да ещё раз,
Да ещё yet another раз…

Не так давно завершилась конференция Яндекс YaC 2011 и теперь, когда стали доступны записи выступлений, я хочу представить вам технический отчёт о её посещении. В отчете я сосредоточился на той информации, которую вы можете получить, посмотрев запись того или иного доклада, и решить стоит ли тратить на это время. Для некоторых тем добавил дополнительные ссылки на ключевые ресурсы, а так же, по мотивам общения с авторами, описал устройства двух NoSQL технологий Яндекса: Elliptics Network и хранилища писем в Яндекс почте.

Итак, Yac 2011, как это было.

Какое-то время назад я написал для Shareaza внешний DHT Tracker на Lua (GitHub). Для Shareaza это обычный локальный трекер, а по сути это BitTorrent DHT клиент, который позволяет ей качать торенты по магнет ссылкам без трекера.

Так вот, пока клиент работает, он отлавливает пакеты с неизвестными ему полями и сохраняет для дальнейшего анализа (если опция включена).

Итак, что новенького мы наловили в BitTorrent DHT.

Мало найдётся людей среди пользователей и читателей Хабра, которым не доводилось бы пользоваться торрентами. И наверняка многие понимают уязвимость центральных звеньев этой системы — торрент-трекеров (истории с Пиратской бухтой и бывшим torrents.ru, ныне рутрекером, — тому подтверждение).

Однако не все знают, что уже давно существует альтернатива традиционным трекерам — DHT-сеть, позволяющая организовывать раздачи без трекера. До сих пор она не получила большого распространения из-за невозможности поиска внутри сети — нужный файл можно было скачать только при наличии magnet-линка раздачи. Однако недавно появился первый и уникальный пока поисковый сервис по DHT-сети BTDigg.org.

Сервис с весьма лаконичным дизайном заточен под одну функцию — поиск:

Поисковик по хэшам торрентов

Чтобы снизить зависимость от трекеров, в 2007 году разработчиками протокола bittorrent была принята его модификация на основе DHT-структуры, которая позволяла делать раздачи без трекера.

Что такое DHT-сеть? Фактически, это распределённая сеть торрент-клиентов, которая хранит идентификаторы (хеши) всех публичных раздач — т.н. magnet-link, которые представляют собой 160-битное случайное число. DHT-узлы клиентов отвечают за анонсирование своих торрентов и за поиск запрашиваемых. Благодаря тому, что все современные клиенты поддерживают DHT, можно сказать, что в этой сети есть практические все публичные торренты (приватные торренты сеть «не видит» и не позволяет скачивать). Практически — потому что DHT в клиенте может быть отключен. Поиск идёт по мета-информации, которую содержит в себе торрент-файл — то есть, проще говоря, он ищет по названию торрента и по названиям файлов входящих в него. Пользователь открывает magnet-линк в своём торрент-клиенте, тот находит всех раздающих файл и дальше качает как обычно — участия трекера в этой цепочке нет.

— Вы молодцы, — говорю я. — Это очень здорово, что Храм построен. Где вы его поставили?

— В размазанном пространстве.

— Что?

— Ты совсем не в курсе? — Дик вздыхает. Достаёт пачку сигарет, закуривает. Либо у него статус выше, чем у Маньяка, либо хозяева «Лабиринта» не такие идиоты, как владельцы «Virtual guns». — Это ведь планировалось совсем особым проектом, Леонид…

— И что с того?

— Храм должен был быть вечным. Как сама глубина. А значит, не зависеть ни от одного сервера. Создающие Храм программы свободно блуждают по сети, их фрагменты дублируются, рекомбинируются, самостоятельно организуются для работы. Чтобы Храм исчез, надо уничтожить все машины в сети. Точнее, более девяноста трёх процентов, на нынешний момент.

Сергей Лукьяненко, «Фальшивые зеркала», 1999 г.

Если кто не в курсе — Napster тоже был запущен только в 1999 г., очевидно, Лукьяненко на момент написания книги о нем знать не мог. Получается, он просто гений.

На 27-м конгрессе CCC (Chaos Communication Congress) обсуждалась тема DDoS-атак через DHT (презентация “Lying To The Neighbours” в PDF).

Использовать BitTorrent для DDoS умели и раньше: нужно было прописать IP-адрес жертвы в качестве трекера — и он получал множество запросов. Но проблема в том, что для подобного способа нужен популярный торрент.

Новая методика экплойта DHT даёт возможность использовать уже существующую сеть пиров. Если вкратце, то алгоритм такой: надо стать популярным пиром в сети, чтобы получать много запросов find_node от соседних пиров.

Сегодня я настроен поговорить о технологиях, которые были весьма модны и породили вал публикаций, но по прошествии лет так и не привели к каким-либо значимым практическим результатам, либо их ниша оказалась настолько узка, что её сопоставление с первоначальными ожиданиями создаёт сатирический эффект. Как правило, такие технологии создают у новичков при первом ознакомлении впечатление «магии», чего-то, решающего все проблемы невероятно хитрым образом, но трезвая профессиональная оценка в биг-О, реальных числах и обстоятельствах заканчивается диагнозом: «пустышка».
Как показывает опыт, у таких модных штучек более или менее ярко присутствуют четыре качества: «магичность» (восхищает сложностью), неестественность (идёт против шерсти, естественного порядка вещей), сложность (это всегда плохо) и неприменимость (лишь в конкретных обстоятельствах, но какие обстоятельства ни возьми — оно неприменимо).
Итак, приступим к вскрытию.

Здравствуйте!
В этой статье, как и, надеюсь, в последующих, я хочу рассказать об одной из современных структурированных пиринговых сетей. Данный материал включает в себя мою переработку документаций, описаний и статей, найденных по теме. В качестве введения представлена общая краткая теория p2p-сетей, DHT, а уж затем следует основная часть, которой посвящена заметка.

При чтении комментариев ко блогозаписи «Объединение браузеров в непотопляемый трекер» меня более всего поразило известие о том, что торрентовая распределённая таблица хэшей (так называемая DHT) является не общей для всех торрентовых клиентов распределённой базою знаний о файлах (как, например, Kad для eMule), а отдельной для некоторых типов клиентов, то есть разработчики битторрентовых клиентов умудрились устроить взаимно несовместимые DHT.

Ещё в мае я пошёл обсудить это в Фидонете (в моей эхоконференции Ru.Internet), и получил следующий ответ от Константина Кузова (2:5019/40.1):

— Пора бы уже привыкнуть, что на хабре вещают такое же кол-во бреда как и где-либо ещё. DHT у всех торрент-клиентов совместим, на него есть спека.

— Единственный клиент, который «несовместим» с ним — это azureus (vuze), в который прикрутили DHT, когда той спеки ещё в проекте не было, поэтому у azureus своя реализация DHT и соответственно своя DHT сеть, но с помощью плагина mainline dht он может использовать одновременно со своей и официальную DHT.

— ЗЫ. Ну и так, для галочки, DHT — говно, это шаг назад, обратно к тем тормозным p2p-сетям, для замены которых и разрабатывали bittorrent. Лишь куча лишнего трафика и практически нулевая польза. Лучше бы все с таким же упоением во все клиенты двигали поддержку чего-нибудь такого.

— Даже жаль, что подобные фичи в основном есть в поделках аля Blizzard Downloader.

(Конец цитаты.)

Но сомнения не оставляют меня: я догадываюсь, что пользователи не любят отказываться от настроек по умолчанию, так что не станут устанавливать в Vuze плагин Mainline DHT. А ведь Vuze занимает значительную долю битторрентового файлообмена.

Я продолжаю сидеть на eMule.

Попытка оценки. Только факты.

Студент Принстона, Sauhard Sahi, провел небольшое исследование, с целью оценить, из какого рода данных состоит мировой торрент-трафик. Для этого он подключился к сети Mainline DHT, основному DHT, используемом Bitorrent, uTorrent, Transmission и др. (Azureus/Vuze использует по умолчанию иную DHT-систему, но существует плагин, позволяющий ему использовать и Mainline DHT), и получил данные и фрагменты из 1021 случайно выбранного торрента, находящегося в раздаче.