Спасем крупнейшую медиатеку в рунете. Вся база rutracker у Вас на компьютере

    image

    В контексте последних законов, событий и тенденций как никогда очевидна ценность рутрекера как базы данных различного контента, а не как конкретного ресурса. К сожалению все мои призывы к администрации рутрекера предоставить общедоступный, полный, удобный дамп их базы наткнулся на полное непонимание с их стороны. Выкладывать нечто, что они называют зашифрованной «базой» — я не считаю решением проблемы по причинам, изложенным в вышеприведенных ветках обсуждения и продублированным ниже.

    К сожалению, решить проблему своими силами у меня не хватило ни времени, ни, будем откровенны, знаний. Но, к счастью, мои слова возымели действие на людей, которые и тем и другим обладают. В итоге эти люди организовались и сообща сделали то, о чём так долго говорили большевики о чем я писал, а именно с помощью скриптов обошли рутрекер, сдампили все описания раздач с хешами, распарсили их и скомпоновали в удобную для употребления базу. В дополнение к этому так же была написана «морда»: программа для удобной работы с базой конечных пользователей, не знающих с какого конца держат grep. К сожалению, аккаунта на хабре никто из этой команды не имеет (если не считать read-only), в песочнице статья могла бы потеряться, поэтому меня выбрали как рупор для данной площадки. Я, честно говоря, раздумывал совсем недолго и только над тем, как правильнее все сделать. Если будут какие-то вопросы — задавайте мне в комментах, я либо отвечу сам, либо переадресую разработчикам. Технические тексты от первого лица, но я имею к ним косвенное отношение, они оставлены в таком виде для простоты восприятия.

    Прежде, чем перейти к технической части и ссылкам, хотел бы добавить, что весь смысл этой затеи в том, чтобы как можно больше людей сохранили эту базу к себе. Поэтому очень Вас прошу, скачать данные по ссылкам ниже (желательно использовать торрент) и оставаться на раздаче как можно дольше. Скорее всего в будущем база будет обновляться, но этот момент еще не продуман до конца.



    Описание формата хранения базы раздач

    Число раздач в базе: 1411636

    Имеется два места хранения: таблица и база описаний.

    В таблице хранится номер раздачи на рутрекере, название раздачи, приблизительный размер в байтах, число сидов, число пиров, хеш в формате base32, число скачиваний и дата обновления раздачи. Размер раздачи приблизительный, так как он был получен парсингом строк вида «2.05 GB». К сожалению, не было найдено способа узнать точный размер из исходного кода страницы раздачи. Название раздачи закодировано в UTF-8, чтобы на системах, где стандартной является эта кодировка, файл можно было смотреть less'ом без дополнительных манипуляций. Хеш раздачи в base32, чтобы занимало меньше места. В графической программе для просмотра базы есть возможность переключения отображения хеша (в том числе, в magnet-ссылках) на HEX. Разделитель полей: TAB. Все пробельные символы в именах раздач заменялись на пробелы. Все HTML-конструкции в названиях заменялись на соответствующие символы юникода, это ещё одна из причин, почему от cp1251 отказались в пользу UTF-8. Дата кодируется в формате: «16-Jul-11 06:23». Английские названия месяцев выбраны, чтоб было меньше заморочек с парсингом.
    Пример:
    4085734 [x86] Ubuntu 12.04 Classic Remix        1170378588      206     3       Y4R4DX74NPXBKU6NECLJLV2N733F2NBW        20911   06-Jun-12 13:02
    


    База описаний представляет собой коллекцию tar.gz-файлов, в каждом из которых лежат раздачи с шагом номера 1000. gzip выбран из-за скорости и неприхотливости к объему оперативной памяти. Архивные файлы сгруппированы по 100 штук в папки. Описание раздачи с номером 1234567 лежит в файле 012/01234.tar.gz/01234567 в кодировке UTF-8.

    Программа

    Исходники. Лицензия GNU GPL v2. Присылайте пулл-реквесты.

    Программа написана на языке C++ с использованием библиотек Qt и kdelibs (для работы с архивами). Главная часть программы это таблица, в которой отображаются раздачи (используется QTableWidget). Сверху имеется поле для ввода поисковой фразы. Поиск (чтение файла с таблицей и отбор подходящих строк) происходит в отдельном потоке выполнения (thread), результаты порциями отправляются в основной поток, добавляющий новые строки в таблицу. Для передачи результатов между потоками используется соединение типа Qt::QueuedConnection. Когда файл дочитан до конца или отобрано необходимое число результатов, то в основной поток отправляется сообщение о том, что поиск завершен. После этого таблица пересортировывается. Прервать поиск можно кнопкой Стоп, расположенной сверху во время поиска.

    Файл с таблицей может быть сжат в gzip, bzip2 или lzma/xz (под windows, к сожалению, последний вариант не поддерживается в нашей сборке). Файл распаковывается и просматривается на лету, без полной распаковки и создания временных файлов. Это реализовано при помощи класса KFilterDev из библиотеки kdelibs. Было выяснено, что gzip и xz дают намного лучшую скорость распаковки, чем bzip2, поэтому от последнего отказались при выборе формата, в котором база будет распространяться. Gzip показал скорость, в разы большую xz, и присутствовал на windows в используемом варианте библиотеки kdelibs. Поэтому выбор пал на gzip, несмотря на проигрыш в сжатии в полтора раза. Пользователь может распаковать таблицу самостоятельно или использовать соответствующую опцию меню, чтобы хранить на диске таблицу без сжатия. Кстати, не факт, что это приведет к ускорению поиска, так как больший объекм данных будет считываться с жесткого диска при поиске, а чтение с жесткого диска может быть медленнее, чем распаковка gzip.

    Рассмотрим таблицу. Думаю, значение столбцов не нужно объяснять. По всем столбцам можно сортировать, а по умолчанию результаты отсортированы по количеству загрузок. Для реализации сортировки пришлось наследоваться от QTableWidgetItem и определять операцию сравнения.

    Если дважды щелкнуть по любой ячейке, значение в ней выделяется и становится пригодным для копирования.

    Для просмотра описания раздачи — щелкните левой кнопкой мышки в любое поле, кроме номера раздачи и хеша. Описание будет отображено снизу (при помощи QWebView).
    Для загрузки страницы с раздачей и отображения её снизу, щелкните по номеру раздачи. Для копирования URL раздачи, щелкните по её номеру правой кнопкой мыши.
    Сделать так, чтобы при нажатии правой кнопки мыши в ячейке с номером и хешом раздачи появлялось контекстное меню с пунктом «Скопировать ссылку», не удалось. Может быть, кто-нибудь из читателей знает, как можно этого добиться от QTableView. Впрочем, можно оставить как есть, так как нажать правую кнопку мыши быстрее, чем выбирать пункт из контекстного меню.

    Реализация перехвата событий мыши на ячейках выполнена путем наследования от QItemDelegate и определения editorEvent. Получение описания из соответствующего tar.gz реализовано средствами класса KTar из библиотеки kdelibs.

    Программой можно пользоваться, не располагая базой описаний раздач, тогда просмотреть описание можно будет только через сайт, нажав по номеру раздачи.

    Настройки программа хранит в файле dump_viewer.ini, расположенном в папке с программой.
    Инструкции для сборки программы для ОС Debian GNU/Linux и ОС Windows находятся в файле INSTALL.

    В ходе разработки программы забавный казус вышел с парсингом дат. Формат даты «16-Jul-11 06:23» нестандартный, но он был оставлен, потому что довольно краткий, читаемый и похож на тот, который использует rutracker в своей выдаче. Оказалось, что QDateTime::fromString ожидает локализованные обозначения месяцев (Янв вместо Jan в русскоязычном окружении). Поэтому пришлось написать костыль, конвертирующий текстовые обозначения месяцев в числовые (Jan -> 01).

    Зачем мы это сделали?

    База была подготовлена, чтобы облегчить доступ пользователей к раздачам в случае проблем с доступностью сайта трекера. Например, когда выводится сообщение «форум временно отключен». Кроме того, эта раздача пригодится, если трекер будет внесен в список заблокированных сайтов. Не хочется, чтобы был даже мельчайший шанс того, что всё, что мы тут вместе сделали за эти годы, потерялось по прихоти чиновников или из-за поломки сервера, к примеру. Пока жива данная раздача, все раздачи трекера тоже живы. Вероятно, раз в месяц нужно будет обновлять эту раздачу.

    rutracker же написал, что шифрованная раздача у них на трекере лучше!
    Ответ: (подробнее тут и тут)
    а) У нас есть описания раздач. Часто сложно бывает выбрать, например, BDRip, не глядя в описание. Ужимается база всех описаний до ~2 гигабайт. Можно было ужать сильнее, но решили не экономить в ущерб скорости работы «морды». (На самом деле есть еще несколько мыслей по оптимизации, но пока решили, что лучшее враг хорошего. Однако ж идеи и коммиты привествуются!)
    б) Даже если группа людей, которая знает пароль, распределена по всему миру — это конечная группа людей, которую можно вычислить и обладая нужными ресурсами купить или запугать.
    в) Администрация рутрекера и лично intellect бесспорно бесконечно честные люди, но пока я сам не увижу, что в раздаче именно база рутрекера, а не зашифрованный белый шум — я никому не поверю. Уж извините.
    г) Нет проблемы фейковых сайтов и поддельных магнитных ссылок. Базу может сделать не только администрация (наша база тому пример), так что шифрованность базы на рутрекере не спасает. А валидность хешей в базе проверяется либо по контрольным суммам (с GPG-подписью), либо банальным сравнением с самим рутрекером (если он все еще доступен).
    д) Для того, чтобы в базе были актуальные раздачи — базу банально надо обновлять. Чем чаще, тем лучше. И если администрация рутрекера действительно заботится о том, чтоб пользователи получали актуальную информацию, надеюсь они не будут чинить препятствий в обновлении нашей базы. А то и помогут, чем черт не шутит.

    Дальнейшие планы

    Следующий логичный шаг — сделать генератор HTML[PHP]-сайта, дублирующего функциональность программы и базы. После этого мы хотим замахнуться на статическую реализацию всех частей сайта, то есть чистый HTML/CSS/JS, без PHP или подобной серверной логики. Это позволит заливать сайт практически на любой хостинг, в том числе бесплатный, что сделает в принципе невозможным искоренение данной базы из сети. На тему реализации поиска на JavaScript уже есть идеи (к примеру, сделать индекс раздач по словам, разбить его на отдельные файлы, балансируя между средним размером одного файла и общим числом файлов). Можно добавить и полноценную реализацию поиска на стороне сервера. К сожалению толковых веб-разработчиков у нас нет, ищутся желающие.

    Проделать подобное для других трекеров. Для пиратской бухты уже сделали. Когда база данных рутрекера будет дочищена, можно перейти к другим отечественным и иностранным трекерам. Можно подумать, как все базы объединить в одну (видимо, по файлу на трекер, чтобы было удобно выбирать нужные трекеры при скачивании).

    Распределенное обновление базы раздач. Разумеется, нужно периодически обновлять базу: добавляются новые раздачи, обновляются старые. А почему бы не переложить задачу обновления на пользователей? Само собой, тех, кто на это согласится. Во-первых, наши каналы не резиновые, чтобы самим постоянно дампить трекер(ы). Во-вторых, трекеры нескольких пауков могут и обнаружить с последующим баном и, возможно, разбирательством. а если пауков будет 100, то каждый из них будет забирать новые раздачи слишком медленно, чтобы это можно было обнаружить. Для пользователя это будет выглядеть как пункт в программе «Принять участие в обновлении базы» и ввод данных для входа в свой аккаунт. Дальше программа всё сделает сама. Найденные свежие раздачи и изменения в старых будут отправляться в центр, который после их проверки будет добавлять данные в общую базу.
    Кстати, интересная задачка по теории вероятности: если N раздач наугад качают M независимых пауков со скоростью X раздач в сутки, то через какое время (ожидаемое) они выкачают долю Y всех раздач?

    Ссылки и контакты

    bitbucket (исходники и база раздач без описаний)
    mega.co.nz (только база описаний, распаковать основной tar в папку с программой)

    Торренты (все в одном):
    i2p (в процессе заливки и индексации)
    Магнитная ссылка
    magnet:?xt=urn:btih:KY33A26BTGUNAE2D3YWET3UYYGFPP4QU&dn=release&tr=http%3a%2f%2fannounce.opensharing.org%3a2710%2fannounce&tr=udp%3a%2f%2ftracker.publicbt.com%3a80%2fannounce&tr=udp%3a%2f%2ftracker.openbittorrent.com%3a80

    opensharing
    rutracker

    sha256-хеши всех файлов раздачи: sha256.txt
    актуальный sha256.txt и sha256.txt.asc можно взять в торренте и тут.
    GPG fingerprint: C567 227F 6D75 014E CDC0 FE7B E0F9 25D1 E020 95A4
    e-mail: sir.ratnik@yandex.ru
    Jabber: sir.ratnik@ya.ru
    Jabber-конференция: torrents-database@conference.jabber.no
    OTR fingerprint: 7503B021 02E30FEA 88861B43 7AB21676 35704DBA
    GPG-key
    -----BEGIN PGP PUBLIC KEY BLOCK-----
    Version: GnuPG v1.4.12 (GNU/Linux)

    mQINBFJEN4IBEAD0CPv+nS/cmY3RUfVgFfjTWNHCUg/PVXZwz0bcEdS9MxfG4Orq
    4bn80EHBWX0d9lfe2l6sKPLWb52OxLFTwqGvOqcII8DHI502PMupGfTB00FU1/rt
    BY5xHCQMYseUZQfM7M5egbVLh6dzh+koWU4Syl0xfMVh87HVahs6ZaDPvfpk478A
    mR063bKroHIm2wtJwiTnJgjlI53C+0dg0dqalfMnXEI7OFBorvmi3tR1Xvw551LF
    /uWZ6OhoO/KHHuqLtaiWFN1Mw9zYZAsEFV6OXomt9QXsg7VYDlQoWGFxjdBfuk5E
    PyfUZu4EwsKuaJbffUoglTKpj2ecT2mU9G51l2ZMqJm+JQZYeAkczwrN0iz+7Syg
    hEdYFL8Pd3Rsq6ttwDzoSXw3uqWnyfosB8FXAHq2M4vhip8HR+tK7isDhAuoB2Mt
    lLFxqBVy3W4pRHYMH6h3cNsRS676pt6CGxfisdh3sMtykSNZDDPAYUwloP32QA/U
    ugArWB3cVVW2o47qZVt/HReU53N7Tq/s+g9WaokU+qE65Q549M9vE1xhgf5ivGEz
    xS2KS35PxJ9spizHCE3OSUWP2bHDE+O+qTeX3v9hYPJREExwQwor+r8sheX2kMst
    UV3GC+DFQT9X11eG1rMVB+U/0l+Dri0EFmbyNLmE3vGpuuLnSeFkDj+xZwARAQAB
    tCFNci4gUmF0bmlrIDxzaXIucmF0bmlrQHlhbmRleC5ydT6JAjgEEwECACIFAlJE
    N4ICGwMGCwkIBwMCBhUIAgkKCwQWAgMBAh4BAheAAAoJEOD5JdHgIJWkliAP/3ZQ
    77pGYWKr12JY6QKE8hw4L3lj7qjLra8PWFiSwVkbJe3Vrb2oGG/+n3YsTNt7bdKY
    PyG7lfVraMcekdEzuJevSt/Cp2NXwcHGyE3405KaymG+kyv3e7lWmXSFS5Nzo3ta
    TQ9M+MLspVwxaT3jcW+nCbnml5TkvhSPEmOIe6gTlfXgRhngE6zvsxB1I0bxixEa
    u0+SOHVBrlzBPVOXbQyli99/vsYAuf9xIhJtv2ySYYlZRXOYhj+eyYEu878Z87J1
    jxTsYfoG3pMZ10rWWbh0rtCvHTeZjzb8G0gswyNlwPqVuU+nW6CQL8gb0kGUBtBR
    pQkei02zY1RoE+cB3tddtZYb7hJzSyZD8Gvbwr03xJeYldwbOg9KIYvIvsrB3GP9
    BhGAf+wEaZX56yFMmP6snqBUuJ3hdYqXswpnZB1Dt7y9CzdsANpETcys5ika2typ
    vfpbxI27Ace1SOsoFRmFXzwaKCvKWoR4vfaU7YxDYJ7fbin07vdIEY+d0FozHHRT
    o1Zr1DHmV5fYFA1iAn14IXwPaIocxTtjAOY55q9p9xFygUPKnFlVEX3mSIL9+FJy
    IQfqvWNvw4Z+PwNaNpFfWS5XAXrxiV0TJHXcmW8e6d12z9MEyRpUlndLPE37Q6iB
    WAj3QKNM3gR/M/BNZ8d+52V5kxZXtj5zi/O+fuGLuQINBFJEN4IBEAC5PyxaDHRA
    DMUn5fuZnQZyJP37yiR5x4us6th6dBQFthpZQ8uso+x1YI9namQYxOZRPBr5IIpo
    qmAmTVoskoTIGlMJ43IwuFO/fqxzba44cUahLyEWwQ8Q6L8JsU3KACdDRW1cfM8+
    9E0kLfXHxpY57tQmRpqczvXfF88G58309fnVd8HVPFg3Hp1DwB7sXoCO0NiyRc6i
    o0r8WNQ3TJABQd76nw79aWDcIox1ayff8DBbzQI+Azefd+s1SaOlUrH568IaatFA
    daGhXPHz2qhfnlPVbqK7HUWoNKBd3O4XGjogc8k/9e4RlpBbinPzZMSr0AcPU65I
    dMAizyh6UrluTmfK99ujxOloC0KJIYann26OPdCdHcj6YsdhiBpuxE03L7NmsBNP
    QIOXva09WkD7vdoWRdRtLRAd/WzChmr0P7gTFLQqEmY+dq7nec2U70zoYtnhgB77
    Csu6UYK04oVMX/ytHSJWDyr7IdrTOYRFAawX4ppyNxspT7mrK0Fv5qcoDenieSuP
    X4klLnueIQQZbAfFGZE2Q+oq8Zm6v+pPHQ53zHYokY1M7kY/O4XhLiHwhMyUflPp
    vXp2gdypYNc7p/eXne+hpEPcn9gzJcpJnqT6SzoAOxGOvnazGf9LlygJXQkAYeGa
    ezWQKN5cOJe5S/0OpPWKhJtggl9RWSWNywARAQABiQIfBBgBAgAJBQJSRDeCAhsM
    AAoJEOD5JdHgIJWkBNYP/jI8eLjFJl/5P8BTtV0dzODGu3492RAAlo6Ia6XBhTCg
    lVJKs97TaJLQU0g8NrP2JWaMUVoDnvWldHDYBP0XF7iJqzjvxInY21joFEI2FBVY
    uBibtZiPhRXX2wxAUrJCpzoWRZuoOPAucN24kESOt8QkRYvJu402WzE8n70+Bhhd
    kKHEvVPHwn+beNJo06dzRENuhS5Qc3lnr3rWyozFZzeZnHwqzztCvx1vM8bwWq+r
    Vq/HeA+BjAGN/E7iK02xp/2lpp/DT06pe2je1cdCDXO41w8lgUad4WsYhoPVZ7BA
    TTyRqMVYIL69XkljgrUHRp9Dqj8ID6kl2u9L6oi4C4VQYTcgoUPXQuiebz5D/Fxi
    fbox3VshqG+jk3tJaiiavO/TcENvmgqpMsvcvjfN/CEUz/H0/c7idreRUTKc/0Cg
    KrUG0JOq3rinyfdQ69B/rIwAHCLErL6DgT0MLhH0H+s1dC2nWjZBbj8cn6VvVQTj
    Fe0VLG3Rg5E8UPGTevaegN2gY5EPcgB6GKZIWn1Saoa7FEY/m5gVK0UMwB6wfnVC
    MMLppPWvn6Ej76QZTPUYGZHnvKogEkQTa+PCVgJWDEcTADEoqF5S7wR/JJXshSwd
    QofqYT1XrdI07u50bYv5X11H7yWfIdUhzYOGCm0hrZmzos+bMbMry2Y6v4KxFsib
    =Peeh
    -----END PGP PUBLIC KEY BLOCK-----


    P.S. Хотелось бы выразить благодарность команде LAVteam за техническую поддержку.
    UPD: Так же большое спасибо init0 за инвайт для непосредственного представителя команды разработчиков — ratnik0. Вы не однофамильцы, кстати? ;)
    UPD2: Если у кого-то под виндой программа требует ssleay32.dll, то Вам поможет установка библиотек openssl.
    UPD3: Создали джаббер-конференцию для координации сочувствующих и обсуждения дальнейших планов: torrents-database@conference.jabber.no
    UPD4: Кто голосовал за дамп порнолаба? Нужна Ваша помощь — ждем в конференции.
    UPD5: rutor удалил раздачу без объяснения причин.
    Метки:
    Поделиться публикацией
    Похожие публикации
    Комментарии 257
    • +12
      Классное дело!
      Приеду домой — скачаю и поставлю на раздачу.
      • +4
        Кстати, еще по ситуации с Либрусеком думал о неком универсальном каталоге торрентов… По аналогии с библиотечным. Т/е карточка (файл) содержащая описание, магнет-ссылку и некий уникальный код сродни библиотечному классификатору.

        Потом просто мозга не хватило додумать до конца (или просто мысль была глупая)

        • +1
          Этим рутрекер и занимается.
          • +1
            Интересно, есть ли смысл интегрировать данные действия для поддержания актуальной распределённой базы в известный торрент-клиент (менеджер закачек)? Чтобы юзеры тупо включали одной опцией? Ещё интересно: это легально?

            К сожалению, клиент пока не кроссплатформенный, а только для винды. Но он почти опенсорсный, поэтому если есть желающие внести в свой вклад, пишите.
      • +9
        Прекрасно. А вытащены ли хэши заблокированных правоторговцами раздач?
        • +5
          Нет, конечно. Использовались только публично доступные простому пользователю данные. Зато ни одна из существующих раздач не пропадет.
          • +11
            Хы! Можно договориться, что будете дампить например в последнее воскресенье каждого месяца в полночь по Москве. Чтобы народ вечером побольше накидывал «сомнительных для правообладателей» раздач :)
            • +3
              еще мы инкрементно, чтобы можно было держать всегда актуальную раздачу.
              • +4
                Обновления однозначно будут инкрементными. Точнее final.txt.gz может быть и будет новый, а толстую базу с описаниями мы поэтому и раздаем отдельно, чтоб скачивать можно было только обновленные части.
            • +1
              Наверно, вопрос в том, выкачиваются ли непроверенные раздачи (в последствии закрытые правообладателями). Спасибо за работу, очень круто.
          • +22
            Здорово!
            распределенный торрент-трекер распределенных данных
            • +8
              А ведь можно сделать полностью независимую базу с p2p обновлением и возможностью добавления контента пользователями. :)
              Т.е. некий распределенный аналог базы трекера.
              • +11
                Присылайте пулл-реквесты.
                • +2
                  Может BitTorrent Sync?
                  • +1
                    closed source.
                    • +3
                      Я имел ввиду, что нужно обратить внимание на механизм обновления содержимого.
                • 0
                  eDonkey?..
                  • +2
                    Только если систему скачивания и рейтинга этой системы изменить, а то там можно один файл было скачивать год-полтора.
                • +5
                  Еще бы как-то сделать так, чтобы все раздачи в I2P запустить на всякий случай.
                  • +39
                    Рутрекер очень прибыльный бизнес, а вы предлагаете им сдать главный актив. Конечно они против.
                    • +26
                      Ну rutracker тут упорно нас пытается убедить, что дело не в «крутении баннеров».
                      • +2
                        Уже пусть не беспокоятся. Их же спасать пришли1
                        • +3
                          Я не слышал, чтобы они звали на помощь.
                          • +5
                            Проблема в том, что есть нехилая вероятность, что когда они будут звать на помощь, будет уже поздно.

                            — Может вызвать подкрепление?
                            — Еще рано.
                            Через пару минут:
                            — Может вызвать подкрепление?
                            — Еще рано.
                            Через пару минут:
                            — Может все-таки вызвать подкрепление?
                            — Уже поздно
                            (из к/ф «На Дерибасовской хорошая погода»)
                            • +1
                              «Спасение» тех, кто о помощи не просил, все же называется как-то по другому, не так-ли?
                              • 0
                                «Спасают» же не рутрекер, а их базу… Хотя, спасение чужих ценностей тоже имеет разные названия…
                                • +1
                                  Вы имеете ввиду «экспроприацию экспроприаторов», я полагаю? ;)
                                  • 0
                                    Предотвращение аннигиляции
                                    • +3
                                      Для аннигиляции, как говорит нам физика, необходим антирутрекер равной массы.
                                      • +3
                                        Роскомнадзор, видимо, пока имеет недостаточную массу, но надолго ли?..
                        • +4
                          Этому же самому хотят нас убедить многочисленные копирасты
                          • +7
                            А там есть баннеры? Не знал.
                            • +8
                              ADBlock заботится о нас
                              • 0
                                17 банеров, 20 млн. просмотров главной страницы в день. Это не меньше 1 млн. рублей выручки в месяц. Хороший приятный доходик…
                                • +1
                                  думается мне, вы их здорово недооцениваете
                                  • 0
                                    Это по нижней границе оценка, по факту там конечно же куда больше.
                                    • +1
                                      Конечно по нижней, но чтобы гарантированно «не придрались», что я завышаю доходы. Но даже при этой цифре — это вполне себе живой и прибыльный бизнес. И довольно наивным выглядит предложение «отдать» этот бизнес общественности. Ну и возникают резонные сомнения в «бесскорыстной борьбе с цифровым неравенством».
                                      • 0
                                        Не уверен что 'борьба' которая берет деньги не понятно откуда будет более бескорыстна.
                                        Банально но факт — самые ярые борцы не едят радугу и, простите, не испражняются бабочками.

                                        Не знаю какой процент их деятельности 'борьба' но без какой либо финансовой базы, думается мне, все равно сделать ничего нельзя.
                                  • +2
                                    обожаем мы чужие деньги считать.
                                    запустите свой трекер — и гребите бабло лопатой — все так просто =)
                                    • +2
                                      Речь же не про это, а про то, что некоторые считают, что владельцы rutracker перкраснодушные бессеребренники, с единственнной целью — радение за свободу информации с интернете. Нет, чуваки просто оседлали хорошую трубу с деньгами, и совершенно не намерены ей ни с кем делиться.
                                    • 0
                                      Если вы способны продать это за столько — идите к нам рекламным агентом. На процент кототорый устроит вас.
                                      Если вам кажется, то, как говорят в таких случаях — креститься надо.
                                • 0
                                  Извиняюсь, но просветите нас, пожалуйста, насчет их годовой выручки, выраженной хотя-бы в активах в виде особняков и дорогих машин… Я не думал, что баннеры столько приносят. Что же они мне столько не приносят? Может я выбрал не ту рекламную компанию?
                                  • 0
                                    А какая посещаемость у ваших ресурсов, на которых крутятся баннеры?
                                    • 0
                                      Ну у меня около 5000 в день. Ставил разные системы, PPA вообще ничего не приносили (кликали много, но никаких действий не совершали), всякие попандеры и кликандеры приносили около 20 руб в день, если повесить все сразу. Но рекламы стало так много, что даже посещалка стала падать :/ Классические тизеры приносили тоже около 20 руб. Хватает только на хостинг.

                                      В общем, если брать доход с баннеров даже 30 руб., и посещаемость Рутрекера, ну скажем, как у меня, но помноженную на 100, то у них получится порядка 3000 р. в день. На виллы все равно не хватает)))
                                      • 0
                                        посещаемость Рутрекера, ну скажем, как у меня, но помноженную на 100

                                        Зачем цифры с потолка, у них там счетчик внизу есть, если не ошибаюсь, то под 15М просмотров в сутки, а это 15М/5000*20 руб = 60кРуб в день, 1,8 млн руб в месяц.
                                        В добавок там есть не «тизерная» реклама.
                                • +44
                                  Ну всё — завтра новостные сайты разразятся заголовками: у пиратов спиратили их базы данных и выложили в открытый доступ, несмотря на их противодействие!
                                  • +12
                                    Вот это вы молодцы!
                                    На самом деле вы весьма с неожиданной (и очень правильной!) стороны подошли к созданию Распределенного Интернета (да, именно так, ни больше ни меньше). Ведь если эту программу объединить с самим торрент-клиентом, то можно научиться обмениваться базой распределенно, минуя какие-либо центры. И качать торренты можно было бы прямо из программы. И комментировать их — прямо тут же (а отсюда один шаг до распределенного форума или даже социальной сети).
                                    А огромная база торрентов — это то, что привлечет массы простых пользователей. То, чего так не хватает всяческим i2p.

                                    • +55
                                      Суть в том, что именно централизация и наличие модерации — главная фишка рутрекера. Очень хорошие правила оформления раздач. В случае с распределённой базой получится помойка типа eD2k.
                                      • +5
                                        Модерация раздач, в принципе, может быть социальной и саморегулируемой.
                                        • 0
                                          А она сейчас какая? Социальная и саморегулируемая и есть. Т.е вы лично можете прочитав правила «как стать модератором» тоже стать модераторам, модерировать раздачи и учавствовать в написании правил «как стать модератором» для тех кто тоже хочет стать модератором.
                                          Также, став модератором вы можете прочитать правила «как стать админом»…
                                          • +1
                                            Я думаю, имелась в виду децентрализованная модерация, при которой каждый мог бы «голосовать» за или против раздачи, возможен вес голоса в зависимости от количества отданного, к примеру. Раздачи сортировались бы в выдаче согласно оценкам пользователей. На хабре много раз обсуждали, как это правильно сделать. Что важно, ни у кого технически не должно быть возможности повлиять на результаты «голосования» и ни одна раздача не была бы удалена полностью.

                                            Хочу провести аналогию. Сравните обычный банк и bitcoin. В первом случае власти могут лишить человека его денег, во втором случае это невозможно и есть возможности для дальнейшего усложнения, например шифрование кошелька и использование bitcoin через прокси. Разница между нынешней системой модерации rutracker и желаемым вариантом такая же: на rutracker могут нагрянуть копирастеры (аналог властей в случае с банком из примера выше), а с распределенной системой голосования они ничего сделать не смогут. Кроме того, голосование никогда не сможет уничтожить раздачу, оно упустит её в самый конец выдачи. Поэтому различные маргиналы, хотя и будут висеть в конце списка, но не будут удалены по крайней мере.
                                        • +1
                                          >Очень хорошие правила оформления раздач.
                                          Не знаю, как в остальных разделах дела обстоят, но музыкальный раздел рутрекера — помойка с букетом левых форматов, битыми тегами и фактическим отсутствием стандартов оформления.
                                          Если под оформлением раздачи иметь в виду сообщение натрекере форума — там да, там всё красиво, обложечка приложена и списочек к ней. А вот сама музыка на трекер попадает в каком угодно виде — например, с того же осла и взятая. В итоге при выборе между приведением в порядок музыкальной коллекции, скачанной с рутрекера, и скачиванием её заново с what.cd второй вариант оказывается куда более простым, несмотря на все сложности поддержания рейтинга на закрытых трекерах.
                                          И пока правила устанавливаются и их соблюдение контролируется людьми, выдающими фразы вроде «а я всё равно все альбомы записываю на диски, поэтому мне приятней, что всё одним файлом, и, раз диск один, то и файл должен быть один», порядка в музыкальных разделах рутрекера нет и не будет.
                                          • +4
                                            музыкальный раздел рутрекера — помойка с букетом левых форматов, битыми тегами и фактическим отсутствием стандартов оформления.


                                            Друг! Я прослезился, жму руку, говорю Вам БОЛЬШОЕ спасибо! Как же они меня задрали своими идиотскими недоправилами, который высосаны хз откуда при этом не регламентируют то, что надо. За раздачу музыки в образах в наше время цифровых плееров надо принудительно обрекать уродов, которые это придумали на прослушивание целого альбома склееного в mp3 96k, причем, ествествено без cue.
                                            И если за зарубежной музыкой можно давно уже спокойно ходить на вату, то российскую музыку приходится качать и дорабатывать напильником, наждачкой и рубанком прежде, чем придет во вменяемый вид.
                                            • 0
                                              Некогда там было правило, запрещающее раздавать архивы.
                                        • +9
                                          Ведь если эту программу объединить с самим торрент-клиентом, то можно научиться обмениваться базой распределенно, минуя какие-либо центры. И качать торренты можно было бы прямо из программы.

                                          Чем-то мне напомнило это e-mule. Там был реализован поиск прямо из программы. И там было много видео файлов, с названиями фильмов, мультфильмов, а на самом деле эти файлы были порно видео. На трэкерах есть модераторы которые проверяют соответствие описания тому, что там лежит и не допускают появления таких ситуаций.
                                          • +1
                                            Можно сделать взаимодействие и модерацию такую-же как и на сайте, просто обмениваться данными не через http.
                                            Проблема одна, всем пользователям прийдется ставить новый софт, вместо браузера.
                                            • 0
                                              Ну некоторые браузеры уже сейчас p2p поддерживают. И число таких браузеров будет расти. Так что можно обойтись уже и без установки нового софта.
                                              • 0
                                                А что за технология? некоторые браузеры — типа стандартного ФФ и Хрома или типа Firefox for tor, переделанные?
                                                • 0
                                                  • 0
                                                    От блокировки ресурса таким образом спастись не выйдет. Все равно, должен быть какой-то центральный хост с скриптами, на который нужно зайти пользователю. Хотя, конечно, можно просто эти скрипты распространять как и программу (в виде локального файла, который открывается браузером), но мне такой подход чем-то не нравится. Возможно тем, что скрипты будут править все кто не лень на свой лад, в программе все-же сложнее поковыряться. Хотя это такой-себе аргумент.
                                                    • 0
                                                      Можно просто подсети сканировать и на github сбрасывать
                                                      А скрипты — плагин к браузеру же. Можно прям на imdb сидеров и магнеты отображать :)
                                                      • 0
                                                        github забанят (веб, по крайней мере).
                                                        • 0
                                                          Кишка тонка, кеш гугла до сих пор никто не забанил, а там экстремизма хоть отбавляй, не то, что цифры какие-то
                                                          • 0
                                                            Чего тонка? тут все зависит от интереса. Перекрыть кэш гугла, кстати, просто и особо возмущений это не вызовет. Особенно если перекрывать конкретные ссылки. Просто не надо было пока никому. Но нельзя считать, что так будет всегда.

                                                            github закроют очень быстро, там выкладывать подобную информацию. Сделать это намного проще, чем с кэшем (технически).
                                                            • 0
                                                              Невозможно конкретные ссылки, https
                                                              Гитхаб тоже опасно закрывать. Неизвестно ещё к чему приведёт ярко выраженная ненависть айтишников
                                                              • 0
                                                                Когда невозможно конкретные ссылки, обычно что делают, напомните?
                                                                • 0
                                                                  Расстреливают всю деревню
                                                                  • 0
                                                                    Верно, github грохнут целиком.
                                                                    • +1
                                                                      Ответ айтишников мира не заставит себя ждать
                                                      • 0
                                                        Заблокировать ресурс, хостящий такой скрипт, — это как заблокировать сайт загрузки uTorrent. А если это и сделают, то будет написано расширение для браузеров, включающее этот скрипт.
                                                        • 0
                                                          Нет, не тоже самое. utorrent это просто программа, ей что угодно можно качать. А скрипт этот приводит к генерации сраницы с определенным контентом. Если контент пиратский, страница со скриптом пойдет в бан. В принципе, для пользователя это так и выглядит, зашел на страницу, получил сайт с торрентами. Детали доставки это уже нюансы.
                                                          • 0
                                                            Я думаю, скрипт, выполняющий роль клиента, будет хоститься отдельно от контента. Контент будет хоститься в самой сети, в которой будет возможен поиск по названию раздачи, чтобы опять не назначать эту задачу трекерам, делая их уязвимым звеном. И заодно встроить обязательное проксирование минимум через 1 участника сети и обязательное шифрование, чтобы копирастеры не могли приставать к сидам. Будет падение производительности сети в 2 раза, но расходы копирастеров на борьбу с такой сетью вырастут намного больше и борьба с файлообменом прекратится.
                                                            • 0
                                                              Забанят хост, где лежит скрипт. Так, что простые пользователи не смогут получить к нему доступ. «информационный посредник».

                                                              По сути, это ничем не отличается от того, чтобы завести сайт с торрентами на каком-то секретном сервере и проксировать его через какой-то другой «публичный» хост. Публичный хост забанят, а секретный сервер никто и искать не будет.

                                                              Если делать, то уже без центральных точек, тем более, работающих по http протоколу.
                                              • +3
                                                Все правильно. В идеале, пользователи сами должны модерировать раздачи. Разные пользователи долдны иметь разный «ранг», который можно также назвать коэффициентом доверия.
                                                Два предельных случая: отсутствие модерации и помойка — когда все пользователи равны.
                                                Жесткая модерация — сиутация когда у простых пользователей ранг 0, а у модераторов ∞.
                                                Конечно, приятнее когда порядок, т.е. ситуация, близкая к жесткой модерации (но не совсем жесткая).
                                                Даже здесь на Хабре используется подобная система (правда, упрощенная). Если бы «рейтинг» пользователя учитывался при оценивании им статей (т.е. вместо "+1" и "-1" было бы "+1 * exp(Rating/C)" и "-1 * exp(Rating/C)", то было бы интереснее:)
                                            • +2
                                              Прекрасно! Давно пора было сдампить его.
                                              • +1
                                                Когда-то давно делал парсер еще для торрентс.ру…
                                                Изображения с раздач на данный момент сохраняются?
                                                В удобном виде, думаю, администрация так просто не отдаст)
                                                Слишком много ценного контента в одном месте! Даже после теоретического прикрытия рутреккера не будет смысла выкладывать пароль… можно свою базу запустить на новом хосте. Но, надеюсь, я ошибаюсь)
                                                В любом случае пока нету официального полного дампа без всяких паролей нужно парсить своими силами…
                                                • +2
                                                  Изображения с раздач на данный момент сохраняются?


                                                  Нет. Только текст. Изображения бы в разы увеличили объем базы.
                                                  • +2
                                                    Хотелось бы и картинки… дополнением к основной базе
                                                    Лишних пару десятков гигов под такое дело редкий айтишник пожалеет)
                                                    • +2
                                                      А ссылки на них? ссылки можно потом отдельно скачать (распределенно) и отдельной раздачей оформить.
                                                      • +1
                                                        Ссылки естественно есть в описаниях. Описания — это целиком html всей раздачи.
                                                        • 0
                                                          Ага, это лучше уже. Жаль, что там, наверное, половина мертвых, на всяких фотохостингах.

                                                          Хотя, для видео скрины не так критичны, их нарезать можно автоматом, если очень прям нужно. Для игр взять из публичных источников. С софтом, сложнее, конечно…
                                                  • +25
                                                    /me взял попкорн и ждет
                                                    • +5
                                                      Неплохо было бы ещё дампить название раздела откуда берётся раздача для каталогизации.
                                                      • +3
                                                        Полностью согласен. Думаю сделаем в следующих версиях.
                                                      • +51
                                                        Я давно пользуюсь своей софтиной, которая каталогизирует рутрекеровскую базу аудиокниг. Естественно с древовидным представлением по жанрам, авторам и другими плюшками. При обновлении парсит рутрекер, вытаскивает описание книг, первую страницу с отзывами и т.д. и складывает в локальную БД. После этого можно лопатить каталог, искать интересные книги. Когда книга найдена — кнопка «Скачать», которая скачивает торрент-файл и автоматически скармливает его uTorrent, так, чтобы раздача попала в нужную папку на диске (с деревом папок по авторам и жанрам).
                                                        Всё не хватает сил выпустить статью на хабр.
                                                        • +24
                                                          Коммент плюсую не просто так, а с надеждой увидеть программу и статью о неё здесь :)
                                                          • +4
                                                            Попробую выделить время. Уж больно код там старый и страшный, чтобы без подготовки кому-либо показывать.
                                                            Ах да, чуть не забыл. Там еще и демоверсия платного DevExpress.WinForms используется — уж очень пригодились фичи по многофакторной фильтрации списка. И, соответственно, для паблика придётся переходить на какие-нибудь бесплатные компоненты.
                                                          • 0
                                                            Вау, пожалуйста, найдите силы и покажите это чудо хабру. Это же восхитительно!
                                                            • +3
                                                              Вчера начал лопатить код. Уже переписал парсер, сейчас пишу новый GUI. Статья будет — думаю на следующей неделе.
                                                              Правда там довольно много кода и технологий, поэтому пока не знаю какой именно кусок включить в статью — парсер, Entity Framework, GUI на WPF… Всё сразу — слишком много для статьи.
                                                              • +2
                                                                Скорее, для начала обзор использования нужен, и ссылка на исходники. А там — что спросят чаще и интереснее.
                                                          • +5
                                                            К сожалению, очень много контента администрация уже успела удалить.

                                                            А так идея сдампить трекер в свете глобального будущего удаления музыки конечно хорошая.
                                                            • +6
                                                              Еще можно сделать раздачу средствами bittorrent sync, будет проще с обновлением.
                                                              • +4
                                                                Мы не используем closed-source software. Вы можете выкачивать через магнит и зеркалировать.
                                                              • +46
                                                                Комментарий про порнолаб.
                                                                • +25
                                                                  Принято :-D
                                                                  • +12
                                                                    Особенно хентай и манга разделы. У меня плохое предчувствие насчет них.
                                                                    Админы пл всегда бежали впереди паровоза и еще в прошлом ноябре удалили оттуда несколько сотен раздач, даже без всяких запросов со стороны роскомнадзора.
                                                                    • 0
                                                                      На порнолабе, к сожалению, нет магнет ссылок.
                                                                      • +19
                                                                        Значит придется выкачивать торрент-файлы, обрабатывать их, получая хеши для магнитов. Я уже говорил, что приветствуются пулл-реквесты? ;)
                                                                    • +9
                                                                      Это топик Добра! Пока одни зеленые полюсы)))
                                                                      • +17
                                                                        Так мы же не копирасты — мы бескорыстно делимся добром ;)
                                                                      • +3
                                                                        Народ, кто разбирается в теме, объясните мне пожалуйста вот какой момент: читал на вики про работу торрент-трекеров и понял, что ключевым в его работе всегда остается сам сервер трекера. Т.е., если у торрент-клиентов из-за блокировок по ip не будет доступа к трекеру, то толку в обладании нужной magnet-ссылки — ноль. Одно дело если просто закроют веб-морду, другое, если зажмут доступ к серверу — держать это хозяйство будет не прибыльно, база пополняться не будет и трекер умрет сам собой. Такие мысли пришли ко мне, когда я собирался начать парсить rutor. Объясните, пожалуйста, где я не прав?
                                                                        • +5
                                                                          Есть еще DHT — это когда клиенты обмениваются между собой hash — данных, треккер в таких обменах не нужен и блокировки не страшны.
                                                                          • +5
                                                                            Есть еще Peer Exchange, который помогает искать пиров в дополнение к DHT без участия трекера.
                                                                            • +2
                                                                              Про это я тоже читал, единственное, из вики не понятно, связь между magnet-ссылкой и DHT
                                                                              Вот на примере рутора: magnet:?xt=urn:btih: длинный_хеш_записи&dn=rutor.org&tr=udp://bt.rutor.org:2710&tr=http://retracker.local/announce
                                                                              Будет ли хоть какой-то смысл в ней, если адреса после tr= окажутся недоступными клиенту?
                                                                              • +1
                                                                                Пока есть сиды, по магнет ссылке можно будет присоединиться к раздаче, трекер не нужен.

                                                                                Это при условии, что раздача открытая, но и при частной раздаче тоже есть варианты.
                                                                                • +1
                                                                                  Как мой клиент узнает сидов в лицо, если нет трекера? Допустим, вы в своем utorrent открыли эту ссылку, и я открыл. Откуда мой клиент узнает где сид? Откуда он узнает, что вы тоже начали качать?

                                                                                  Вот принцип работы bit-torrent сети: «Перед началом скачивания клиент подсоединяется к трекеру по адресу, указанному в торрент-файле, сообщает ему свой адрес и хеш-сумму торрент-файла, на что в ответ клиент получает адреса других клиентов, скачивающих или раздающих этот же файл. Далее клиент периодически информирует трекер о ходе процесса и получает обновлённый список адресов.» (с) вики

                                                                                  Получается, только от трекера я могу получить список сидеров. Нет доступа к трекеру — нет списка сидов — нет закачки.
                                                                                  • +1
                                                                                    Почитайте на википедии про работу протокола DHT.
                                                                                    Трекер там не нужен.
                                                                                    • +4
                                                                                      Ну вики же. Вы не правы.

                                                                                      Каждый узел хранит таблицу маршрутизации, содержащую контактную информацию о многих «ближайших» к нему узлах, и о нескольких более далёких. «Близость» двух узлов вычисляется из «сходства» их ID, и не имеет никакого отношения к их географической близости.

                                                                                      Когда узел хочет найти пиров для раздачи, он сравнивает infohash этой раздачи с ID известных ему узлов, и затем посылает запрос тому узлу, чей ID наиболее похож на этот infohash. Тот узел возвращает ему адрес узла, чей ID ещё ближе к infohash торрента.

                                                                                      Тогда наш узел посылает запрос тому новому узлу, и получает от него адрес следующего узла, чей ID ещё более похож на infohash торрента.

                                                                                      Таким образом, запросы от клиентов, участвующих в раздаче торрента с определённым infohash, постепенно стекаются к узлам, чьи ID наиболее похожи на этот infohash. Эти узлы помнят предыдущие запросы, и всем следующим запрашивающим узлам вернут адреса предыдущих пиров с той же раздачи.
                                                                                      • +1
                                                                                        Если есть другие закачки — клиент будет опрашивать их участников.
                                                                                    • 0
                                                                                      Да, при недоступности серверов *твой* клиент будет «рассылать» по доступным клиентам тот самый «длинный_хеш_записи», и если у кого-то будет информация о нём — то она появится и у *твоего* клиента. Под информацией понимаю список файлов в торренте, из размеры и прочую мета-информацию.
                                                                                      • 0
                                                                                        Откуда мой клиент возьмет список других клиентов, если нет доступа к трекеру? Я лично замечал, что в дни когда падал порнолаб (да, все мы там качаем, нечего стесняться :-) не было никаких раздач/закачек в клиенте.
                                                                                        • –1
                                                                                          DHT? Не, не слышал.
                                                                                      • +2
                                                                                        Трекеры только ускоряют поиски пиров. Для DHT они не необходимы.
                                                                                        • +4
                                                                                          Не совсем так.

                                                                                          Текущая реализация DHT в протоколе Bitorrent (которая, к слову, реализуется как расширение у нему bittorrent.org/beps/bep_0005.html) содержит только статическую информацию начальной конфигурации (таблица маршрутизации) для нового узла. Это значит, что если Вы пытаесь использовать trackerless torrent в котором все узлы уже недоступны, то Вы окажитесь отрезаным от сети.

                                                                                          Поэтому на данном этапе совсем отказаться от централизованных трекеров невозможно.

                                                                                          На мой взгляд проблема назрела и ее решение уже на подходе. В светлом будущем необходимость в крупных трекерах таких как The Pirate Bay или rutracker отпадет.

                                                                                          А пока законодатели будут обдумывать очередной законопроект по борьбе с торрент-трекерами, пиринговые сети шагнут на новую ступень развития. В том плане всякие запрещающие законопроекты даже полезны так как они способствуют прогрессу. Ну а он на стороне простых Интернет пользователей.
                                                                                          • 0
                                                                                            Ключевое слово: bootstrapping. Если у вас уже есть хоть один пир с dht (например, из других раздач или через utorrent который «подсасывает» их откуда-то со своих серверов) — у вас работают все раздачи по dht (если, конечно, есть источники).
                                                                                            • 0
                                                                                              На самом деле, если эти «законопроекты» отсекут от пиратов 95% их нынешних клиентов, то они свою задачу будут рассматривать выполненной. Потому что между вариантом «разобраться с i2p» и «пойти купить за 65 рублей» обычный пользователь интернета абсолютно точно выберет второе. А гоняться за оставшимися несколькими десятками тысяч на весь мир (крайне оптимистичная оценка) по торам, итупи, и всяким прочим яйцеголовым выдумкам, не имеет особого практического смысла.
                                                                                              • 0
                                                                                                Что значит разобраться с i2p? В чём проблема упаковать клиент в однокнопочную программку?
                                                                                                • +2
                                                                                                  Вы забываете, что аудитория интернета (называющая системный блок «процессором» и ищущая «сериалы скачать бесплатно» в Яндексе, а потом лечащаяся от винлокеров), и аудитория, допустим, Хабра, это разные множества, а часто даже и весьма слабо пересекающиеся. Находясь здесь, в нашей уютной тусовочке, вы пребываете в иллюзии, что «нас — много, мы — сила!», на самом деле, на самом деле эта «сила» весьма немногочисленна, и составляет в лучшем случае несколько процентов от общего числа пользователей интернета.
                                                                                                  • 0
                                                                                                    И что дальше? Вы хотите сказать, что немногочисленная тусовочка программистов не сообразит сделать простую морду для i2p клиента? Массы торрент-клиентами научились пользоваться? Научились. И скажу по секрету — не в восторге от этого. Массы можно привлечь удобным платным сервисом, а те, кто ищут где скачать бесплатно по своим причинам — освоят и i2p и чёрта в ступе.
                                                                                                    • 0
                                                                                                      > аудитория интернета (называющая системный блок «процессором» и ищущая «сериалы скачать бесплатно» в Яндексе, а потом лечащаяся от винлокеров)
                                                                                                      Если они ищут сериалы в Яндексе, а не на Рутрекере — они не являются аудиторией Рутрекера, и даже если Рутрекер будет заблокирован, они этого не заметят. Так что речь не о них.
                                                                                                      • 0
                                                                                                        Я искренне надеюсь, что вы понимаете, что речь идет не о том где, что и как искать.
                                                                                                        • 0
                                                                                                          > Я искренне надеюсь, что вы понимаете, что речь идет не о том где, что и как искать.
                                                                                                          О чём же идёт речь в топике про Рутрекер, в данной конкретной ветке про i2p? А в это время аудитория Флибусты разобралась с i2p.
                                                                                                          • 0
                                                                                                            В данной конкретной ветке речь идет совсем не про i2p

                                                                                                            PS: раз уж зашла речь: Я аудитория Флибусты, и никаким i2p, кстати, не пользуюсь.
                                                                                                            • 0
                                                                                                              > В данной конкретной ветке речь идет совсем не про i2p
                                                                                                              Вы привели в пример пользователей, которые ищут сериалы в Яндексе — так? Так. Они уже сейчас не пользуются торрентами. Те, кто торрентами пользуются, с ними вполне разобрались, значит разберутся и с установкой i2p, она нисколько не сложнее, но потенциально сулит вкусные плюшки — возможность раздавать и качать то, что правообладатели сейчас блокируют (кстати говоря немцы активно пользуются ею).

                                                                                                              > Я аудитория Флибусты, и никаким i2p, кстати, не пользуюсь.
                                                                                                              Раз вы аудитория, то вы в курсе того, как прошёл сентябрь.
                                                                                                • +3
                                                                                                  Mainline DHT очень просто фильтровать, используя DPI. Всё дело в bencoding. И Beeline уже без запросов Роскомнадзора тренируется его блокировать.
                                                                                                  Есть ещё AzDHT в Vuze, этот посложнее фильтровать.
                                                                                              • 0
                                                                                                Торрент-клиент получает хэш раздачи и начинает искать сидов по этому хэшу, рассылая сообщения get_peers(хэш) по DHT-сети.
                                                                                                • +1
                                                                                                  Будет. DHT строит свою сеть по поиску пиров. Вот сейчас ради интереса зашёл на раздачу слабопопулярную взял хэш и сделал ссылку без указания трекеров только хэш. Результат, на непопулярной раздаче (1 сид на самом рутрекере) прошло где то 15 минут прежде чем началась закачка. Для популярно закачки (270 сидов) практически мгновенно.
                                                                                                  Но насколько я понял обоим технологиям нужно чтобы у тебя уже были несколько рабочих торентов.
                                                                                                  • +1
                                                                                                    В юторренте вшито два адреса для бутстрапа, так что рабочие торренты там необязательны.
                                                                                                    • +1
                                                                                                      Ну я в целом применительно к технологии. Кстати что за адреса, интересно их заблочить и протестить что будет без них?
                                                                                                      • +1
                                                                                                        Нормально все будет, просто возьмет адреса, сохраненные между сессиями, или с рабочих торрентов. Если же просто чистый клиент запустить, то не будет ничего, так как некуда подключаться.
                                                                                                  • +5
                                                                                                    Отвечу на практическом примере:

                                                                                                    Минимальная ссылка это magnet:?xt=urn:btih:HASH
                                                                                                    Этого уже вполне достаточно как для скачивания, так и для публикации собственных раздач.
                                                                                                    Я несколько лет хранил и выкладывал у себя большие архивы фотографий с велопробегов. При этом к большой нагрузке качальщиков был не готов (поскольку хостится всё в домашнем роутере RT-N16). Поэтому парой скриптов для папки с фотографиями сперва генерился индекс с превьюшками, а фотки в оригинальном размере шарились через магнет.
                                                                                                    С помощью transmission (в cli-варианте) для расшаривания любого файла нужно всего две команды:

                                                                                                    transmission-create -o "/tmp/torrent.torrent" "нужный_файл"
                                                                                                    transmission-remote "localhost" -w "путь_к_папке_где_нужный_файл/" -a "/tmp/torrent.torrent"
                                                                                                    


                                                                                                    Первая команда создаёт торрент. Вторая подключается к работающему локально (localhost) демону (transmission-daemon) и ставит только что созданный торрент на раздачу. Можно добавить ещё и третью команду — удаление созданного торрент-файла (покуда с момента установки на раздачу им начирает рулить демон, и сам локальный файл больше не нужен)

                                                                                                    Нужный хэш при необходимости вытаскивается из торрента (если в cli — с помощью transmission-show) и дописывается в конец строчки «magnet:?xt=urn:btih:», полученная ссылка (например, magnet:?xt=urn:btih:fb26eaa6180af006cc502837ad48d655c5e27561) отдаётся страждущим — и всё!

                                                                                                    Вот весь скрипт, который запускался для этого на роутере: pastebin.com/HxDA0pEq
                                                                                              • +6
                                                                                                (ждем реакции администрации)

                                                                                                Очень интересно, что ответят.
                                                                                                Хорошее дело сделали.
                                                                                                • +10
                                                                                                  Поблагодарят за помощь, конечно. И будут всячески помогать поддерживать базу в актуальном состоянии.
                                                                                                • +11
                                                                                                  Жесть подстава для рутрекера, конечно.
                                                                                                  Сейчас появится сотни, а то и тысячи новых трекеров, ибо база данных торрентов в свободном доступе

                                                                                                  Но, база супер! Уже качаю.
                                                                                                  В целом, у меня тоже проект посвященный торрентам. Если что — готов всячески помогать в данном начинании.
                                                                                                  • +2
                                                                                                    Хм, кому я так насолил то? :)
                                                                                                    • 0
                                                                                                      Вы невнимательно читали пост. Я уже написал почему Вы не правы.
                                                                                                      • 0
                                                                                                        Перечитал ещё раз. Честно говоря, не понял, в чем именно я не прав?
                                                                                                        • +1
                                                                                                          Эти данные итак всегда были в свободном доступе.
                                                                                                          • +7
                                                                                                            Одно дело данные в свободном доступе
                                                                                                            Другое дело — готовая база данных.
                                                                                                            Это разные вещи. Посмотрите на форумах, продают спарсенные базы разных порталов, которые итак «в свободном доступе».
                                                                                                            • –7
                                                                                                              В чем разница расскажите, пожалуйста. То что кто-то что-то продает — не аргумент. Продают подобные вещи в основном для тех, кто не может сделать базу сам. Но такие и сайт по базе сами поднять не смогут. Те же, кто смогут поднять сайт по базе — могут и сами сделать базу, не покупая.
                                                                                                              • +1
                                                                                                                Продают — как раз аргумент. Если кто-то готов платить за информацию, значит эта информация нужна.
                                                                                                                • 0
                                                                                                                  Прочитайте, пожалуйста, не только первую строчку коммента, на который Вы отвечаете.
                                                                                                                  • +2
                                                                                                                    С чего вы взяли, что ваши тексты не читают?
                                                                                                                    Я очень внимательно все читаю.
                                                                                                                    • +1
                                                                                                                      Потому что по Вашему комменту складывается впечатление, что Вы прочитали только первую строчку. В качестве возражения на него, могу только повторить вероятно не прочитанный Вами кусок:

                                                                                                                      Продают подобные вещи в основном для тех, кто не может сделать базу сам. Но такие и сайт по базе сами поднять не смогут. Те же, кто смогут поднять сайт по базе — могут и сами сделать базу, не покупая.
                                                                                                                      • +2
                                                                                                                        Да причем тут — смогут или не смогут? Чтобы спарсить рутрекер нужен программист, который напишет парсер, сервер с нормальным каналом, прокси, поддержка и тому подобное. Эта работа стоит денег.
                                                                                                                        Чтобы запустить сайт с готовой базой — надо иметь всего-лишь саму базу (которая стоит намного дешевле стоимости работы) + небольшой конвертер для того, чтобы засунуть контент из готовой базы в готовый сайт.
                                                                                                                        • 0
                                                                                                                          Эта работа стоит денег.


                                                                                                                          То есть ничего невозможного. Были бы деньги. А так как перед Вами люди, сделавшие это просто забесплатно, то вполне можно предположить, что сделать это за деньги стоит относительно немного.
                                                                                                                          Кстати, канал совсем не нужен тут. Нужным только внешние IP.
                                                                                                                          • +2
                                                                                                                            Не по существу Вашего спора, а по аргументу ". А так как перед Вами люди, сделавшие это просто забесплатно, то вполне можно предположить, что сделать это за деньги стоит относительно немного." — это неверное утверждение. То, что специалист, знающий способы, может легко сделать бесплатно — человек, способы не знающий может лишь пытаться купить у тех многих, кто возможно знает подходы, и готов взяться за определённую цену. Попыток может оказаться много, времени много — пока находящиеся малознающие сделают с грехом пополам, или пока найдётся кто-то знающий, который запросит за заказную разработку тоже не мало. И денег здесь, как правило, тратится очень прилично!
                                                                                                          • +2
                                                                                                            Тот кто может по этой базе развернуть поддельный сайт точно так же может сделать дамп самостоятельно. Мы ничего не взламывали и среди нас нет администраторов или модераторов. Мы просто взяли то, что было и так доступно и придали ему удобную для децентрализации форму.
                                                                                                            • +2
                                                                                                              Так речи нету, о том, что кто-то что взламывал.
                                                                                                              Может я перечитал www.searchengines.ru/, но там постоянно продают базы разных порталов, на основе которых делают новые сайты.

                                                                                                              В этом нет ничего плохого. Это не в упрек было сказано.
                                                                                                        • –1
                                                                                                          Ценность рутрекера в CEO оптимизации и бренде. Люди знают куда ходить, поисковики хорошо ранжируют. Множество других сайтов и до этого парсили рутрекер и остальных, сама по себе база имеет мало ценности, если она уже есть у намного более раскрученного ресурса.
                                                                                                          • 0
                                                                                                            Правильно. Только ценность эта не для посетителей, а для самого рутрекера. Они с этого какие-никакие плюшки имеют. Потому они и не горят желанием отадавать свою базу данных кому не попадя и создавять собственными руками множество конкурентов.
                                                                                                            • 0
                                                                                                              Нет, это ценность для людей. А вот уже с людей трекер и имеет плюшки.

                                                                                                              У рутрекера есть зеркала (кто-то его парсил и запускал свое). Предположим, их запустят еще несколько десятков. Вроде бы содержимое тоже.
                                                                                                              Но если рутрекер неожиданно закроют, то большая часть его аудитории от этого потеряет. Они просто не будут знать, куда идти и будут видеть в выдаче Гугла незнакомые сайты. Да, со временем, аудитория эти зеркала найдет, но часть людей переключится на другие ресурсы, а остальные разбредутся по разным зеркалам. В итоге, вместо одного большого сообщества получится множество мелких. В данном случае, это сильно притормозит развитие, ведь единого места, куда стекается весь контент, уже не будет. Что-то выложат там, что-то тут. По сути, будет ничем не лучше просто маленьких трекеров. Ну за исключением большой стартовой базы. Но с новым контентом будет беда.
                                                                                                              • 0
                                                                                                                Если рутрекер закроют, то будет как в прошлый раз — новый домен будет известен всем за сутки.
                                                                                                                Тут даже СМИ не надо — у рутрекера есть база пользователей, так что достаточно разослать письма.

                                                                                                                А вот если «закроют» администрацию рутрекера, тогда уже сложнее.
                                                                                                                • 0
                                                                                                                  Новый домен рутрекера — да, потому что это бренд. А если нового не будет (владельцы решат не продолжать вести этот проект), то узнавать будет нечего. Будет десятки непоняных зеркал и все. Прорекламируют скорее просто их конкурентов и туда стечется аудитория.
                                                                                                                  Бренд это очень важно;)
                                                                                                                  • 0
                                                                                                                    врятли владельцы откажутся от бизнеса который им хорошие деньги приносит. купил новый домен и зарабатывай дальше
                                                                                                                    • 0
                                                                                                                      Обстоятельства разные бывают. Но вообще я о гипотетической ситуации