Comments 23
Вас сервисы к которым вы обращаетесь не блокируют из-за обращения с IP узлов TOR?
Блокируют, еще как))) А IP узлов TOR очень много! Поэтому в случае блокировки — обновляем IP и работаем дальше
Довольно-таки простое решение, спасибо, схоронил!)
Нет ничего проще забыть что-то, чем сохранить в избраное)))
Довольно топорное, некрасивое решение. Для запуска нескольких Tor достаточно было одного измененного systemd .service-файла с шаблоном, и можно было бы запускать как-то так:
И причем здесь хаб «Спам и антиспам»? Вероятно, такие задачи только у спамеров бывают.
systemctl start tor@1
systemctl start tor@2
…И причем здесь хаб «Спам и антиспам»? Вероятно, такие задачи только у спамеров бывают.
Возможно Вам данная тема очень знакома. Были причины использования именно данной связки. Что то вообще не захотело работать. Я ваше решение посмотрю, как говорится, любое мнение бывает полезным. А хаб этот я добавил по сугубо тонким соображениям)
Вероятно, такие задачи только у спамеров бывают.Если к спамерам и парсерам добавить ddos'еров, то, пожалуй, получим полный перечень пользователей такого решения :)
Хорошая статья, спасибо.
А еще тор вполне неплохо контролируется программно+есть готовые решения для http/s трафика поверх тора(по крайней мере, для шарпа и ноды делал такие штуки).
Еще есть небольшой фокус: сам тор поддерживает смену IP без перезапуска(под виндой управление осуществляется через телнет, на остальных ОС — не в курсе), но, если не ошибаюсь, есть ограничение в 15 секунд между сменой. Обходится простым перезапуском.
А еще тор вполне неплохо контролируется программно+есть готовые решения для http/s трафика поверх тора(по крайней мере, для шарпа и ноды делал такие штуки).
Еще есть небольшой фокус: сам тор поддерживает смену IP без перезапуска(под виндой управление осуществляется через телнет, на остальных ОС — не в курсе), но, если не ошибаюсь, есть ограничение в 15 секунд между сменой. Обходится простым перезапуском.
del
2. PRIVOXY для проксирования запросов (Можно взять nginx, varnish — я взял Privoxy)
Если парсится курлом, то это лишнее ресурсоёмкое звено. К tor'у можно напрямую цепляться через socks.
Есть еще такая штука как Whonix, скачивается готовая виртуальная машина, запускается, на ПК адрес машины прописывается в качестве шлюза и всё :) Удобство такого решения — можно всю домашнюю сеть без труда направить через тор. Ну или мешок виртуальных машин занимающихся парсингом или еще чего :)
Если вы везде открывает ControlPort, то не надо ли включать аутентификацию для него? HashedControlPassword или CookieAuthentication.
## If you enable the controlport, be sure to enable one of these
## authentication methods, to prevent attackers from accessing it.
#HashedControlPassword
#CookieAuthentication
Прослушивание только с внутреннего IP адреса. Думаю это лишнее
Печально будет, если будет скомпрометирован любой локальный хост, у которого есть доступ к управляющим портам tor.
Кстати, еще момент. Если ставить tor на Ubuntu, то лучше прописать официальные репы и добавить ключи, да бы получить последнюю стабильную версию. Для Debian вроде и так все должно быть ок, хотя репы и для него есть.
Кстати, еще момент. Если ставить tor на Ubuntu, то лучше прописать официальные репы и добавить ключи, да бы получить последнюю стабильную версию. Для Debian вроде и так все должно быть ок, хотя репы и для него есть.
Можно сделать проще. Достаточно добавить в /etc/tor/torrc необходимое количество портов:
Для балансировки использовать haproxy с директивой roundrobin:
SOCKSPort 9050 # Default: Bind to localhost:9050 for local connections.
SOCKSPort 9051
SOCKSPort 9052
SOCKSPort 9053
SOCKSPort 9054
…
Для балансировки использовать haproxy с директивой roundrobin:
…
frontend rotatingproxies
mode tcp
bind *:10101
default_backend torproxies
backend torproxies
mode tcp
balance roundrobin
server proxy1 127.0.0.1:9050
server proxy2 127.0.0.1:9051
server proxy3 127.0.0.1:9052
server proxy4 127.0.0.1:9053
server proxy5 127.0.0.1:9054
…
Дописал скрипт, добавил меню, добавил очистку
Sign up to leave a comment.
Прокси-сервер с помощью Tor. Основа для многопоточного парсинга