IP-адреса зоны RU/SU

Привет, Хабр!
Год назад у меня зачесались руки появилась идея установить соответствие каждого доменного имени в RU и его IP.
Что и было сделано, сканировалось это всё почти 2 недели.

Прежде всего, родился вот этот html-недодокумент.
Из него стало понятно, сколько доменов размещают провайдеры на 1 IP.
Также можно было посмотреть, какие все-таки бяки размещаются на сервере того или иного провайдера.

Но прошел год, мне захотелось вернуться к данной теме.
Я переписал скрипты на работу в несколько потоков и закончил сканирование зон RU и SU за 2 суток.

Не буду перегружать текст лишними буквами, только цифры:
Поиск доменов по IP (RU по состоянию на январь2009 и февраль 2010; SU — февраль 2010): mirror.serverstat.ru; 2-ая ссылка (тормозит)
Топ IP-адресов в формате IP: кол-во доменов: Имя_сервра(по PTR-rr) для тех же зон и периодов: ссылка #1; #2

Надеюсь, данная информация поможет Вам сделать интересные выводы и ими поделиться.

В процессе написания поста возникала идея: А сколько IP имеет среднестатистический сайт?
Ответ(справа кол-во сайтов, слева кол-во IP)
mysql> select ipcnt,count(ipcnt) from `ru` group by ipcnt order by ipcnt desc;  
+-------+--------------+
| ipcnt | count(ipcnt) |
+-------+--------------+
|    22 |            1 |
|    21 |            1 |
|    17 |            1 |
|    16 |            1 |
|    15 |            7 |
|    13 |            2 |
|    10 |            3 |
|     9 |            9 |
|     8 |            8 |
|     7 |            9 |
|     6 |         1318 |
|     5 |          500 |
|     4 |         5756 |
|     3 |          713 |
|     2 |       125869 |
|     1 |      1893165 |
|     0 |       605791 |
+-------+--------------+
17 rows in set (1.84 sec)



В базе кроме IP также имеется информация о дате создания домена и регистраторе (для RU на 2 момента: конец января 2009 и середина февраля 2010; для SU только на последний), если Вы хотите получить какую-либо выборку на основе данной информации интересную для сообщества, пожалуйста пишите в комментарии и мой хабраящик, при наличии возможности, с радостью предоставлю.

PS по поводу интерфейса serverstat.ru прошу не бить. Он создан только для доступа к данной информации.
+53
21 февраля 2010, 23:09
25
la0 13,7

комментарии (101)

+6
Hest #
хороший инструментал для хакеров
0
la0 #
хм. чем это?
+9
Hest #
если на сайте нету уязвимости, то она ищется на соседних сайтах
+1
la0 #
ну большинства провайдеров open_basedir указан, всё выполняется от разных пользователей.
Не думаю, что это актуально
+11
butuzov #
не думайте, так действительно легче.
+1
RuslanZavackiy #
open_basedir не является какой-либо защитой… и обходится довольно легко, на эту тему есть много статей;)
+4
init_sub #
Что-то никак не могу найти open_basedir в своем settings.py :)
+1
DIDJER #
Таких инструментов по интернету очень много по запросу у google ( «сайты на одном ip» ) можно найти кучу сервисов который показывают вам соседние сайты.
+1
onthefly #
зачем искать инструменты, если с этим прекрасно справляется один из поисковиков?
0
DIDJER #
ну или так, я для примера так сказать.
–3
kpcp #
кроме хабра это «один из поисковиков» что нибудь найти в состоянии?
+1
DIDJER #
Вводите интересующий вас IP и ищите. IP по ссылке принадлежит серверу habrahabr поэтому он и выдаёт всё, что по нему у него ( поисковика ) есть.
+2
ekzo #
а что, к примеру, можно делать таким интрументалом?
–2
ilya_compman #
искать уязвимые сайты, находить бреши и получать доступ к файловой системе, а оттуда — к целевому сайту
+10
tovarisch #
BING позволяет получить информацию о доменах на IP-адресе "IP:xxx.xxx.xxx.xxx"
+2
Chikey #
Ага, попробуйте IP:127.0.0.1
Последний раз когда проверял там были шлюхи без блэкджэка
0
Zubchick #
www.bing.com/search?q=IP:192.168.0.1&go=&form=QBLH&filt=all Ыть :)
0
Zubchick #
Ах, тыж емае :)
goo.gl/VDrV — правильная ссылка
0
XeNum #
Но он ищет только по тем доменам, что проиндексировал. Да и зеркала в нем не найдешь. Так что от сервиса есть польза.
+3
tovarisch #
Интересно узнать IP-рекордсмен по количеству доменов на нем.
+3
la0 #
+3
tovarisch #
Супер! Сколько же у нас доменов не делегированных и на парковке — ужас.
+1
Shtorkin #
Ну, в эту статистику неделегированные не входят…
0
tovarisch #
Разве 0.0.0.0 не значит что домен не делегирован? А отсутствие PTR это как бы следствие.
0
la0 #
опередили :)
0
la0 #
Входят, 0.0.0.0.
Вполне логично, как мне кажется.
+1
Shtorkin #
Действительно, извиняюсь. Кстати, нулевую строчку принял за шапку таблицы…
0
lehha #
чёрт, только 29 место :(
0
GeraSera #
Тут говорят, что 10 млн на одном IP:
www.webboar.com/ip/68.178.232.100
+1
kuzvac #
Это godaddy.com, походу дела.
0
g0dlike #
Чисто интересно, как это реализовано.
Насколько я знаю реализацию протокола TCP/IP.
Каждый юзверь инициализирует пару: {user_ip}:{user_port}<-->{server_ip}:{server_port}
Так вот, если бы было 10млн доменов на этом ip, и если бы хотя бы на 1/10 от них был 1 коннект в секунду, то портов банально не хватает. Как они это реализовали?
0
la0 #
Anycast; HA; LB — возможно все вместе, а возможно и по отдельности.
0
init_sub #
А как anycast поможет в вопросе нехватки портов, если это вообще из области роутинга?
0
g0dlike #
А, туплю, уже все понял=)
Спать надо было больше.
Ключ — к 1-му порту может быть несколько соединений, а сам порт. собственно — 80 =)
+1
alekciy #
К портам это не имеет ни какого отношения (если понимать это буквально). server_port в контексте веб сервера всегда будет 80-ый (ну и 443-ий). Тут скорее упрешься в сокетные ограничение и ресурсы сервера (таже ОЗУ).
0
ivanzoid #
В HTTP 1.1 имя сервера передаётся в запросе, и веб-сервер уже по нему определяет, какой сайт отдавать. Поэтому на одной машине на одном единственном 80-м порту может висеть много-много сайтов.
С другими сервисами наверно действительно могут возникнуть проблемы, или нужно изобретать что-то аналогичное технике http 1.1 ☺
+2
z130 #
в годы оны для системы интернет-статистики пришлось обрабатывать базу принадлежности ip-сетей по странам
фишка была в том, что из больших диапазонов одной организации нарезаны меньшие диапазоны для другой и т.д. — доходили до 6-го уровня вложенности

sql-запрос на нормализацию работал 2-е суток
–3
VBart #
+8
la0 #
От инъекций закрыто xD
А ЧСВ забавить можете как угодно.
+1
VBart #
а от xss нет
0
VBart #
а от xss — нет
+1
la0 #
там воровать нечего по xss
Вы всерьез думаете, что те для кого, предназначен этот эээ… интерфейс не увидят в GET XSS?
+2
borisko #
+2
la0 #
DNS, судя по всему гуглокеш.
По #2 (убрать mirror из имени) должно работать
Верный IP mirror 88.198.30.3

dig +short mirror.serverstat.ru @8.8.8.8
72.233.33.123
dig +short mirror.serverstat.ru
72.233.33.123
dig +short mirror.serverstat.ru @ns1.domenus.ru
88.198.30.3
0
la0 #
кеши обновились
+2
alexeym #
хм, а как вы это сделали?
получили список всех доменов в ru/su?
+4
la0 #
Договор с дьяволом руцентром.
+1
alexeym #
понято, вот что-то не могу найти такую же возможность добыть список зоны ua
0
butuzov #
как мне известно таких баз всего несколько (имею ввиду болье мене обемных) started, freename, deleted, и еще одна… это из тех о которых известно.

домены не указываю, что не рекламировать.
0
mstyura #
Может быть, вот он, список зоны ua? или вот?
0
ArjLover #
Договор о чем?
+1
la0 #
Договор (такая бумажка с 2 подписями и печатью) о предоставлении доступа к спискам доменных имен
0
ArjLover #
и по какому поводу и с кем заключается этот договор?
0
la0 #
Что значит по какому поводу?
С руцентром договор (nic.ru)
0
ArjLover #
Тяжело идет диалог. :)
Можно по пунктам инструкцию — как получить полный список зоны ru?
0
la0 #
Конечно можно.
1) зайти на nic.ru
2) Убедиться, что вы попали именно туда, куда хотели.
3) заполнить анкету
4) получит номер анкеты(будет номером договора)
5) Распечатать 2 экземпляра договора (будет предложено после заполнения анкеты и получения хендла [0-9]-NIC-REG). Warn: 16 листов каждый
6) Распечатать и заполнить 2 экземпляра доп. соглашения . Ну это намного проще. 2 листа каждый.
7) Оформить со своей стороны (аж целых 4 подписи)
8) каким-либо образом доставить в офис РЦ получившуюся пачку макулатуры (link)

0
ArjLover #
С обычным клиентским договором или даже партнерским все понятно.
Инструкция прервалась на самом интересном месте. Где «полный список зоны ru»? :)
0
la0 #
https://www.nic.ru/downloads/ru_domains.gz?login=xxxx/NIC-REG&password=x
0
ArjLover #
You have not signed the applicable service agreement
Мда, допы требует… :(
0
alekciy #
Для получения такого списка в reg.ru достаточно иметь партнерский статус (http://stat.reg.ru/). А учитывая наличие API статус этот у программера обычно уже есть ;)
0
decanet #
мне кажеться они просто перебором по алфавиту делали, и проверяли через dig наличие домена, если он есть — заносили в базу, нету, ну и черт с ним )
+1
decanet #
ошибся ) сори
+1
Doomsday_nxt #
рег.ру предоставляет своим партнерам доступ к списку доменов (ру и су)… ну и к информации по этим доменам (история, регистраторы и т.п.)
0
alekciy #
Ага и даже без вот это мукулатуры habrahabr.ru/blogs/hosting/85140/#comment_2541285 которая для не живущих в нерезиновой может представлять некоторые проблемы.
0
la0 #
по почте заказным — не?

0
alekciy #
Этот геморой в век безлимитного интернета?! Увольте, я лучше буду иметь дело с более адекватными регистраторами )

Бюрократии у нас в стране и так море, но что бы её еще в IT терпеть… нет уж, увольте.
+3
RedHead #
https://partner.r01.ru/ru_domains.gz
0
kuzvac #
Хм, спасибо, интересный инструмент. Можно его приспособить для подсматривания кол-ва доменов у какой нибудь студии, например)
0
la0 #
Приспосабливайте.
Я не против, если это не будет создавать очевидных неудобств
Более того, если в useragent бота будет написано, что за автоматика долбается, я попытаюсь связаться по предоставленной информации с владельцами. 2 таких случая по предыдущей базе от 2009 года уже были. Люди до сих пор пользуются :)
+3
team_leader #
Ввёл 127.0.0.1 :) Увидел какие сайты хостятся рядом с serverstat.ru :)

serverstat.ru/ru-result2010/127.0.0.1.txt
+1
team_leader #
что-то прон сплошной
0
team_leader #
serverstat.ru/ru-result2010/192.168.0.1.txt

А это доступно через внутреннюю сеть провайдера? :)
IP 192.168.0.1
+1
la0 #
как DNS-ка ответила, так мы и записали.
Все, что скажет DNS-ка может быть использовано против неё при DNS-шторме
:)
+1
la0 #
нет. 127.0.0.1 — так отвечал DNS этих сайтов.
IP берется ТОЛЬКО из ответа DNS (Arr)
Рядом хостится только serverstat.ru/ru-result2010/72.233.33.123.txt
+5
shalomman #
вот ведь фантазия у людей =))

ODNISEXNAKI.RU
ODNISEXNIKI.RU
ODNISSEKSOM.RU
ODNITRAXNIKIS.RU
ODNOCLASNEKI.RU
ODNOKIASNICI.RU
ODNOKKLLASSNIKIA.RU
ODNOKKLLASSNIKIE.RU
ODNOKKLLASSNIKIS.RU
ODNOKKLLASSNIKIZ.RU
ODNOKLASNIKC.RU
ODNOKLLLASNIK.RU
ODNOKLLLASSNIKI.RU
ODNOSEKCNIKI.RU
ODNOSER.RU
ODNOSEXEX.RU
ODNOSEXNICIS.RU
ODNOSEXTY.RU
ODNOSEXY.RU
ODNOTARAXNIKI.RU
ODNOTARAXNIKIS.RU
ODNOTRAHNIKIS.RU
ODNOTRAXNIKIS.RU
ODNOYSEXNIKI.RU
0
bimcom #
ODNOTARAXNIKI.RU
на днях на одном из форумов предлагали на оценку)
0
5ap #
Так держать!
P.S. Такое было бы интересно самому сделать =)
+1
lol2Fast4U #
Пробил 195.9.14.128, увидел чуть меньше, чем вижу по sftp -> есть на самом деле… И только потом понял, что там не все .ru :)
0
damnet #
www.rukv.ru/
Я думаю тоже интересно посмотреть )
0
Could #
Спасибо за статистику!
0
lostmsu #
Web Of Trust на Ваш сайт ругается.
Впрочем, я его проигнорировал. Спасибо за труд!
0
mobilz #
habrahabr.ru/blogs/startup/51269/
как-то делали то же самое, разве что база обновлялась ежедневно, софт успевал просканировать все домены рунета/сунета часов за 6-8. Собиралась стата не только по ip, но и ns, mx записям итп. Однако с нагрузкой не справились. Софт жрал трафик и забивал канал, пришлось остановить проект.
+1
thanatos #
А, вона чё. Жаль. А я, порой, пользовался. Ну, спасибо что были.

Я вот думаю нет смысла постоянно базу обновлять. Думаю, раза в одну — две недели было бы достаточно. Может оптимизировать в этом ключе и нагрузка спадёт?
А то уж больно толковая вещь была. Эх…
0
allein #
У меня WOT ругается на serverstat.ru/, что у этого сайта плохая репутация. :)
Пруф.
0
la0 #
Я не в курсе, почему оно туда попадает.
Я когда-то сам использовал wot, но после того, как он редлистил много вполне нормальных сайтов, я понял, что он мягко говоря работает как-то не так.
Указанного контента на этом домене никогда не было. И не будет.
0
Tsukanov #
Вот тут отзывы → www.mywot.com/ru/scorecard/serverstat.ru
0
la0 #
Ничего такого не было и нету.
0
Tsukanov #
Я и не сомневаюсь.
0
alekciy #
Если не секрет, на чем написан граббер?
+1
la0 #
bash+php
0
alekciy #
)))
Вот у вашего провайдера то DNS кэш забился )))
0
la0 #
serverstat.ru/ должен работать. там ничего давно не менялось.
я добавил mirror так как он производительнее, а первый тормозил.
+1
dkball #
Не стоит забывать еще и про 1stat.ru/ — там есть намного больше статистики, включая указанную.
0
la0 #
хотя 1stat конечно же рулит.
0
la0 #
Пробил IP вебсервера, далеко не всё…
Если бы там было, я бы и не начинал данные действия
0
pvasili #
вот этот -> 404
вы бы домен «родили», потом писали…
0
la0 #
проверил с 3 происки. Работает вполне верно.
Это происки кеша гуглоDNS.
Вы бы пост до конца дочитали, а потом писали.
Специально для этого приведено 2 ссылки.
–1
aborche #
сколько доменов было обследовано?
есть ли список откуда можно зацепить реальные существующие домены (не перебором) для прогона их по каталогизатору?
0
la0 #
Более 2.6 мегадоменов :)
Про список есть выше. С инструкцией
(http://habrahabr.ru/blogs/hosting/85140/#comment_2541285)
0
DZVlad #
Ваш скрипт не отображает количество .net.ru .msk.ru и иже с ними доменов.
0
la0 #
а где можно взять их список?

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.