Что такое DNSBL и как туда вам не попасть

    DNSBL — это черные списки доменов и IP адресов. Под катом описано, что они собой представляют, за какие заслуги туда можно попасть и чем это чревато. Ну и как оттуда быстренько, в случае чего, выбраться с помощью сервиса мониторинга сайтов ХостТрекер, мы тоже упомянули.



    Даже белые и пушистые сайты нередко оказываются в крайне неприятной компании, а именно в одном списке по соседству со спамерами, мошенниками и попрошайками. И в этом случае это особенно опасно — ибо владелец свято уверен, что его сайт является кладезем мудрости и его можно просматривать без содрогания даже не используя блокиратор рекламы. А значит, узнает он о проблеме, ежели она таки приключится, очень нескоро. А приключится она таки может.
    Пример (случайный бесплатный прокси):



    А если нажать на какую-то из этих ссылок, то можно и найти причину:



    То есть этот почтовый сервер имеет неправильные настройки, или же уже взломан. Понажимав на другие ссылки, можно найти и другие причины: через него уже идет чей-то спам. Почему же могут указываться разные причины? На что именно обращают внимание составители DNSBL?

    Как и почему?


    Итак, в DNSBL попадают доменные имена И/ИЛИ IP адреса. Арендаторы виртуальных хостингов с общим пулом IP адресов уже напряглись, не правда ли? Но непереборчивость хостинга к клиентам и несчастливая звезда, по которой ваш сайт в какой-то момент оказался на одном адресе с принцем Нигерии не единственные причини неприятностей. Списки составляются по таким вот критериям:

    Подозрительная активность почтового сервера. В чем именно подозрительность? Свой список DNSBL может создать каждый, заложив туда наравне с экспертным мнением и опытом все недостатки своего образования и детские обиды. Это может быть просто интенсивность рассылки писем, или что-то более интересное — распределение ее во времени, использование повторяющихся списков рассылки и т.п. Немало хостеров средней руки, предлагающих своим клиентам услуги встроенного почтового сервера, уже давно прописались в таких списках. Поэтому при серьезном подходе к делу использовать эти сервера как раз не рекомендуется.

    Почтовые сервера с неправильной конфигурацией. При том что критерии правильности могут изменяться со временем. Это может быть отсутствие какой-то, по мнению составителя очередного списка DNSBL, важной записи в настройках. Или открытые порты. Или потенциал к наличию уязвимости ОС на данном сервере.

    Жалобы клиентов. Да-да, если вы где-то нажали «пожаловаться», «отписаться» и тому подобное, и даже сразу об этом забыли — вполне возможно, Ваши усилия были не зря. Не говоря уж о гневных письмах хостеру или владельцу сайта. И то, что они как правило на это чихать хотели — как раз практически гарантирует, что обидчик в два клика отправиться на темную сторону без лишних разбирательств.

    Прокси, в особенности позволяющие анонимное использование. Тут тоже у каждого свои критерии. Кто-то просто за анонимность может банить.

    Чего же нам боятся


    Списков DNSBL великое множество. Но некоторые, за годы существования, обрели репутацию и какой-то вес. Главный критерий — практичность. Если список действительно позволяет отфильтровать спам или другие нежелательные действия — разнообразные сервисы начинают его использовать. И последствия могут быть самыми разнообразными — перестают приходить письма или же они автоматически попадают в спам, посетителям выскакивают предостережения о мошенничестве, сайт пропадает из каких-то каталогов, куда он ранее был включен и так далее. Результат, как правило, один — сайт падает в выдаче и теряет часть клиентов. И чем в большем количестве списков он появляется — тем ощутимее эти эффекты. Если косяк серьезный — то дело принимает серьезный оборот, но зато быстро замечается и исправляется. Если же нет, сайт может годами висеть в парочке списков и стабильно что-то терять. Что и в каком случае хуже — дело вкуса. Так что

    Лучше туда вообще не попадать




    Ну или быстро оттуда выбраться если что. Так как гарантии непопадания вам не даст никто. Но можно регулярно проверять эти списки, как бы береженого Бог бережет. И, конечно, можно это делать автоматически. При чем совершенно бесплатно. Ну а для постоянных клиентов есть отдельная функция, которая будет бдеть о светлом имени и адресе сайта на постоянной основе и оповестит вас о случившихся неприятностях.



    Выбираемся из ямы


    Обнаружив попадание, главное отреагировать быстро: чем меньше времени сайт проведет в списке, тем меньше вероятность проблем. Пока никто с этим списком не синхронизировался. Как правило, они позволяют удалить запись автоматически. Просто пройти антиботовую капчу и вежливо кликнуть. Вот здесь просто нужно зайти на определенную страницу с нужного адреса:



    В некоторых случаях нужно написать письмо. Но усилия в любом случае не в пример меньше, чем при ликвидации последствий. Так что тем или иным способом советуем все же держать руку на пульсе. И да, вообще говоря, это все должен делать хостинг. Но… :)

    ХостТрекер разработал эту функцию, когда сам когда-то попал в переплет. Поэтому рекомендуем учиться на наших ошибках. Предложениям и замечаниям, как и всегда, будем рады.
    Метки:
    ХостТрекер 46,97
    Сервис мониторинга доступности сайтов
    Поделиться публикацией
    Похожие публикации
    Комментарии 24
    • +2
      На мой взгляд, от этих блэклистов больше вреда, чем пользы. Причём для компаний, их использующих — они часто не могут получать письма от клиентов. Да, попавшие в ЧС — попали туда не просто так, но далеко не у всех компаний есть квалифицированный специалист, который вообще знает про существование таких списков.

      Помню, было много проблем с ними, когда почту на хостинге держали. Хотя сейчас их не меньше, когда держим на своём сервере, но не с блэклистами хотя бы.

      Кстати, а почему задача хостера — вытаскивать клиента из ЧС?
      И да, вообще говоря, это все должен делать хостинг.
      • +2
        Кстати, а почему задача хостера — вытаскивать клиента из ЧС?

        Скорее всего потому что в случае shared-хостингов в список попадают и другие.
        • +2
          IP адреса принадлежат хостингу. Если за этим не смотреть, то спамер может закрыться/переехать на другой хостинг, а у нового клиента сразу же начнутся проблемы. С которыми он, как Вы правильно заметили, в отсутствии квалифицированного специалиста может и не справиться. Ну и на «соседей» по хостингу это тоже может сразу подействовать.
          • 0
            Немного оффтопа. С телефонными номерами такое же.
            Я купил сим карту новую, а оператор просто взял номер, который раньше использовался и перевыпустил.
            Кто мне только не звонил, с требованиями вернуть долги
            • +2

              Телефонный номер лежит в "отстойнике", если не ошибаюсь, пол года. Через пол года он опять попадает в продажу. Если столкнулись с такой проблемой — меняйте номер. Да, это не бесплатно, но так будет в любом случае лучше. Ключевые слова, которые нужно сказать представителю оператора — "нужен номер без "истории". Да, могут сказать, что они так не умеют, но нужно настаивать. Такая возможность есть!

          • +1
            Отличный повод потратиться уже наконец на квалифицированного специалиста.
            Если с хоста идёт спам или что похуже — значит, надо что-то делать, чтобы это прекратилось.
            А если компания, попавшая в блеклист, из-за этого не может связаться с партнёрами и терпит убытки — тем лучше: будет стимул побыстрее разобраться в ситуации.
            • 0
              Тут замкнутый круг. Как компания поймёт, из-за чего у них проблемы, если нет специалиста, способного в этом разобраться?
              В первую очередь в техподдержку хостера будут писать. И, по идее, как замечено в статье — это их головняк и они должны с этим бороться. Потому что есть клиент, который платит и ожидает оказания качественной услуги. Особенно, если в договоре есть отдельный пункт про услуги почтового сервера.
              • +1
                Вот как раз с помощью этой функции и можно быстро понять. Именно для этого мы и старались. В свое время нам самим такого не хватало, пришлось разбираться. Теперь можно проверить в два клика, а далее уже решать: нужен специалист или не нужен.
                • +2
                  Всё равно нужен первый шаг — осознание, что что-то не так и понимание, в какую сторону копать :)
                  Вы, наверное, прекрасно представляете, что делает обычный пользователь, получивший письмо с отлупом от принимающего сервера?

                  И ещё, я понимаю, что блог корпоративный и Вы продвигаете свой продукт\услуги, но что думаете об этих сервисах:
                  ipremoval.sms.symantec.com/lookup
                  www.talosintelligence.com/reputation_center/lookup
                  • 0
                    Да, на первый взгляд это то же самое. Впрочем, мы в данном случае и не претендуем на уникальность, это действительно просто сделать даже без подобных сервисов, просто нужно немного времени и знать где копать. Подробнее могу написать лишь о нас — проверяем попадание в несколько десятков популярных баз и постоянно актуализируем наш список. Таким образом в два клика делается то, что вручную потребовало бы сто кликов.
          • +3

            Было дело, мой статичный IP, на котором есть в том числе и почтовый сервер, попал в DNSBL Trend Micro просто на том основании, что они посчитали, что блок адресов /24 является "клиентским" (за BRAS-ом). Быстро из него выбраться удалось заполнив форму на сайте блэклистера и указав, что A-запись домена и реверс по IP (in-addr.arpa.) указаны одинаково, что must be для правильной работы почтовиков.

            • 0
              что A-запись домена и реверс по IP (in-addr.arpa.) указаны одинаково, что must be для правильной работы почтовиков

              Это не так, а с учётом дефецита IP-адресов даже хуже блокировки по RBL:
              An SMTP server MAY verify that the domain name argument in the EHLO command actually corresponds to the IP address of the client.
              However, if the verification fails, the server MUST NOT refuse to accept a message on that basis.
              tools.ietf.org/html/rfc5321#section-4.1.4
              • +1

                Я согласен, что IP адресов осталось мало, но для почтового сервера без IP в любом случае не обойтись… Совершенно не обязательно для каждого домена иметь свой IP (может я в этом и не прав). У меня на одном IP 3-и домена и все 3-и с почтой. В моем случае было достаточно написать с того домена, который указан в реверсе (указан естественно один).


                А все меры борьбы со спамом MAY проверять что угодно и делается это на усмотрение сисадмина. До момента, когда технологии DKIM и DMARC (или им подобные) не станут "промышленным стандартом", я не готов отказаться от DNSBL и от других фильтров (в том числе и блокировка по нерезолву реверса). Пока доля reject-ов по "DMARC policy" крайне мала. Если что-то действительно полезное массово начнет попадать в блок, то я предпочту добавить это что-то в whitelist.

                • 0
                  У SPF должен быть приоритет, но моё сообщение больше про баннер и ehlo, которые невозможно сделать корректными с несколькими провайдерами без PI.

                  SA при несовпадении добавляет несколько баллов и mail-tester не считает это криминалом, однако тот же Office 365 банит после пары писем несмотря на DKIM, DMARC и SPF.
                  • 0
                    но моё сообщение больше про баннер и ehlo, которые невозможно сделать корректными с несколькими провайдерами без PI.

                    Ok


                    Если бы все использовали DKIM и SPF+DMARC (на полный запрет), то сеть стала бы куда чище...

            • 0
              В 2017 году кто-то еще держит свой почтовик? Зачем? Есть же гугл и яндекс.
              • +1

                2011 год. Собирал NAS-ик на 6 хардиков. По цене получилось с хардиками, как просто nas-ик без хардиков. Поставил ubuntu 10.04 LTS. В том же 2011 году от нечего делать вкрутил в него postfix, dovecot, sa, amavis, clamav и roundcube с плагинчиками и ssl сертификатиком. С тех пор и фурыкает с периодическими обновлениями.

                • 0
                  Читаем так — оверквалифай специалист не мог продать свое время и от нечего делать и энтузиазма собрал вот такое. Еще куча железа. Рыночная цена — очень дорого. PDD от Яндекс — бесплатно, с администрированием справится опытный юзер.
                  • +1

                    Спасибо за комплимент!
                    Мое рабочее время продано не плохо (так мне самому кажется). Домашняя конструкция — это мое хобби (под сериальчик и пивко). Она дает возможность не забыть любимый vi, не выпасть из сетевых и unix технологий и позволяет использовать этот бэкграунд и для вполне рабочих вещей. По мне так границы между различными ветками unix стерлись на столько, что я уже перестал вникать что «под капотом» и как оно стартует. Так сложилось, что большинство телеком коробок многих известных вендоров (да и домашних коробок, таких как WiFi-роутеров и «пластиковых» медиаплееров) используют один из *nix-ов. В них по-прежнему в полный рост используется tshark для ловли пакетов и сопутствующие технологии для добывания трассировок. А технология DNS, разработанная «при царе Горохе», нашла применение и в IMS-е в виде ENUM. Так, что все, что ни делается в познавательных целях, не пропадает напрасно. Деньги на железо не на столько велики, что стоит из-за них переживать. Железо до сих пор в работе...

                • +1
                  Затем, что Гуголь и Яндекс вам ничего не должны, и могут вырубить ваш акк когда захотят. Очень много уже примеров этого, включая статьи тут, на Хабре.

                  Пользуюсь своим меил-сервером примерно с 2008-го, ни о чём не жалею. Кроме того, там теперь nextcloud установлен, туда синкаются контакты и календарь. Гуголь используется только для загрузки некоторых приложений из маркета.
                • 0
                  «Итак, в DNSBL попадают доменные имена И/ИЛИ IP адреса»
                  А можно привести пример DNSBL, который блочит по доменным именам?
                  Это же каким уровнем интеллекта надо обладать, чтобы такой бессмысленный BL использовать (да и создавать тоже).
                  • +1
                    > А можно привести пример DNSBL, который блочит по доменным именам?
                    uribl.com, www.spamhaus.org/dbl и ему подобные. Советую, довольно эффективно режут всякий спам который норовит пролезть через amazonses, sendgrid, и прочих «профессионалов»…
                    • +1
                      А где именно проверяется доменное имя? Неужели в mail from:?
                      • 0
                        Обычно в везде (в теле и в шапке) — в общем случае «спамерский» домен может появиться в обычном письме только в каких то экзотичных обстоятельствах — какая-либо дискуссия типа обсуждения между специалистами по анти-спаму. Но последние прекрасно знают как решать подобные неудобства… Во всех остальных случаях это и будет спам. В список в общем случае вносят домены/урлы на которые спамеры заманивают пользователей (ссылки в письме)

                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                  Самое читаемое