Что можно узнать о квартире из открытых справочников



    Госструктуры выкладывают в интернет справочники с десятками гигабайтов информации. Если знать где искать, можно легально собрать данные о квартирах в промышленных масштабах.

    Базы с индексами и районами городов тоже открыты. Бонусом я расскажу, как найти эти части адреса, если их не хватает.

    Все справочники из этой статьи бесплатны и открыто лежат в интернете. Ни один не украли из ФСБ таинственные хакеры.

    Существует ли жилье


    Когда отправляешь клиенту письмо или пиццу, полезно проверить, если ли квартира. Обидно отдавать деньги за недошедшее письмо или впустую гонять курьера.

    База данных Центризбиркома — простой для понимания справочник, по которому можно проверить существование квартиры.

    По задумке база ЦИК нужна, чтобы каждый гражданин мог узнать свой избирательный участок. Для нас же главное, что в ней есть адреса вплоть до квартир.

    Онлайн-версия базы ЦИК похожа на «Проводник» в старых версиях Windows

    У базы есть недостаток: в ней хранятся только квартиры, где прописаны граждане России с избирательным правом.

    Еще один минус — скорость спайдеринга. База хостится на очень медленных серверах, поэтому качать данные придется неделями: крупный город без области загружается сутки. При этом можно запустить спайдер, прийти на следующий день и увидеть, что сбор прервался из-за изменений в структуре базы.

    Вроде бы идеальная альтернатива — государственный адресный реестр ФИАС, о котором мы писали в других статьях. По документации в нем есть адреса до квартиры, а еще он доступен в .dbf. Проблема одна: таблица с квартирами в ФИАС почти пуста: согласно ФИАС, в Москве около 70 000 квартир. Жилых домов лишь немногим меньше.

    Куда лучше ФИАС для проверки квартиры подойдут данные Фонда государственной кадастровой оценки. Об этом справочнике мы расскажем в разделе «Площадь».

    Почтовый индекс


    Индекс адресата нужно проверять перед любым отправлением, иначе посылка может уйти не туда. Замдиректора Тюменского филиала Почты сокрушается: «Почти 30% <…> отправлений, а это около 6 миллионов единиц, приходят с неверным индексом, и мы либо возвращаем обратно корреспонденцию, либо она уходит по другому адресу...».

    Найти или проверить индекс можно в базе Почты России, ее выкладывают на странице http://vinfo.russianpost.ru/database/ops.html в .dbf-формате. Данные обновляют дважды в месяц.

    В базе Почты нет приближения до улицы или дома, только населенный пункт и список индексов. Для нас этого достаточно: если индекс до населенного пункта правильный, пересылка в нужное отделение отсрочит доставку всего на 2–3 дня.

    Например, клиент оставил адрес «683000, г. Нижний Новгород, ул...». База Почты говорит, что такого индекса в Нижнем нет, а отделения 683xxx находятся в Петропавловске-Камчатском. Клиент ошибся скорее в цифрах, чем в названии города, поэтому хорошее решение — загрузить из базы Почты индексы Нижнего Новгорода и подставить в адрес минимальный 603000. Так посылка придет в нужный город, не путешествуя по стране месяцами.

    Как подключить базу индексов Почты России, уже писал Envek, вы найдете подробности в его статье.

    Район города


    Районы нужны риелторам, чтобы группировать квартиры для продажи и аренды. К району удобно привязать стоимость доставки внутри города.

    Городской район редко указывают в адресе: не прижилось. При этом знать, в каком районе находится дом, иногда полезно.

    Искать район по адресу удобно в базе ЦИК, о которой мы говорили в первом разделе. В ней есть дома и квартиры, поэтому вы получите точный результат. Проблемы тоже никуда не делись: в базе не хватает квартир и домов, а на спайдеринг уходят недели.

    Быстрое решение для поиска района — ОКАТО (Общероссийский классификатор объектов административно-территориального деления). В этом колоссальном документе расписана структура административного деления России от субъекта федерации до улицы. Домов в справочнике нет.

    ОКАТО лежит в виде готовой базы данных на сайте ГНИВЦ ФНС. Для любителей поспайдерить есть еще текстовый вариант в «КонсультантПлюсе». Там же подробно описана структура справочника.

    Так, начиная с районов Алтайского края, ОКАТО описывает всю структуру административного подчинения страны

    Парсинг справочника даст базу внутригородских районов с подчиненными улицами.

    Минус ОКАТО — запрос невозможно уточнить с помощью дома. Если улица раскинулась на несколько районов, однозначный результат не получить. В таких случаях база ЦИК сработает лучше.

    ФИАС же, главный адресный справочник страны, для наших целей вовсе не подойдет: там не заполнили районы даже для Москвы.

    Площадь


    По площади считают цену квартиры, фильтруют предложения в базе данных риелторов.

    Площадь жилья есть в открытых данных Фонда государственной кадастровой оценки. Кроме площади в базе кадастровой оценки много интересного: по правилам любое здание и помещение в России должно быть оценено по кадастровой стоимости, материалам, этажности и т. д. Также данные кадастровой оценки используют, чтобы проверить существование квартиры.

    Базы данных кадастровой оценки скачивают на сайте Росреестра.

    Нас интересует пункт «Отчеты об определении кадастровой стоимости»

    Отчеты разделены по регионам и загружать их придется отдельно. Для каждого региона доступно несколько отчетов.

    Площади квартир хранятся в отчете с помещениями, сооружениями, объектами незавершенного строительства и зданиями

    Большинство отчетов датировано 2011–2014 годом, но других других данных у государства для нас нет. Спасибо и на том.

    Скачивать отчеты — отдельное «удовольствие»: архив с файлами по республике Марий Эл «весит» всего 1,5 гигабайта, но с сайта Росреестра скачивался пять часов.

    Внутри архива Росреестра сотни xml-файлов с параметрами квартир и домов: площадями, кадастровыми номерами, идентификаторами КЛАДР, кодами ОКАТО, материалами, из которых построены дома

    Парсинг кадастрового отчета — особая тема, которая заслуживает большой статьи. Когда-нибудь мы ее напишем, а пока — описание XML-схемы отчетов на сайте Росреестра.

    Примерная стоимость


    Стоимость жилья используют банки, чтобы оценивать достаток заемщиков.

    Когда есть площадь, для подсчета стоимости жилья не хватает только цены квадратного метра. Цену «квадрата» в доме ищут на сайтах объявлений: irr.ru, avito.ru, cian.ru. Объявление подходит, если в нем есть адрес дома, стоимость и площадь.

    Рецепта для быстрого накопления базы нет: объявления нужно собирать регулярно и чем дольше, тем лучше. Только так можно добиться сколько-нибудь хорошего покрытия по адресам. Правда, и через несколько лет в маленьких городах, поселках, деревнях будут белые пятна.

    Чтобы регулярно получать объявления, лучше договориться с площадкой: написать владельцам и предложить сотрудничество.

    Если площадка отказала, остается спайдерить. Нужно морально подготовиться к тому, что сайты объявлений постоянно меняют верстку и спайдер придется переписывать перед каждым запуском.

    Что нельзя узнать легально


    Некоторые данные можно получить только нарушив закон. Обычно продавцы нелегальной информации просто врут, предлагая набор несвязанных таблиц под видом секретной базы МВД.

    В открытом доступе нет и быть не может:

    • списка людей, прописанных в квартире или доме;
    • паспортных данных жильцов;
    • но́мера домашнего телефона.

    Максимум, что можно узнать про телефон: проверить соответствие номера населенному пункту по плану нумерации (есть на официальном сайте Россвязи в .csv).

    Проблемы открытых источников


    В каждом пункте про каждый справочник я писал «есть проблема», «то еще удовольствие», «нужно перепроверить». Все это потому, что официальные государственные реестры составлены криво.

    Например, так наш разработчик оценил базу кадастровой оценки по Краснодарскому краю: «Номер квартиры не в поле apartments, а в поле name. В поле city много сельских округов, которые не парсятся (около 40%). Из 55885 домов с квартирами в итоговую выборку попали 25483».

    Привести к продакшн-виду хоть ФИАС, хоть базу ЦИК, хоть отчет кадастровой оценки — задача для располагающего свободным временем человека с крепкими нервами. Мы ели эту соленую кашу килограммами, когда делали «Дадату». Чтобы не биться с кривыми справочниками, попробуйте наше API.

    Один запрос к API «Дадаты» стоит 10 копеек, зато мы уже прошли семь кругов парсинга справочников и следим за всем, что государство выкладывает в открытый доступ
    Метки:
    HFLabs 35,83
    Качество и интеграция клиентских данных
    Поделиться публикацией
    Комментарии 24
    • +2
      Ещё в открытом доступе находится информация о собственниках помещения (платная выписка из Росреестра).
      • 0
        Поскольку выписка платная, решили про эту базу не писать. Через нее удобно получать данные о конкретном помещении, мы же замахнулись на глобальные масштабы :).

        Спасибо за комментарий!
        • 0
          Всё же хочется, чтобы данные подтягивались и оттуда. Пусть даже и за повышенную плату.
          • 0

            А как бы вы стали использовать эту информацию?

            • 0
              Например для организации общего собрания собственников многоквартирного дома (для выборов управляющей организации, например). Для организации общего собрания жителей многоквартирного дома (для выборов в ТОС, например). Для проверки сведений в поддельных протоколах общих собраний, изготовленных мошенниками. И так далее и тому подобное…
      • 0

        Справочники ОКАТО и ОКТМО есть в машиночитаемом виде на сайте ГНИВЦ ФНС.

        • 0
          На сайте Росстата данные актуальнее: ОКТМО и ОКАТО.
          • 0
            Похоже на правду:
            ГНИВЦ пишет, что ОКАТО и ОКТМО от 1 марта 2017, и только одна версия есть.

            У Росстата есть оба справочника и за май, и за август, да ещё и предыдущие версии можно скачать.
            А вот за март не было выгрузки, странно, что за данные у ГНИВЦ?

            Кто вообще владелец ОКТМО и ОКАТО?
            • 0
              См. пока действующее приложение к пост. Правительства от 10.11.2003 N677, за оба ответственный Росстат.
        • +15

          Offtop: кривые рамки вокруг иллюстраций (особенно левая) ломают мозг :( Но определенно здорово, что они есть вообще.

          • +1
            Спасибо за отзыв! Мы экспериментируем с оформлением.
            • 0
              Похоже на облако речи; ими (криво и косо) с нами разговаривает государство.
            • 0
              Почему же в данных нет КЛАДРа?
              • +2
                В ФИАС уже есть всё, что когда-то было в КЛАДР. К тому же последний с 1 января признан мертвым, а о них или хорошо, или никак :)
              • +2
                ух ты, скриншоты с мылом всего на 4 шакала!
                • 0
                  Вброшу свои 5 копеек. Еще можно узнать(правда сейчас уже большая часть информации неактуальна) из телефонных справочников ФИО лица на который зарегистрирован телефон по данному адресу (если есть). Другой вопрос, что я не уверен насколько это сейчас легально.
                • +1
                  Здесь еще можно узнать (бесплатно) заложена ли квартира, сколько собственников, этаж, площадь и т.д.
                  rosreestr.ru/wps/portal/online_request
                  Внезапно, сам из Марий Эл.
                  • 0
                    хм… По моей квартире dadata показывает площадь более чем в 2 (!) раза большую реальной. И по ссылке с точными координатами (тыц) выводит яндекс карту, на которой показан под номером моего дома рядом стоящий магазин, а номер моего дома показан 48 (а такого номера нет в никаких справочниках).
                    Так что — в справочниках каша, муть и мрак, и верить им нельзя. И автоматические решения нужно дополнять поиском вручную.
                    В своё время я на народной карте яндекса много правок внёс, их потом внесли в основную. Но как-то по-своему они это всё обработали — что-то внесли, что-то откорректировали, а что-то оставили как было. Хорошо хоть сейчас правки вносят более оперативно — достаточно исправить, и через пару недель будет на основной карте. В отличие от всяких официальных справочников.
                    • +1
                      Иногда «Яндекс» путает номера домов, проблема известная. А с неправильной площадью квартиры без входного адреса, к сожалению, не разобраться (хотя самим интересно).

                      Какой-то процент ошибок в справочниках есть, но с такими данными лучше, чем вовсе без них :).
                    • 0
                      было бы хорошо чтобы ваш сервис давал данные по языку запросов graphql
                    • 0
                      У нас управляющая компания принимает показания приборов учёта через интернет. Вбиваешь номер счёта — оказываешься на страничке, где указан адрес, фамилия ответственного квартиросъёмщика и показания счётчиков электроэнергии и горячей воды за прошлый месяц. При регистрации е-мейла можно узнать расходы за другие месяцы.
                      Год назад была попытка ввести защиту паролем, но, видимо, для жильцов это оказалось сложной задачей, и от парольной защиты отказались.
                      • 0
                        Я в Приватбанке указал квартиру которую снимаю… теперь вижу как коммуналку хозяева оплачивают.

                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                      Самое читаемое