Пользователь
0,0
рейтинг
23 сентября 2014 в 20:55

Разработка → Поиск жилья без посредников в 21-м веке

Полагаю, все мы однажды искали себе жилье. Кто-то — в собственность, большинство, вероятно, в аренду. Все, кто хоть раз пытался найти реальные предложения на досках объявлений, знают — это нереально. Такого количества спама нет, пожалуй, ни в одной другой сфере. После того, как окунешься в этот ад, обычно руки начинают чесаться применить свою IT-шность на благо ближнему. Результатом для меня стал проект Sobnik, о котором я и хочу рассказать.

Sobnik — это плагин для Chrome, который помечает посредников на досках объявлений. Пока работает только с Avito.ru, в ближайшем будущем я добавлю Irr.ru и другие крупные доски. Всех, кто сидит на чемоданах и кому не терпится попробовать, прошу в Google Web Store. Под катом я расскажу о технической стороне проекта, о его перспективах и о моих наблюдениях за противником посредниками. Любители критиковать чужой JS-код также велкам, исходник клиентской части плагина доступен на github.


Для любителей точности уточняю: формально, Sobnik это «расширение», а не плагин, но уж больно я к последнему термину привык.

Зачем все это?


«Польза обществу», надеюсь, очевидна, поэтому сразу перейду к вопросу «зачем это лично мне». Столкнувшись в последний раз с поиском жилья, наплевавшись на спам, которым заполнен Интернет, насмотревшись на изобретательных риэлторов, я ощутил прямо таки укол совести. Как никак корабли уже бороздят просторы 21-го века, неужели мы, Программисты, не способны справиться с жалкими спамерами?

Поразмыслив, я рискнул предположить, что способны. Просмотра нескольких сотен объявлений было достаточно, чтобы понять — посредников выявить легко. Либо по содержанию объявления, слишком подозрительному или очевидно агентскому, либо по наличию множества предложений с одним и тем же номером телефона. Оставалось выбрать технологии, на основе которых эту идею можно было проверить — объявления нужно было распарсить, куда-то сохранить, и проанализировать. В качестве парсера я выбрал Google Chrome — для доступа ко всей нужной информации на досках объявлений требуется полноценный браузерный движок с работающим JavaScript-ом. Для серверных дел решил попробовать Go и MongoDB. Все три вещи были для меня в новинку, так что это была отличная возможность расширить горизонты и освоить что-то новое. В итоге получился Sobnik.

Как выявить агентов?


На первый взгляд — довольно просто. Доступным и достоверным индикатором служит номер телефона, на который дано множество объявлений. Ведь не станет же агент покупать под каждое объявление новую сим-карту! Кроме того, некоторые объявления содержат прямые упоминания что автор риэлтор и хочет комиссию. В теории оно конечно просто, на практике пришлось решать множество мелких вопросов:
  1. Авито и многие другие доски публикуют номер телефона в виде изображения, соответственно — номер приходится распознавать.
  2. Агенты активно прячут свои реальные телефоны. Телефон указывают в тексте объявления, словами, буквами, спецсимволами. Всю эту маскировку приходится выявлять и вскрывать.
  3. Некоторые собственники дают много объявлений на одну и ту же квартиру. Чтобы не зачислить их в риэлторы, приходится выяснять, о разных объектах идет речь в разных объявлениях, или об одном и том же. Связываться с распознаванием адресов я не стал, использую готовые географические координаты, доступные на многих досках.
  4. Самые продвинутые посредники рисуют свои реальные номера телефонов на фотографиях квартир. Таких товарищей сложнее всего выявить. Я не нашел надежного и легкого в применении OCR решения, способного распознавать номера на фотках. Пришлось покумекать и родить простой алгоритм, определяющий, есть ли на фото какой-либо текст, и такие объявления считать агентскими.
  5. В тексте объявления часто есть прямое упоминание о том, что автор — агент. Однако, поскольку компьютеры пока не научились понимать речь, надежного метода для полноценного использования этой информации я не придумал. Пока обошелся обнаружением некоторых наиболее распространенных и недвусмысленных фраз, благо этот критерий лишь дополняет основной детектор по номерам телефонов.

Использование этих приемов позволяет автоматически выявлять большую часть посредников. Вот так выглядит Авито во время активности спамеров (красные и зеленые кружочки — результат работы Sobnik-а):
image

Техническая сторона проекта


Плагин написан на JavaScript, поскольку функционала API Хрома вполне достаточно для поставленных целей. Единственная сложность была с получением изображения номера телефона. Дело в том, что Avito отдает его только для запросов с правильным Referer-ом. В браузере подделать этот заголовок возможности нет, а получить данные изображения, загруженного страницей Avito, не дает Cross-Origin Policy. Оказалось, что эту защиту легко обойти — я сохраняю страницу в формате MHTML через соответствующий API, а затем из полученной строки вырезаю нужный мне кусок, содержащий изображение в base64-кодировке. Таким же методом получаю доступ и к фотографиям квартир.

Далее, информация отправляется на сервер, где работает программа на Go. На самом деле две программы — все запросы выполняются асинхронно, одна программа пишет все запросы в очередь, вторая программа эти запросы обрабатывает. В клиентскую часть встроена логика по замедлению потока обращений к серверу в случае, если тот не успевает выполнять запросы вовремя. Такой подход позволит сгладить скачки нагрузки (очень надеюсь, что сегодня они возникнут). Данные хранятся в MongoDB.

Все это хозяйство я разместил на Amazon AWS (еще одна штука, которую хотел попробовать). Пока «Free Tier» вполне хватает, так что за хостинг не плачу.

Серверный API доступен публично, никакой авторизации. Подозреваю, что найдутся желающие побаловаться и напакостить, так что в ближайших планах — внедрить кое-какую защиту. В конечном счете почти наверняка приду к регистрации пользователей плагина, но пока не хочу добавлять лишних барьеров для желающих попробовать.

Исходный текст плагина открыт. Во-первых, все равно его не скроешь. Во-вторых, сразу видно какую именно информацию собирает плагин, так что у понимающих людей не будет вопросов касаемо приватности. Ну и, наконец, вдруг однажды появятся энтузиасты, желающие поучаствовать в разработке.

Централизованного краулера для сбора данных нет. Во-первых, Авито отрубает IP-шники, которые открывают порядка пары сотен страниц в час. Во-вторых, я надеюсь, что когда пользователей станет много, получится распределенный краулер — каждый откроет по паре объявлений, вот и наполнилась база. Однако, пока активных пользователей нет — база пуста. Основная польза от плагина в том, что не надо открывать агентские объявления, а если в базе пусто — то открывать придется все подряд. В общем, чтобы придать системе хоть какое-то ускорение, я сделал еще один плагин для внутреннего использования, который тихонько, примерно по страничке в минуту, сканирует на Авито предложения о сдаче квартир в Москве. Успевать за спамерами в пиковые часы не получается, но все же у вас, уважаемый читатель, будет возможность оценить как работает Sobnik: установили, открывайте на Авито вышеуказанный раздел и наслаждайтесь. Буду рад предложениям о том, как наладить сканирование Авито в более серьезных масштабах. Желающим могу выдать плагин для краулинга, если вдруг хотите помочь проекту или посканировать другой город или раздел.

Наблюдения за риэлторами


Запустив сканирование аренды в Москве, я сделал несколько полезных наблюдений. Все они довольно логичны и кажутся очевидными, однако Sobnik позволил их наглядно проверить и подтвердить:
  1. В рабочие дни порядка 80% объявлений принадлежат агентам. Авито, кстати, активно банит очень много объявлений, так что из 30 объявлений в минуту через час остается от силы 10. Однако, из этих десяти все равно подавляющее большинство — посредники.
  2. Поздно вечером (после 10-11 часов), и в выходные — агентов почти нет. Отдыхают видать от тяжелых спамерских будней.
  3. Платные объявления (на Авито они выделены желтоватым цветом) — почти всегда собственники. Пока я видел только одного агента, не пожалевшего сотню рублей на рекламу элитной квартиры. Есть вероятность, что это был собственник, решивший сделать вид что он агент с эксклюзивом и срубить лишних денег (бывают такие, судя по слухам).
  4. Если в объявлении всего одна или две фотографии, это почти наверняка агент. Три фотки — 50 на 50. Собственники либо пишут вообще без фото, либо уж если напряглись — делают хотя бы пяток.
  5. Если телефон указан на фотографии, либо «зашифрован» в тексте объявления — это почти наверняка агент. Шифроваться подобным образом их заставляет Авито, который требует денег за размещение большого количества объявлений на один и тот же номер телефона.

Этот список, в целом, позволяет глазами отфильтровать почти весь мусор, так что если вам лень ставить Sobnik — пользуйтесь.

Disclaimer: Я ни сколько не против риэлторов. Для них на Авито если специальная галочка, ставишь её — и всем сразу понятно что ты — агент. И конечно я в курсе, что во многих случаях агент просто необходим. Sobnik борется лишь с теми, кто спамит и пытается вас обмануть.

Перспективы


Развивать проект я планирую в двух направлениях:
  1. Добавлять новые доски (следующей, вероятно, будет «Из рук в руки»).
  2. Повышать точность и надежность детектора.

Теоретически, когда будет активно сканироваться много досок, Sobnik сможет находить исходное объявление собственника по его копиям, опубликованным агентами на других досках. Удастся ли достигнуть этих высот покажет время, и конечно же ваши ценные комментарии.

Публиковать собираемую базу объявлений я не планирую, слишком уж нагло было бы красть и распространять эту информацию. Однако, раз уж финансовый план Авито не позволяет им самим фильтровать спамеров, этим займется Sobnik.

Вашим пожеланиям и предложениям буду очень рад.

UPDATE:


С 10 октября проблема наполнения базы решена — установленный плагин в отдельной вкладке автоматически сканирует объявления, которые в данный момент требуются пользователям. Фактически теперь Sobnik это крупная вычислительная сеть, где каждый узел работает на общее дело. Таким образом, любой чистый список объявлений для любого региона обрабатывается за пару минут. Спасибо всем, кто предлагал свою помощь, бесплатные сервера, IP и каналы в Интернет, ваше желание помочь несказанно меня радует. Однако, теперь Sobnik с этим справляется сам.
Артур @cerber
карма
39,0
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое Разработка

Комментарии (103)

  • 0
    Спасибо, полезное расширение. Правда хотелось бы, что бы оно работало не только с московским Avito, но и с другими регионами. На данный момент с моим регионом оно почему-то не работает (вот так выглядит страница для московского Avito, так для барнаульского).
    • +2
      Попробуйте открыть пару объявлений (должен автоматом открыться телефон, и далее возле него появиться цветной кружочек). Далее открытые объявления должны подсветиться и в списке. Если все так — значит работает.

      Плагин работает с любым регионом, просто пока я активно сканирую только аренду в Москве (сканить со скоростью, достаточной для покрытия всей России, файрволы Авито не позволяют). Я ищу способы нарастить скорость сканирования, и пока они, по большей части, упираются в железо, которое стоит денег.
      • +1
        Давно еще похожие вещи делал на java библиотеке htmlUnit/httpUnit. А номера распознавал нейросетью на joone framework.
        Смотрели на phantomJS? Вполне неплохой подход к распределенному headless кравлингу, при том чтобы остались все удобства разработки кравлинга в браузере.
        • 0
          О! Вот спасибо! PhantomJS это то что надо, для централизованного краулера будет в самый раз. Мне даже в голову не пришло что такая штука существует.
          • 0
            Рад что пригодилось) Желаю удачи, нужное дело делаете!

            Я не против посредников, только если они делают полезные вещи. А тут они просто лишние… Агенство или агент никакой ответственности не несут, в ЕРГП запрос не делают, да и договор по закону как бы двухсторонний. А чаще это лишние траты и дезинформация. Некоторые посредники нагоняют толпу народа и аукцион устраивают кто больше!
          • 0
            phantomjs --webdriver=PORT

            А дальше можно использовать любой клиент для любого языка программирования, который поддерживает WebDriver Wire Protocol.

            Поразительно, но webdriver в контексте phantomjs реализован на JavaScript!
  • +10
    Плагин я еще не смотрел (Москва и Россия мне сейчас не актуальны), но перечисленные вами критерии выявления агентов одним списком уже сами по себе полезны, спасибо.
  • +5
    Браво! Думаю парсер можно сделать не только по квартирам, но и по автомобилям, технике и другим видам объявлений.
    • 0
      Спасибо!

      Сделать не проблема, вопрос — насколько оно нужно. Я не вникал в другие темы, но есть ощущение что там все не так печально. Скажем, вряд ли вы найдете перекупов авто которые будут предлагать вам заплатить деньги за телефон собственника. Хотя, если вам кажется что в конкретном направлении это нужно — можем обсудить в личке.
      • 0
        Перекупы любят выставить на продажу машину, которой по факту нет. И есть «почти такая», но дороже.
      • 0
        Все перекупы платят за оперативную информацию об авто и собственнике. И хорошо платят. Это я как краевед говорю :)
        • 0
          Я тут немножко окунулся в сферу авто и решил что собник должен обнаруживать и перекупов. Когда оно появится обещать не могу, но будет — точно.
          • 0
            Оно уже есть — akham.ru

            • +1
              Вы забыли указать, что оно платное. Отказывается работать без регистрации и оплаты кликов.
              • 0
                А что в этом плохого? Вы выбираете хорошую машину, экономите время и деньги. Разработчики затрачивают усилия и получают копеечку.
                • +1
                  Я не хотел ничего сказать по поводу того, хорошо это или плохо. Ради общего развития решил воспользоваться этим расширением, а когда установил, понял, что зря потерял время. Если бы вы предупредили, что расширение платное я бы сразу прошел мимо.
  • 0
    Отличная идея. А себе жилье удалось подобрать без агента?
    • +1
      Спасибо!

      Да. Супруга нашла собственника квартиры, которую публиковал агент (то было в далекую эру до собника).
  • 0
    Здорово! Скачаю, попробую.
  • +31
    Я ни сколько не против риэлторов

    Вы добрый человек.
    99% риэлторов наглые, бессовестные мудаковатые шакалы которые за 2 рубля мать собственную продадут.
    Мне лишь один раз в жизни удалось попасть на того риэлтора, который в 1% нормальных попадает и теперь, когда я знаю, что нормальные существуют я ещё больше их не люблю.
    • +7
      Однажды получил телефон агента от знакомой. Вот же исключительно приятный был мужик. У него своя небольшая, но эксклюзивная база клиентов, и только в одном районе Москвы. Он лично знаком со всеми хозяевами, со многими работает многие годы. Я думаю, он не гребет деньги лопатой, но у него и затрат меньше. Не надо метаться по всей Москве, не надо конкурировать с другими агентами за одну и ту же квартиру. И его предложения вызывают доверие. А так с вашей характеристикой риэлторов согласен до последней буквы. Часто это вообще посредник посредника, которому вообще не понятно за что нужно платить.
    • +1
      Здесь лучше придерживаться правила работы с теми риэлторами, с которыми есть позитивный опыт у знакомых/родственников, тогда всё скорее всего будет ок.
      Сарафанное радио, все дела.
      PS: продажники более адекватные чем риэлторы, занимающиеся арендой.
      • 0
        Друг когда искал варианты покупки жилья просто материл продажников. Многие в то далекое время из-за 10млн. руб.(из которых они получают свой процент) даже задницу от стула не хотели оторвать, чтобы показать жилье. А другому другу делал java парсер для объявлений о продаже вторички на «из рук в руки»
    • +17
      Расскажу свою историю:
      В прошлом году продавал квартиру. Нашел покупателя сам. Решили обратиться к риелтору, чтобы он провел сделку (составил документы, отдал на регистрацию и тд.).
      Вспомнил что консьерж рассказывал про риелтора, соседа, который живет в нашем же подъезде. Взял у него телефон, встретились, сосед оказался этажом выше. Встретились, пообщались, приятный в общении. Запросил немного больше чем обычно (40т.р. против 25-30 т.р.), но покупателя это устроило, главное чтобы всё четко было.

      В итоге встретились я, покупатель и риелтор для сделки и началось. Документы он заполнять не стал — заполняйте сами. То что заполнили, даже не проверил (как оказалось там было несколько технических ошибок).
      Но, самое интересное началось дальше. Оказалось в моей собственности и в кадастровом паспорте стоял неправильный этаж. Видя что нам срочно, риелтор вызвался помочь за 50 тысяч, т.к. «у него много знакомых где надо», а сами мы это врядли сделаем, да ещё и в короткие сроки.
      Ушли от него растроенные. Правда покупатель оказался довольно хорошим человеком (армянин), говорит — иди пробуй сам, он типа готов подождать. 50 тысяч что-то не хочется платить. Я пошел в и ближайшем МФЦ отдал на исправление технической ошибки в кадастре и собственности и дней через 10-12 получил исправленные документы! Более того, пока я ждал документы, этот гондон-риелтор (сори, но других слов нету) названивал моему покупателю с предложением продать ему свою квартиру, или найти квартиру лучше и дешевле. Говорил, что у меня с документами бардак, что это надолго, что квартиру продаю по завышенной цене и тд и тп.
      У меня это просто в голове не укладывается. Сосед, к которому обращаешься, готов заплатить выше рыночной цены, ради того, чтобы не обманули — нагло пытается на тебе нажиться, а когда не получается — то пытается отбить твоего покупателя, которого ты сам нашел.

      В итоге мы с покупателем оформили сделку через другого риелтора (посоветовали знакомые). Которая за 30 тысяч и документы заполнила и в банк носилась и рег палату и тд и тп.
      • +2
        Немного дополню, что квартира была в новостройке и наоборот все соседи стремились к общению и знакомству друг с другом. Внизу у консьержа люди оставляли свои координаты и предлагали помощь. Например, соседи с третьего этажа имели точку на строительном рынке и отдавали для своих соседей стройматериал по очень низким ценам (мы думаем, что по цене закупки, нам очень сильно сыкономили на стройматериале, когда ремонт делали).
        А тут — оказалось среди соседей риелтор затесался :(
        • +2
          Надо было ему просветить под глазом то.
          Ну или более гуманным способом — написать хороший отзыв про него.
          • 0
            причем, на двери написать )
      • 0
        Пару раз делал оформление купли-продажи через риэлтеров, один раз продавал, второй раз покупал. Я так и не понял за что они деньги берут. Заполняется стандартный набор бумажек, затем записываешься в очередь на регистрацию, затем получаешь документы. В чём функция риэлтера во всём этом не понял.
  • +14
    Спасибо огромное. Обязательно попробую т.к. сейчас какраз озадачен проблемой поиска жилья.

    Вот вам еще один способ, который открыла моя супруга:
    проверять фото через google/yandex картинки. Часто риэлторы используют одни и те же фотографии в разных объявлениях. Т.к., видимо, их база не большая, таким методом отсекается довольно много спама.
    • 0
      Да, спасибо, анализ фото есть в планах.
  • +1
    А в чем была проблема с Cross-Origin Policy? Расширения для хрома имеют ведь такую возможность.
  • +1
    Планируете открыть код бэкэнда?
    • +1
      Пока нет. То ли боюсь, что «идею украдут», то ли смущаюсь за свой ламерский Go-код, то ли боюсь что агентам будет легче обманывать мой детектор. Нечто среднее, или все вместе.
      • 0
        1. Идея фильтра агентов? Вы серьёзно?
        2. Вы пока не заняли значимого процента рынка, чтобы агентам было до вас дело. Да и агентов, которые в состоянии разобраться в таком коде, вряд ли значимое количество.
        3. Ламерского кода не стоит стесняться, если вы его планируете развивать — от опенсорса будет польза
  • +1
    Существует целый ряд похожих, но платных аналогов.
    Знаю про локальный рынок, там стоимость софта начинается от 500р в месяц.
    Агрегаторы нескольких сайтов недвижимости (в тои числе и Авито) + опциональная прозвонка + определение собственника + парсинг объявлений и возможность фильтрации по нужным параметрам, вплоть до наличия мебели в квартире и площади кухни.
    В общем, если думаете про монетизацию, то зря)
    • –1
      Вы правы, таких проектов полно, но в основном они нацелены на риэлторов а не на конечного потребителя! один tanan чего стоит, вторичка жилья с анализом по всей России.

      Плюсы данного парсера — так это FREE, других плюсов и не ожидается, велосипед собран и проехал лет так 10.
      • 0
        > но в основном они нацелены на риэлторов а не на конечного потребителя!
        А в чём разница? Никаких специфичных навыков эти сервисы не требуют. Указываем интервал дат, параметры (район, количество комнат, стоимость, и т.д.) и получаем список квартир с телефонами.
  • 0
    Стоимость не демакратичная, а так же, покупка рассчитана на количество пользователей, или подписка на месяц. Хотелось бы подписку хотя бы на сутки!
  • +1
    Спасибо!
    Будет время — обязательно портируйте свой плагин под Firefox!
    А насчёт монетизации…
    Ещё один возможный сценарий: Вы ведь из плагина можете выделить любое объявление ;) Дешевле чем это делает avito
    • 0
      Портирую, конечно же.
      И спасибо за идею!
  • –5
    >>«Польза обществу», надеюсь, очевидна
    Совершенно не очевидна.

    Начнем с того, что avito — это грандиозная помойка фейковых объявлений (особенно в разделе «авто», но и в недвижимости тоже), и никто в здравом уме там жилье не ищет (речь про дефолт-сити, разумеется). Все пользуются cian.ru Так что ваш сервис — это попытка отыскать некий бриллиант в куче навоза. Причем наличие бриллианта не гарантируется.

    Кстати, в «Из рук в руки» реальных объявлений вообще нет. Поверьте.

    Во-вторых попытка снять квартиру «у собственника» в Москве почти всегда приводит к ситуации, когда эта квартира сдается одновременно пяти-десяти арендаторам, а «собственник» тихонечко испаряется в неизвестном направлении, после чего появляется настоящий, заявляет, что никому квартиру не сдавал и разгоняет всю кодлу безутешных арендаторов.

    Ну и в-третьих. Ничуть не защищаю хамоватых и наглых риэлторов. Хватает и таких. Но если бы никто не был готов платить за их услуги — наверное бы их не было? Подумайте, почему же люди готовы платить комиссию? И чей же это рынок — арендатора или арендодателя?

    Спасибо.
    • +5
      avito — это грандиозная помойка фейковых объявлений

      Согласен.

      Все пользуются cian.ru

      Многие комментаторы здесь похоже не в курсе.

      Кстати, в «Из рук в руки» реальных объявлений вообще нет. Поверьте.

      На этой неделе приделаю irr и проверим.

      Во-вторых попытка снять квартиру «у собственника» в Москве почти всегда...

      Может быть у вас есть ссылка для подтверждения ваших слов? То, что эту страшилку риэлторы твердят без умолку — это очевидно, насколько часто встречаются такие мошенники знает, вероятно… тот, чью информацию вы приводите.

      И еще, скажите, пожалуйста, как наличие риэлтора, который квартиру и хозяев видит первый раз вместе с клиентом, поможет защититься от мошенников? Большинство риэлторов, что косят под частников на авито, хотят только одного — комиссию, и умыть руки, и их уж точно не заботят ваши проблемы с хозяевами.

      Но если бы никто не был готов платить за их услуги — наверное бы их не было?

      Некоторые агенты спамят и обманывают. Это вред — для продавцов, для покупателей, для нормальных риэлторов. С этим можно и нужно бороться. А за что платить или не платить люди пусть сами решают, тут обсуждать нечего.

      И вам спасибо.
      • –3
        Это вред — для продавцов, для покупателей, для нормальных риэлторов. С этим можно и нужно бороться.


        Ну ОК. Вот вам реальный кейс, менее года назад.
        Вот я нахожу вариант, мониторя cian.
        Потом созваниваюсь, задаю ключевые вопросы, если всё устраивает — договариваюсь на просмотр, если нет — оставляю свой телефон на случай, если что-то появится.
        Перед подъездом встречаемся, агент рассказывает мне краткий психологический профиль хозяев.
        Просмотр. Фотографирую документы хозяев и квартиры. Отсылаю другу, который может их оперативно проверить (банально — действующий ли паспорт, нет ли обременений на жилье, соответствуют ли данные хозяев реальным собственникам)
        Выходим вместе. Я ему сообщаю сумму, которую готов выложить прямо сейчас и проговариваю дополнительное условие — временная регистрация детям. Если он справится и в эту сумму сможет уложить первый месяц, взнос за депозит и свою комиссию — сниму прямо сейчас. Даю ему час, иду попить кофе.
        Через 40 минут он звонит, сообщает, что уговорил хозяев, поднимаюсь, подписываем договор, получаю ключи.

        1. Что я делаю не так?
        2. В чем тут для меня вред от агента?
        3. Заслуживает ли такой агент свою комиссию?
        4. Как вы предлагаете мне действовать без агента? И сколько своего времени я должен буду потратить?
        • +2
          Вы забыли процитировать вот это:

          Некоторые агенты спамят и обманывают. Это вред — ...
          • –2
            ОК. Уговорили. Ваш сервис может быть полезен.

            Но Вы всё равно не понимаете, что этот рынок принадлежит арендодателям. Именно они являются заказчиками услуг агентов и именно им выгодно с агентами работать. Может в эту сторону подумаете и родится еще один сервис?
        • –1
          1. Что я делаю не так?

          Платите лишние деньги.

          2. В чем тут для меня вред от агента?

          В трате лишних денег.

          3. Заслуживает ли такой агент свою комиссию?

          Какой «такой»? Что он сделал такого, за что хочет хоть копейку?

          4. Как вы предлагаете мне действовать без агента? И сколько своего времени я должен буду потратить?

          Действовать точно так же. Вообще не вижу в описаном случае, что за работу сделал агент, которую не сделали бы Вы, ровно с теми же усилиями, за то же время и бесплатно.
    • +1
      «Кстати, в «Из рук в руки» реальных объявлений вообще нет. Поверьте.»
      Полтора года живу в квартире, найденной в «Из рук в руки».
      • 0
        вы не живёте, у вас нет квартиры :)
        • 0
          Своей нет. Я про съёмную говорил.
  • 0
    У меня в Москве то показывает, то нет.
    Gentoo Chromium 37.0.2062.94

    В вы не пробовали в авито написать, раз они сами заинтересованы в поиске агентов?
    • +1
      В хромиуме и под линуксом особо не гонял. До сих пор есть проблемы? Если открыть панель разработчика, в консоли красные сообщения об ошибках есть?

      Не пробовал в авито писать. На реализацию чисто детектора ушло от силы неделя, авито хотел бы — давно бы сделал. Представьте, что на авито будет не 10К предложений, а 500. Будут собственники платить авито за поднятие своих объяв? Думаю нет. Это единственное, приходящее мне в голову, объяснение их бездействия.
  • +2
    Мне кажется неверной сама постановка задачи. Человек, который столкнулся с необходимостью покупки/съема жилья интересуется прежде всего параметрами объекта (расположение, площадь, состояние, документы) и его стоимостью, если по этим критериям ему объект подходит, то он находит номер телефона и осуществляет звонок. Всё!
    Дальше никакой автоматизации придумать нельзя, только общение с живыми людьми, уточнение деталей, осмотр, сбор пакета документов и т.д.
    Для поиск объектов недвижимости уже есть удобный агрегатор. То, что происходит до осуществления звонка занимает ничтожное количество времени и практически не требует усилий, сложности начинаются уже после. Самое важное при сделках с недвижимостью, это чистота документов, все остальное ерунда.
    • +1
      Яндекс.Недвижимость действительно удобен. Честно сказать, не присматривался к нему, спасибо что подсказали.
    • +1
      Мне кажется постановка задачи всё же верная. Потому, что даже яндекс пропускает некоторое количество фейковых объявлений. Так что человека интересует в первую очередь действительное существование данной квартиры. Собственники жилья обычно указывают более правдивые данные, чем большинство риэлторов.
      • –1
        Это не так важно, в ходе поиска одного объекта человек просматривает и обзванивает несколько десятков вариантов, и по каждому из них критерий пригодности этого варианта определяется индивидуально, это надежнее, чем автоматизация. Нет беды, в том, если в исходный список объявлений попадет пять или десять ложных, они отсеяться после первого состоявшегося дозвона.
        • +2
          На авито у вас на сотню ложных будет десяток реальных. Так что автоматизация тут совсем не лишняя. Яндекс да, хороший вариант.
    • +1
      Это вы исходите из предположения, что найденный объект реально есть, а выяснить надо только детали. А в реальности в 90% случаев объект — просто приманка, чтобы вы позвонили агенту, который начнет выносить вам мозг вроде «ой, только что эту квартиру сняли, давайте посмотрим другие варианты, подороже».
    • +1
      На realty.yandex.ru/ (по крайней мере, в той области, куда я смотрел) очень много информационного мусора из-за неверно указанных координат объекта. «Погрешность» километров эдак в 10.
      • 0
        А в какой области вы смотрели?
        • 0
          Да хотя бы Пушкино и Реутов Московской области. Когда посёлок Заря называют районом Реутова — это за гранью добра и зла.
  • 0
    Думаю, это отличная идея! Тем более что как раз обременена поиском аренды квартиры. Скачала, установила, но почему-то не работает( Ищу в Екатеринбурге, но и для Москвы не работает.
    • 0
      Хотя для Москвы работает, видимо, рассчитывает долго, через какое-то время отображает кружки.
    • 0
      Могу помочь только с поиском для купли/продажи вторички, в Екб. )) (Я не риелтор, но есть база одной из компаний!, точнее уже двух). Бесплатно!
      • +1
        Спасибо конечно, но я заинтересовалась данной статьёй из-за самого плагина, а не базы квартир =)
    • +1
      В Екб нет кружочков потому что я его не сканирую — авито банит за слишком активный скан. Товарищ выше дал полезный совет, надеюсь скоро смогу их победить.

      Если откроете какое-то объявление, кружочек должен появиться возле номера телефона.
      • +1
        Кружочек не всегда появляется, тормозит иногда расширение видимо, но я вам желаю дальше развиваться и совершенствовать продукт.)
  • 0
    Хорошее дело, к сожалению эти паразиты общества быстро адаптируются к новым средствам защиты. Хуже крыс и тараканов…
    • 0
      Я когда думал над таким решением пришел к выводу что эффективным будет только создание антиагентства, брать фиксированную плату с тех кто сдает/продает, и на эти средства содержать несколько человек которые будут проверять отобранные объявления, звонки, выезд на место. Кроме агентов есть еще и масса мошенников.
  • +1
    «Пришлось покумекать и родить простой алгоритм, определяющий, есть ли на фото какой-либо текст»
    Можно ли немного подробнее описать этот простой алгоритм?
    • +1
      Один фильтр оставляет только границы контрастных областей, второй чистит шум, дальше «если что нибудь осталось» — значит есть надпись. Примерно так.
      • +1
        Подскажите, какой именно фильтр вы использовали для поиска контрасных областей? Чем именно чистили шум?
        • +1
          Самописный, и там и там. Исходник кину в личку.
  • 0
    Хм, а почему никто не говорит про базу циан? Было бы очень полезно там так же помечать объявления.
    • 0
      Обязательно.
  • 0
    Я вам предложил бы немного монетизировать плагин. Собрать деньги в сервисах краудфандинга или же сделать небольшую абонентскую плату на неделю (300 р. для крупных городов, а 100р. для все остальных). Так как за сокращение времени стоит платить.
  • +1
    что-то не работает.
    image

    Не залогинен на Авито, других расширений нет. Может, что-то с поисковым запросом?
    Хром, Канарейка64.
    • 0
      Действительно. Поправлю — отпишусь.
      • 0
        работает только непосредственно в разделе «Квартиры» (категории), при появлении подменю и выбора «сдам». С простого поискового запроса по-умолчанию, нет.
    • 0
      Исправил, теперь работает во всех разделах (правда в разделах кроме «сдам в Москве» база может быть пуста). Как только гугл одобрит, у вас расширение обновится до версии 1.8, и можно пробовать.
  • 0
    Было бы еще хорошо дать возможность голосовать за правильно и неправильно распознанные объявления людям. То есть типа «это точно собственник — это точно агент» Пока там аудиторию хабровая, агентов, голосующих за себя, не будет, а алгоритм сильно улучшит.
    • +2
      Но вообще спасибо, да! Я в основном цианом пользовался, но через авито находил несколько квартир напрямую от собственников, просеивая весь спам агентский.
      И кстати есть еще наблюдение. Если на циане появилось несколько одинаковых объявлений от разных агентов на одну квартиру, значит она есть от собственника на авито )
      • 0
        Спасибо за идеи!
  • 0
    У авито же есть приложение, а значит какое-то АПИ. Попробуйте его расковырять.
    • 0
      Там наверняка стоит такой же файрвол как и для веб-клиента, так что вряд ли оно поможет ускорить сканирование. А в остальном и с текущим подходом проблем нет.
  • 0
    Эх… Только около года назад пытались найти квартиру. И чего только не смотрели, и где только не смотрели, даже базу Инкома (вроде) покупали у какого-то мужика (которая в итоге помогла выйти на риэлтора, который продавал квартиру своего друга, с которым мы уже связывались лично т.е. — мегаудача: норм и квартира, и цена), и что только не делали. Искали чуть ли не год, живя по съёмным квартирам — был полный ад. Надеюсь, это расширение облегчит жизнь тем, кто занимается поисками сейчас.
  • 0
    Раз уж тут собрались знающие люди, можете порекомендовать, как лучше снять жилье без посредников в Москве (если это реально)? Альтернативы cian? Как проверить действительность документов собственника?
    • +2
      Хоть я и считаю, что моё время стоит дороже, чем комиссия агента, с которым всегда можно сторговаться, помогу.

      Онлайн сервис, насколько я знаю, только один services.fms.gov.ru/info-service.htm?sid=2000
      Выписку из ЕГРП нужно заказывать оффлайн. Но много и онлайн-сервисов, которые якобы сделают это за вас. Стоит ли им верить? Я не верю.

      А чем Вас не устраивает ЦИАН? Он прекрасно отсеивает агентов-неадекватов, благодаря системе самомодерации.
      • 0
        Спасибо.
        Мне кажется, если заказывать выписку, квартиру к моменту ее прихода уже сдадут. Сам я других онлайн-способов не нашел, поэтому и решил спросить.
        • –1
          Ну можно иметь друга в нужных органах власти, который быстро посмотрит — совпадают ли собственники у жилья и те люди, с которыми вы сейчас разговариваете.
          Других хороших способов не знаю, к сожалению…
    • +1
      Попробуйте просто поискать вконтакте по записям. Часто бывают объявления от реальных людей (не репосты ссылок на сайты типа avito), дальше можно просто списываться с человеком. Есть еще пара групп вконтакте, которые называются что-то вроде «Без посредников»: они закрытые (доступ дают в течение дня-двух) и там банят агентов. Там каждый день появляются объявления. За 1-2 недели вполне можно найти несколько подходящих вариантов, ну и далее посмотреть их, выбрав один самый лучший для вас.

      Действительность документов собственника проверить можно (и нужно) при личной встрече. Если сдают квартиру родственника, то можно спросить документы, подтверждающие родство (свидетельство о рождении, например, если дочь поменяла фамилию после свадьбы).
      • 0
        > Действительность документов собственника проверить можно (и нужно) при личной встрече.
        В этом и проблема: если паспорт проверить не сложно, то со свидетельством на право собственности (и любым другим документом, подтверждающим право распоряжаться квартирой) сложнее как минимум из-за времени.
  • 0
    был давно такой сайт rentfilter.ru — мертв уже больше года. тоже парсил irr и авито и показывал объявления у себя. пользовался пока работал.
  • 0
    Интересная идея, она в некотором смысле дополнительно катализировала наше с коллегами обсуждение проблемы съема жилья.
    FYI: Нашу концепцию можно посмотреть на rsdn: rsdn.ru/forum/life/5797776.1
  • +3
    Авито и многие другие доски публикуют номер телефона в виде изображения, соответственно — номер приходится распознавать.

    В случае Авито это обходится элементарно: в URL объявления замените «www» на «m» — получите мобильную версию объявления, в которой телефонный номер прописан открытым текстом.
    • 0
      Да, мне уже подсказали, спасибо!
  • 0
    Что-то приложение начинает вести себя по-хамски. Периодически открывает мне Авиту с баннером:
    image

    Без моего разрешения!
    • 0
      Да. Именно так теперь работает приложение — сканирует объявления в отдельной вкладке. Очень жаль, что вас это расстроило, именно для этого был написан баннер, в котором рассказано — что делает приложение, и как это отключить. Спасибо за ваше терпение.
      • 0
        Понятно!
        Однако, из текстового содержимого баннера не ясно, что приложение не просто будет что-то там делать в фоне, поэтому вызывает удивление его поведение.
      • 0
        Разве нельзя это делать не во вкладке?
        • 0
          Мне уже намекали, что можно загрузить в фоне ajax-ом и все такое. Однако, сейчас браузер все делает для меня — загружает все нужные ресурсы (картинки, js), выполняет все скрипты, формирующие страницу, и т.п., а я просто пользуюсь результатом. Делать это в фоне — значит делать все самому, а как выполнить скрипты вообще не понятно. Поэтому пока использую отдельную вкладку, это решение проще и более универсальное.
  • +1
    вот теперь стало лучше с настройками, когда может работать и в каком режиме!
  • 0
    Хотелось бы для cian… Мне кажется там частных объявлений по-больше будет…
    • 0
      Собник уже давненько работает с ЦИАН. Только вот частных объявлений там как раз минимум — это вообще исключительно агентский сайт.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.