Игорь Ашманов, управляющий партнер компании
«Ашманов и партнеры», в интервью «Хабрахабру» излагает свое видение кризиса поисковиков и размышляет о методах борьбы с дорвеями, которые, вероятно, со временем еще больше будут досаждать людям.
Вы часто говорите о кризисе поисковиков. Расскажите, в чем он проявляется? Следствием чего он стал?
Я, если можно, конспективно, по пунктам. Потому что подробно уже излагал на
Конференции «Интернет и Бизнес» (презентация
здесь).
Проявляется он в двух направлениях:
а) некий застой в технологическом развитии. То есть в том, что:
* пользовательский интерфейс застрял на уровне конца 90-х годов.
Бесконечная лента технически выглядящих результатов поиска, отсутствие тематической классификации, прочее. Как я уже говорил, поисковый интерфейс сейчас на уровне DOS, и с управлением – тоже командной строкой.
* произошёл сдвиг от поиска в сторону «портальности», то есть накручивания всяких сервисов вокруг поиска. Туда двинулись все, включая
«Гугл», который до последнего старался сохранить фокус на поиске. Причём эти «боковые» проекты часто неудачны, никакие. Если посмотреть, например, на статистику контентных проектов
«Яндекса» и
«Рамблера», большинство этих сервисов не являются лидерами в своих отраслях, мягко говоря (что при наличии бесплатного большого трафика с «головы» портала просто удивительно). Разве что новостные проекты порталов без сомнения удачны.
А истинной причиной является, во-первых, отсутствие плодотворных дебютных идей, как говорил известный персонаж, а во-вторых, надо уже делом заниматься, бабки косить! Всё уже работает, машина контекстной рекламы приносит бурный поток денег, компании стремительно пухнут, нанимая несколько человек в неделю. Тут небо с овчинку покажется, не до свежих интерфейсов и новых технологий, по-моему. А как известно, при стремительном росте никакой корпоративной культуры сохранить практически нельзя, да и со стратегией могут быть проблемы. Те компьютерные компании, которые сейчас на слуху –
Dell,
Microsoft,
Oracle – это как раз те, где уровень менеджмента рос быстрее рынка. А остальных просто разорвало, они погибли – и это на бурно растущем рынке.
Впрочем, я думаю, этой осенью и зимой 2007-го шок от роста уже начнёт проходить, поисковики выкатят какие-то новинки и что-то сдвинется.
б) Падение качества самого поиска. Тут причины очевидны, их две:
* поисковики никак не взаимодействуют с сообществом вебмастеров. Это значит, что наряду с контекстной рекламой, гарантирующей появление в выдаче, места в «органической», бесплатной выдаче тоже прямо зависят от вложенных денег.
Но вкладывают их владельцы сайтов не в Яндекс-Рамблер-Гугл, а в оптимизаторские конторы. Вред качеству поиска тут пока не очень большой — все сайты, на которые затрачены солидные деньги – это настоящие, живые сайты, с приличным контентом и дизайном. В принципе, поисковику всё равно, какие из 100 релевантных оптимизированных сайтов показать на верхних 10 местах. Более того, все эти проекты ещё и активно покупают контекстную рекламу у того же поисковика.
Страдает только разнообразие выдачи: если спросить «цветы», получишь в основном доставку цветов по Москве, а ни других городов, ни других цветочных отраслей (семена, например) не увидишь.
* Есть второе сообщество – настоящих врагов поисковиков. Это сообщество поисковых спамеров — дорвейщиков. Эти продвигают не настоящие сайты, а мертвечину, синтетические страницы с бессмысленным текстом, задача которых — перебросить пользователя на
«Рупоиск» или
«Блокнотик», где ему покажут контекстную рекламу.
Здесь проблема для поисковика более сложная — ему противостоит масса людей (в Рунете — сотни, на Западе — тысячи) без особых моральных или корпоративных ограничителей.
Бизнес этот не запрещён законом, деньги и мозги там задействованы очень внушительные, технологии бурно развиваются. Например, в рунете дорвейщики зарабатывают под
7-8 миллионов долларов в год, причём я думаю, что это очень консервативная оценка.
Тут ситуация сейчас похожа на
2002-2003 гг., когда спам в почте как будто взорвался и все застонали. А наличие дорвеев портит качество поисковика очень сильно, ухудшает его конкурентоспособность.
Я думаю, ситуация с дорвеями будет ухудшаться ещё год-два как минимум. То есть кризис будет ещё развиваться какое-то время. Там, в дорвейном бизнесе, много денег, бизнес быстро растёт, привлекая всё новых энергичных людей. Как они пишут на своих форумах — «а ты уже нашёл свою кнопку
рубить бабло?». Причём этически это не очень гнетёт, не то, что почтовый спам, и криминалом тоже не является. Многие почтовые спамеры могут мигрировать в эту область, как и порно-вебмастера, впрочем.
Вы сказали, в Рунете дорвейщики зарабатывают под 10 миллионов долларов в год. Другими словами, эти деньги ушли от «Яндекса», «Рамблера», «Гугла» и остальных?
Это как считать. Я бы не сказал, что это деньги, напрямую украденные у поисковиков.
Возьмём для примера аналогию с более незаконной деятельностью на обочине большого бизнеса: вот Microsoft обычно считает, что все, кто купил пиратскую версию MS Office, недоплатили Microsoft 300 долларов. Далее прейскурантная цена помножается на число нелицензионных копий на рынке, отсюда берутся огромные цифры недополученной прибыли, потерь производителей ПО, которые предъявляются на всяких пафосных тусовках типа ВТО, G8 и пр.
Но это ведь, мягко говоря, натяжка. Эти покупатели пиратских дисков «белый» MS Office по его каталожной цене и не купили бы никогда. Не получится пиратский рынок конвертировать в «белый» на 100%. И на 50% не получится.
Вот и с дорвеями не так очевидно, чьи это деньги. Вот смотрите, как работает вся цепочка на примере «Гугла».
1) Кто-то покупает пачку доменов, берёт скрипты для генерации текста, создаёт дорвей (а точнее, тысячу разных дорвеев). Принимает меры для его раскрутки: регистрирует в «Гугле», размещает ссылки на дорвей, и т.п.
2) В результате по некоторому (обычно редкому) запросу отдельный дорвей всплывает в выдаче «Гугла» и начинает получать, допустим, 1000 посетителей в месяц. Посетитель, задав этот запрос, видит «органическую» выдачу «Гугла», а также гугловскую контекстную рекламу, но по какой-то причине не кликает по контекстной рекламе на странице выдачи, а переходит на дорвей, который увидел в органической выдаче.
3) Там его перебрасывают на страницу «дорвейного хаба» наподобие
UMAX Search в западном интернете или «Рупоиска» в Рунете, с контекстной рекламой — возможно, от того же «Гугла» или от других систем контекстной рекламы типа
Overture,
Miva (а в Рунете почти исключительно от
«Бегуна»).
4) Там пользователь видит релевантное объявление, кликает по нему и идёт читать про товар или услугу на сайт хозяина объявления. Возможно, что-то у него заказывает или покупает.
5) Дальше поток денег идёт в обратном направлении: хозяин объявления платит за клик системе контекстной рекламы, система платит чуть ли не половину дорвейному хабу (как своей рекламной площадке), хаб оставляет себе процентов
15-20 комиссии и платит создателю дорвея.
Кто тут пострадал?
Пользователь? Нет, он вроде бы получил, чего хотел.
Рекламодатель? Да нет, он получил своего клиента. Возможно, он заплатил дорвейщикам дороже, чем заплатил бы «Гуглу» за привлечение клиента, а может — и дешевле, тут ещё бабушка надвое сказала.
Дорвейщик и его «хозяин» дорвейный хаб — тоже не внакладе, ясное дело.
Вроде бы есть явно пострадавший – «Гугл». Это его деньги украли? Нет, не совсем. Ведь вообще-то он тоже успел показать этому пользователю рекламу. То, что пользователь не кликнул по ней — это проблема авторов объявлений.
А если на дорвее была реклама самого «Гугла»? Тут вообще круг замыкается, становится совсем непонятно, кто же пострадал.
Знаете, а ещё есть такие отдельные мастера, которые вообще замкнули этот круг покороче — а именно, они покупают контекстную рекламу на «Гугле» по дешёвым словам/словосочетаниям, а показывают на своей странице, куда «приземляется» пользователь, более дорогую рекламу от того же «Гугла», по примерно тем же словам, но в более дорогой комбинации. И на разницу очень неплохо живут. Разница в цене объявлений, понятно, должна быть больше, чем в
2-3 раза, чтобы схема была выгодной (потому что площадке поисковики отдают не более 50%).
Ну, а на самом деле можно сказать, что пострадали немного все: рекламодатель, возможно, заплатил дороже за целевого посетителя. Пользователь тоже получил товар дороже или не совсем тот (вероятно).
Возможно, трафик был перепродан совсем шумовой, нецелевой, а рекламодатель просто не умеет его оценить и платит по сути за мусор.
Но главное, что количество «коммерческого шума» в интернете возросло, а выдача «Гугла» — ухудшилась, будучи замусорена дорвеями. Вот это последнее и есть главное нехорошее следствие для «Гугла» — потеря качества.
В каком направлении, по-вашему, должны двигаться поисковики?
Здесь ключевые слова «должны» и «по моему мнению». Мне кажется, поисковикам нужно менять формат выдачи в сторону подачи более структурированной и проработанной информации, а также создавать социальные сети в духе Веб 2.0, для чистки выдачи. И то, и другое поисковикам известно, и как-то уже делается, насколько я знаю.
Нужно создавать специальные средства автоматической и полуавтоматической детекции дорвеев. И это тоже делается, достаточно почитать новости, да и те, кто молчит, сейчас плотно этим занимаются.
Какой российский поисковик захламлен дорвеями больше всего, на ваш взгляд?
Мне кажется, «Яндекс». Ровно по той же причине, почему больше всего вирусов пишется для операционной системы Windows. Потому что «Яндекс» — лидер, его спамить выгоднее. Те же примерно технические усилия, а выхлоп больше.
По данным Ru-Center, национальный домен России растет на 4% в месяц. Существенная часть этого прироста — домены, купленные для спама поисковых машин, считает Илья Сегалович. Вы что думаете об этом?
Думаю, что Илье виднее. Он этим каждодневно занимается. Домены сейчас всё дешевеют, это правда. В некоторых зонах чуть ли не по
3-5 долларов.
Можно закупать их оптом и солить впрок. Забанили очередную пачку доменов — тут же вводишь в строй следующую. А домены из этой новой пачки давно зарегистрированы в Яндексе/Рамблере, просто пока не «залиты» текстом. Написано там просто что-то вроде under construction.
Пришло время — сгенерировал текстов, залил их на дорвеи, подождал очередного обхода индексного робота «Яндекса», подсунул ему эти тексты, затем включил для обычных браузеров редирект на «Рупоиск», и вот уже у тебя своя кнопка «рубить бабло».
Если дорвей получает с поисковиков
1-2 тысячи посетителей в месяц, он, по всей видимости, уже окупает покупку домена. А сейчас ещё ходят слухи, что некоторые регистраторы доменов могут сделать минимальным сроком аренды доменного имени всего 3 месяца. Почему бы вообще дорвейщикам не завести себе своего карманного
регистратора?
В свое время вы придумали «Спамтест» для борьбы со спамом, а для борьбы с дорвеями собираетесь что-нибудь придумать?
Пока нам своих проектов хватает. Клиентов-то потенциальных тут мало — всего три, хоть они и денежные.
А в «Гугле», «Яндексе» и «Рамблере» и без того есть свои отделы по борьбе с дорвеями.
Какое самое эффективное лекарство для борьбы с дорвеями? Какие средства, инструменты могут появиться в будущем?
Перспективнее всего тут будут социальные сети. То есть доносы, говоря проще.
Мы в
2001-2005 гг. построили лингвистическую лабораторию «Спамтест» по борьбе с почтовым спамом, она эффективна, раздаёт обновления в реальном времени, защищает только в Рунете
25-30 миллионов почтовых ящиков.
Этот опыт показывает, что небольшой коллектив специалистов, вооружённый умным и мощным ПО, вполне способен защищать в реальном времени десятки миллионов пользователей. То есть если программа делает 99% анализа, а человек только полирует, принимая решения в сомнительных случаях — всё отлично работает. Особенно, если есть поток жалоб от сервисов масштаба
Mail.Ru.
Так что, если ещё добавить социальную сеть по производству жалоб от вебмастеров, для которых борьба с дорвеями за место в «десятке» — очень естественная вещь, то вполне реально противостоять дорвейным технологиям и сообществу дорвееписателей.
Что думаете о проекте «Ответы@Mail.Ru»? Гендиректор Гришин хорохорится: с ним Mail.Ru открывает новую главу в истории поисковых систем в России.
Думаю, что проект прикольный. Как ещё один контентный проект Mail.Ru он будет, вероятно, успешен, но с поиском конкурировать пока не сможет. Тут будут острые проблемы полноты списка вопросов и мотивации экспертов. Пока неясно, как они решаются.
Как покрыть все потребности пользователей за счёт добровольных ответов? Неясно. Частые запросы в поисковики показывают, что есть «тяжёлый хвост» низкочастотных запросов, которые практически не повторяются. На них ответов не напасёшься. А запросов в поисковиках Рунета — десятки миллионов в день.
А кроме того, если «эксперты» — самоназванные, никем не верифицируемые, то качество будет не очень высокое. Хотя как развлекательно-познавательный сервис и место для тусовки — неплохо.
Ещё один контентный проект Mail.Ru делает вместе с вами? Расскажете о нем?
Нет, это я наверно, плохо выразился.
Я имел в виду, что проект «Ответы» в качестве ещё одного контентного проекта Mail.Ru, вероятно, будет успешен. Люди, показы, реклама и так далее. Но как поисковик на замену «Яндексу» и «Рамблеру» — навряд ли.
Весь прошлый год всех пугали приходом «Гугла» в Россию, и вот он пришел. Как, по-вашему, что-нибудь изменилось?
Ну вот, хотя бы то, что в
«Озоне» теперь другой директор…
Пока не сильно изменилось (хотя «Гугл» теперь умеет склонять русские слова, что тоже немало), но осенью изменится обязательно. Я думаю, Долгов там отложил про запас некоторое количество событий. В сентябре вообще начнётся, готовьте перья и бумагу, чтобы комментировать.
Русский «Гугл» сам научился склонять русские слова, или они купили технологию на стороне?
Насколько я понял, они взяли что-то в открытых исходниках и прикрутили к поиску сами.
Возможно, и купили что-то на стороне, у частного разработчика. В любом случае морфологические словари сейчас нет никакого смысла делать самим.
Когда «Ашманов и партнеры» выпустит собственный — большой — поисковик? Да, у вас есть тематические проекты, но нет ли желания залезть на огород «Яндекса», «Рамблера», «Гугла»?
Желание есть, мысли есть, работаем, рассказывать пока не хочу. Мало ли как пойдёт.
Сколько людей работает у вас в компании сейчас?
А их никто не считает, всем меняют фамилию на «Ашманов» и отправляют в окопы.
В общем, точно не скажу, многие работают удалённо, рассеяны по городам и весям, но думаю, человек 50.
Какова ваша основная статья доходов? На чем вы зарабатываете больше всего?
На продаже технологий и на поисковой оптимизации.
Как много компаний покупают технологию определения контекста на странице? «Бегун» в этом смысле — ваш самый большой клиент, но есть информация, что РЛЕ и «Вебальта» тоже могут стать вашими клиентами.
Мало их, настоящих буйных. Для покупки контекстного распознавателя для контекстной рекламы нужно иметь инфраструктуру — рекламодателей, способы принятия объявлений и денег. Или начать строить такую инфраструктуру параллельно с лицензированием и пуско-наладкой распознавателя. Так что переговоры эти обычно долгие, мучительные, заказчик сомневается, не может у себя построить нужную инфраструктуру, его IT-служба хочет запрограммировать всё сама, заказчик тестирует движки конкурентов, но зато потом отношения и деньги стабильные.
В общем, обычный мучительный бизнес по поставке ОЕМ-решений.
Покупателей в Рунете на наш движок — не больше десятка-полутора, но тут важно не количество фирм, а количество миллионов показов в день у конкретного покупателя. Потому что продаём мы технологию для распознавания темы (называющуюся «Семантическое зеркало») на условиях отчислений за 1000 запросов к серверу распознавателя, либо за % от доходов при использовании отчуждаемой библиотеки. В Рунете есть монстры с десятками и сотнями миллионов показов в день.
Про конкретные переговоры рассказывать не могу, естественно.
На какие бизнесы, по-вашему, следует обратить внимание в ближайшее время? Что кажется вам перспективным? Какую нишу планируете занять?
Мне кажутся перспективными всякие платные маркетинговые сервисы в интернете, а также всякие социальные поисковики. А вообще я бы хотел занять нишу где-нибудь на пляже и выспаться.
Сколько спите в сутки? 4 часа, как Кутузов?
Я, увы, не Кутузов.
А сплю как придётся, у меня маленький ребёнок, дочка, позавчера исполнился год.
Удастся проспать 12 часов — буду спать 12 часов.
А что читаете сейчас?
Я читаю массу электронных писем, по пятьсот-шестьсот в день, много договоров, актов и счетов-фактур — это основное чтение, для души.
Кроме того, читаю счётчик Тор100, списки новых персональных поисков, «Новотеку», почитываю «Хабрахабр» и
«Вебпланету».
Дома читаю еженедельник
BusinessWeek, отличную книжку
The Tipping Point — про социальные эпидемии,
Thank You For Smoking — про нехороший пиар табачных компаний. Читаю по-английски, с использованием
«МультиЛекса», естественно.
Начал было читать классическую книжку
Crossing the Chasm, но её забрал Тутубалин. Беллетристику практически не читаю. Вот отнял у детей и перечитал «Графа Монте-Кристо». Мне удобно перепрыгивать с книжки на книжку – по-русски я читаю быстро, по
200-300 страниц в день.
Куда ездили в отпуск этим летом?
В отпуск летом не ездил. В мае съездил в Турцию на неделю, в тихий семейный отель, лежал на пляже с книжкой вместе с женой и дочкой.
Какая штука, событие, тренд, по-вашему, обнажится осенью на рынке, о чем будут говорить больше всего?
Думаю, с шумом выкатят несколько новых социальных сетей, в том числе более «деловых», для серьёзных целей, для бизнеса, поиска персонала и т.п..
Поисковики («Яндекс», «Гугл») наверняка выкатят новинки, новые функции поиска и новые алгоритмы борьбы с шумом.
Ну, как мы знаем, «Вебальта» обещает прекрасный новый мир без «Яндекса» и «Гугла», осенью обещают выкатить поисковик мирового класса, после чего начнётся бурное его продвижение. Появятся новые рекламные сети с новыми классными фишками.
Должны появиться несколько серьёзных контентных проектов нового типа.
В любом случае основной тренд будет — большие инвестиции и новые игроки.
Но самые главные новинки нам угадать вряд ли удастся, иначе мы бы с вами сами их придумали.
комментарии (75)
Есть такая кривая шумихи Гартнера (Hype curve), которая говорит, что сначала новая технология болтается возле нуля, медленно растёт. И никто особенно её не замечает. Потом срабатывает некий триггер (им может быть новое качество или способ зарабатывать деньги на технологии) и начинается бешеный рост. Возникает пузырь - шум, инвестиции, новые проекты, юные миллионеры из гаража и т.п. Потом, на вершине пузыря, срабатывает второй триггер (разочарование) и рост сменяется бурным падением. Проекты лопаются, случайные инвесторы бегут как крысы и т.п. А уже затем внизу дуги падения срабатывает третий триггер и рост начинается снова, но уже на твёрдом основании реального бизнеса.
Так вот в Вебе триггером стал запуск первого браузера Джимом Кларком. Вырос пузырь доткомов, не зарабатывающий денег. Этот пузырь раскручивали все журналисты и аналитики, и на него купились все инвесторы. Потом сработал некий второй триггер и пузырь лопнул. Почему пузырь лопнул (и кто именно его ткнул иголкой) - это более долгий разговор, но это случилось. Потом в самой пропасти падения вдруг включился новый, третий триггер. Какой? А это более-менее ясно - контекстная реклама. Вдруг был придуман способ зарабатывать на Вебе.
Включил этот триггер кто? Правильно, поисковик Гугл. Хотя собственно контекстную рекламу придумали не в Гугле, а в Увертюре.
Вот все и стали неожиданно одержимы поисковиками. Особенно ивесторы, которые привыкли бегать стадами, как лемминги. Мы сейчас находимся в начале или середине второго периода роста Интернета, на реальном твёрдом основании больших денег.
Что касается Дьюланс, я не очень понимаю, была ли там настоящая инновация. Проект куплен Гуглом, не очень задорого (насколько я слышал), автор взят на работу диерктором русского офиса разработки. Какого-то волшебного качества, так, чтобы начать новый пик ажиотажа, этот проект, по-моему, не показывал. Я пробовал искать в нём, ничего не понял. Но уж точно чувства "ух ты!" не испытал.
Хотя в принципе специальные поисковики - это явно будущее.
Да и теги могут быть реальной инновацией, как и обмен запросами или результатами поиска. Может, следует ждать следующего поколения поисковой технологии, которая будет работать не с одной страницей, а разбирать сайт целиком и показывать его в результатах в виде некоторой карты, структуры. Извлечение фактов тоже может дать дорогу новому поколению поисковиков. В общем, идей там много.
Что касается Dulance - Имелась ввиду не инновационная технология (может там все вручную отбиралось или шаблоны составлялись, я так сам делаю), а сама идея поисковой машины - т.е. не вот этот размазанный по всему рунету поиск "Цветов", а именно "Где купить Цветы?". Вот этого почему то нет - все погнались за уставревшими идеями и, что прискорбно, технологиями.
Что касается товарных поисковиков, их в Рунете тоже много. Есть уже пару лет http://www.dash.ru, есть наша незаконченная пока Аппликата - http://applicata.ru, есть Тындекс - http://www.tyndex.ru.
Другие специальные поисковики тоже есть, например, http://iligent.info.
А ещё, например, есть почти триста частных поисковиков, сделанных за это лето на основе бета-версиии нашего Персонального поиска: public.novoteka.ru/all. Там везде как раз чистый тематический Веб, отобранный алгоритмами или вообще руками.
там уже почти год про это написано в их Vision на http://www.quintura.com/ru/quintura/appr…
Получается что он на самом деле за Quintura продвигает их вижн :))
Я, к счастью, могу совершенно точно сказать, откуда я "взял эту тему". Примерно года два назад эту идею высказал Виктор Ремша, гендиректор Финама, когда мы с ним обедали в ресторане и обсуждали инвестирование наших "Поисковых технологий". Я поразился точности формулировки и с тех пор стал её использовать в дискуссиях и докладах.
Я думаю, скоре всего пиарщик Квинтуры как раз подцепил эту простую, но броскую идею с одного из моих выступлений, которых за два года было штук десять на разных КИБах, РИФах, наших конференциях по оптимизации, E-Target-ах и т.п.
Но мне не жалко, пусть пользуются - тем более, что не моё. Да и вообще уже стало общим местом.
Во-первых, я полностью согласен с утверждением, что существенная часть прироста национального доменаиспользуются для спама. Клиенты хостинга перешли уже от вопросов к требованиям сделать API к интерфейсу управления поддерживаемыми доменами, чтобы можно было управлять ими средствами автоматизации клиента. Ситуация "а у вас зарегистрировать 100 доменов можно?" стала обыденной. Т.е. с моей колокольни видно тоже самое :)
Во-вторых, агрессивность поисковиков может привести к некоторой внутренней конфронтации между поставщиками контента и поисковиками. Обратите внимание, я практически нарываюсь на неё. И у меня есть веские основания. Люди, вложившие даже и не огромные деньги на оптимизацию ничего слышать не хотят об увеличившихся нагрузках на сервера. Точно так же они, естественно, я их прекрасно понимаю, ничего не хотят слышать о блокировании индексирования их ресурсов. Да, 1, 2, 10, 50 - возьмут свой сервер, три сервера, четыре... Но 5000 этого делать не будут. Т.е. развитие ситуации обязательно породит конфликт, если не случится чудо. Судя по переписке с некоторыми поисковиками (uni, привет! :), чудо случится вряд ли.
В-третьих, я крайне не согласен с отсутствием вреда от оптимизации. "все сайты, на которые затрачены солидные деньги – это настоящие, живые сайты, с приличным контентом и дизайном" - это, конечно, в некоторой степени так. Но никакой заслуги оптимизаторства здесь нет. Здесь есть заслуга денег и желание удержать клиента, и только некоторое совпадение создаёт описанный ореол благополучности. Что, в принципе, не плохо, конечно. По моей черновой оценке, подавляющее большинство оптимизаторов даже не подозревают что такое "настоящий сайт". "Живой сайт с приличным контентом" в свете оптимизации поиска иногда совершенно противоположен "живому сайту" который нужен для бизнеса. И только молодость этой деятельности (seo) и мода на поиск дают пока желаемый эффект. Что, например, произойдёт, когда одинаково хороших сайтов фирм, работающих в одной нише, в одном месте станет, например, 100? Пойдёт война за каждое слово? А когда таких примеров станет 100? Боюсь, что текущий бум "доткомов", порождённых контекстной рекламой, поиском и взросшей на этом поисковой оптимизацией, и задушит текущее состояние окружения поиска.
Надо понимать, что по большинству конкурентных запросов ситуация уже такая, что есть 10-15 мест в выдаче, а оптимизированных, релевантных сайтов, за которые готовы платить деньги - 100 или 200. Возьмите "пластиковые окна", "кондиционеры", "Кипр", "бассейны" и т.п. Заметим, что поисковику всё равно, кто из них сверху - с его точки зрения они почти одинаковы.
Разработчики поисковиков уже не раз проговаривались, что могут вообще включить ротирование первой сотни, не роняя релевантность.
А какой рост нагрузки и по какой причине Вы имеете в виду? Я так понимаю, Вы говорите о ситуации с точки зрения провайдера или хостера. Можете пояснить?
Т.е. я отстал от жизни... Все вокруг в той или иной степени уже получается оказывают противодействие поисковым роботам... :)
Вы пишите что у вас клиенты приходят с пачками по 100 доменов под спам и вы их размещаете на серверах где сидят обычных клиенты. А вы не боитесь что завтра народ задолбается банить домены по штучно и обратит внимание что у вас всего лишь одна одна класса "C" например и вынесет ее полностью, включая ваших белых и пушистых клиентов?
Я вам по секрету скажу, подобные штуки начали происходить в адулт-дорвей-индустрии с 2001года (см крутоп например), вони было жутко сколько, с тех пор любой хостер берется за дорвеи только если они в разных сетях от основной массы клиентов. Фактически беря дорвейщиков вы подставляете всех своих клиентов и свою компанию, делая это так не умело.
Рассмотрим вариант номер два и опустим сайты пустышки с нагенерированными по 200тысяч страницами, которые например наш бот выкачивает у вас и создает Вам дискомфорт, а вы пишите после этого нам злобные письма про наши алгоритмы работы и так далее...
... сайты у вас приличные, клиенты нормальные, сидят на вируталах, пусть даже по 300 клиентов физически на связку из двух серверов-кластера. В среднем на 1 домене в РУНЕТе находится менее 200 страничек, тоесть всего 60тысяч хитов необходимо сделать нашему боту к вашему 1 серверу за 2 недели.
Вы считаете это много? По 5тысяч хитов в сутки...
Я бы посоветовал Вам пересмотреть свою позицию на вопросы дорвеев, клиентов и поисковых ботов, тк такими темпами все придет к тому, что Ваш хостинг будет просто забанен, а на вопросы владельцев сайтов почему сайт не проиндексирован будет один ответ - данный хостинг забанен и предложение его сменить.
Опустим сайты-пустышки? Я правильно понимаю, что тому клиенту я должен написать: "Мы вас выключили по закону установленному неким uni. Ему показалось, что Вы размещаете сайт-пустышку. До свидания, благодарим за сотрудничество." Замечательная идея. Я полагаю клиенты это оценят.
Никак не могу помешать Вам кого-то банить или нет. Если Вы считаете свои обоснования удачными, а результаты бана эффективными - это только Ваш выбор.
Я говорю о нагрузке с точки зрения хостера. Я сталкиваюсь с непониманием проблемы на всех уровнях. Владельцы сайтов зачастую мечтают только о первой позиции в поисковике и слышать ничего не хотят о ресурсах и о настройках индексации. Поисковики обычно как океан - они и не поддерживают агрессивность владельцев сайтов, но и никак не умеряют собственную. Проводить политику "каждому сайту по выделенному серверу" я считаю странной и противоествественной. Я могу провести тут аналогию со спамом - его на почтовые сервера вливается ровно столько, сколько позволяет мощность этих серверов. Увеличиваем - увеличивается поток. Боюсь, что выделенные сервера для каждого сайта оттянут, но не решат проблемы. И остаётся открытым вопрос, а что делать с теми, кто слыхом не слызивал ни о каких поисковиках? Кому в настройках по умолчанию отдать предпочтение? По умолчанию разрешить индексацию, как это сделано сейчас, или запретить? Запрет - это уже противодействие. Более того, я не буду никого сдавать, но мне известны конкретные крупные хостинговые компании, которые уже ввели в действие программное обеспечение противодействия поисковым роботам.
2. Буквально на днях один из коллег обратил мое внимание на управление кешем браузера через http-заголовки (304 хттп-статус и т. п.), которое многие современные динамические сайты не поддерживают, в то время как боты эти заголовки понимают - им гонять тонны необновившихся страниц неинтересно. Я бы рекомедовал вести разъяснительную работу на эту тему и оказать тех. поддержку, если это, конечно, возможно и оправдано.
3. Банить всякую шушеру - libwww-боты, неизвестные боты, referer-спамеров, всякую неинтересную клиенту экзотику, типа Baidu, и т. п.
Т. е., в-принципе, методы по умерению аппетитов ботов существуют.
Если это мало крупных - то можно обойтись тюнингом и консультациями... Судя по вашей реакции - много всяких)))
P. S. Читнул первый пост с комментами в вашем жж - а какой должен быть правильный ответ?
Только надо делать скидку на то, что многие домены просто припаркованы, а многие сайты имеют по два псевдонима. Где-т на два надо поделить.
Правильный ответ? Не знаю. Знал бы - не спрашивал.
они и так забанены где только можно )
rupoisk.ru
Возможно - ситуацию с мёртвой точки сдвинут методы визуализации результатов (выдачи) и интерфейса поиска?
Позволю себе следующую аналогию (возможно не совсем в 10-ку, но всё-же) - вёрстка сайта ручками на HTML (ручной поиск с определением и уточнением поискового запроса) и конструкторы сайтов - различые редакторы (т.е. поиск с применением средств визуализации) ...
Ваше мнение?
Линейный поиск, один за раз, в командной строке, на рубленом языке, без возможности задать настоящий "человеческий" вопрос, выдача аутичная, линейная, с кучей технической информации и без по-настоящему нужных данных.
Вот посмотрите на Windows XP. Вы наводите курсор мыши на каталог - вам показывают объём, начало содержания и т.п. А в DOS вам предлагали набрать dir и читать таблицу содержания. Как сейчас в поисковиках.
В Виндах вы можете зацепить в одном окне кусок текста или даже целый объект (хоть каталог, хоть архив) и перетащить в другое окно. Кидаете файл на DVD- y записывается. А в DOS что приходилось делать? Даже в Нортоне?
Аналога drag-n-drop в существующих поисковиках нет - например, объединения или пересечения запросов, откладывания в корзину приглянувшихся результатов, нет уточнения запроса путём помечания в предыдущих результатах того, что уже подходит, ну и так далее. Я бы, может, пощёлкал по словам на найденных сайтах и сделал таким образом новый запрос - но нет возможности.
Нет вопросов на естественном языке, нет сбора результатов в подобие энциклопедической статьи или дайджеста.
Нет настоящей полезной пользователю информации о главном объекте поиска - сайте - его автоматически создаваемой аннотации, дайджеста по всем страницам, сведений о владельце, популряности сайта, его размере - то, что в Виндах давно уже общее место. Вместо этого показывают невразумительную дату, размер в байтах и т.п. - ну как в DOS по команде dir.
Нет истории моих поисков и увязывания, учёта их смысла при новом запросе. Нет возможности создать любимые запросы и пополнять их нажатием мышки, как Favorites в браузере, ну и так далее.
То есть кое-что из этого можно как-то организовать, если есть время, квалификация и острое желание понастраивать Гугль или Яндекс, но это мучительно, а большая часть может быть сделана только на стороне сервиса.
Ну, как с языком запросов - он мощный, да, но в стиле DOS, для инженеров. Вот и пользуются им 1-2%. Помните, были в MS DOS такие escape-последовательности? В 1985-1990 годах считалось шиком ими владеть. Batch-фалы писать и т.п. - и всё это должен был уметь обычный пользователь. Я помню, Фигурнов этой ерунде посвящал целые главы в своём руководстве.
Пока не появились Windows, где ничего этого не надо и серии руководств "Для чайников".
Да, кое-что уже появляется -пресс-портреты в Яндексе,портрет сайта в Гугле (пробегал скриншот) и т.п. Как перед приходом Виндов уже начали потихоньку то тут, то там использовать мышку, графические интерфейсы, кнопочки, и даже WYSIWYG.
Я именно переход к новому пользовательскому интерфейсу поиска с описанными и другими "фичами" и называю созданием Windows для поиска.
А по поводу поискового спама, фильтров и всяких нововведений - по-моему петух для традиционных универсальных поисковиков уже прокричал. Их функции уже кластеризуются и реализуются отдельными частями в специализированных сайтах. И надо сказать что пользоваться этими специализированными сервисами в этих самых отдельных случаях намного удобнее. Я например уже пользуюсь универсальными поисковиками скорее в исключительных случаях, когда не могу найти нужную информацию в узком наборе информационных сервисов. Например самые лучшие фильтрованные новости текут по RSS из блогов. Т.е. фильтрация через социальную сеть уже вроде как работает. Вот на данную статью я набрел по фразе "всем меняют фамилию на «Ашманов» и отправляют в окопы" из блога Антона Носика :) Тематическую информацию лучше искать на соответствующих сайтах, а не пытаться разгребать кучи мусора в выдаче.
А всякие феньки в виде дополнительных сервисов у поисковиков использовать не очень удобно. С моей точки зрения они как и сами поисковики концентрируются на универсальных технологиях поиска и представления его результатов. А мне как пользователю нужна конкретная информация, желательно в самом удобном для использования в этом конкретном случае виде. И на сложности у разработчиков с побочными эффектами универсализации типа "аутичных листов" глубоко плевать.
Вот кстати одно из отличий области операционных систем - в смысле возможностей кастомизации они изначально социальны и популярной операционную систему делает
в первую очередь армия разработчиков, а потом уже пользователи. Это кстати на мой взгляд может быть одним из направлений развития поисковиков. Было бы здорово если бы любой разработчик мог реализовать новый сервис на технологической базе Гугла например. Т.е. Гугл уже стал бы операционной системой, разработчики на его основе построили бы город новых забавных узкоспециализированных сервисов. И всем стало бы лучше, включая естественно простых пользователей. Вместо Доса универсального, но тупого сервиса, появилась бы XP - большой каталог узкоспециализированных и по всякому кастомизированных более мелких сервисов.
Персональный поиск и делайте свой поисковик - это как раз оно самое и есть.
Там всего под тысячу тестеров, а публичных поисков 280 с гаком. Что уже авторы поисковиков сделали и опубликовали, можно посмотреть
тут. Довольно прикольно, если полистать, чего только люди не придумают, каких только интересов не бывает.
Общий каталог и и "поисковик поисковиков" выкатим осенью.
Мне больше интересно было бы например поковырять уже набитые данные через аналог гугловского map-reduce например, а потом и визуализировать результаты своим способом. Датамайнинг с нуля это та еще проблемка, а на существующем фреймворке типа гугловского можно такие задачи довольно просто реализовывать, вот о чем речь. Так что всякие API к поисковикам и персональные поиски а-ля гугловский поиск по сайту это на мой взгляд конечно здорово, но это как раз и есть пока командная строка на черном экране.
Выдача в XML - есть, но платная. По очень простой причине - поисковик с XML-Ем - это способ быстро делать узкотематические дорвеи. Поэтому открывать XML мы пока опасаемся.
К вопросу "зачем это надо" - поисковик с реализованными вышеприведёными плюсами, на мой взгляд, привлечёт дополнительно очень большой поток пользователей - в первую очередь именно за счёт удобства.
Хотел немного развернуть свою мысль из первого коммента - вместо того, чтобы разгребать кучу технически перегруенных результатов поиска (представленных в виде списка плохо структурированных кусков текста) - ищущий работает с визуальной моделью, отражающей пространство результатов поиска, в т.ч. визуально же отображая структуру данного пространства. Например: простарнство результатов поиска представлено в виде 3д-модели скаем шара, который имеет сектора с разным цветом - скажем один цвет - сайты с 100% попаданием запроса, другим - от 50 до 100, далее например по фактуре - отображаются типы найденых документов и т.д.
Аналогию из жизни попробую такую (хотя она не бытовая) - вместо того, чтобы прочитывать горы бумажной документации и отчётности по организации, бизнес-консультант работает с моделью бизнес-процессов, отражающей как бизнес-логику, так и содержащую разичные функциональные элементы. Работе с моделями бизнем-процессов, кстати, а именно их чтению и пониманию те же руководители компаний учатся очень быстро.
Работает ли кто-либо в этом направлении?
Интервью интересное, данке шён.
Наверное, за него иногда пишут "и партнеры" :)
Вообще, из партнеров только Тутбалин более-менее активно участвует в дискуссиях.
он сам говорил "...приписку Ашманов и в окопы..."
(отображение "№" - в комментах исправили? как с "ё" - проблема там...)
А тут сразу переключиться и сделать "избранные".. не по зубам это мне =)
И ближайшую неделю я буду фиксить баги и делать фичи по списку (что накопился за 2 недели)
А потом сразу сделаем и избранные =)
Я не организую время каким-то особым способом, а просто пишу быстро.
Я лично сам удивляюсь на блогописателей в ЖЖ, например. Вот уж где времени навалом. Там такие есть громадные человекоподобные боевые роботы с такой чудовищной огневой мощью, что лучше даже не смотреть, а тихо прокрадываться мимо.
А насчёт того, что с поиском они справляются неплохо - это несколько оптимистичное утверждение. Вы поищите что-нибудь популярное, да вот фентермин хотя бы...
Но, в общем, спорить тут нечего - если кто-то в мире поисковиков выкатит спички вместо кресала, мы это сразу увидим.
P.S. Я, кстати, знаю пару парней, которые начинали в ВЦ РАН работать на ПК ещё году этак в 1983-1984. А пот м я видел, как ещё году в 1993 такой компьютерный первопроходец, увидев на компьютере Windows, нахмуривался, начинал сопеть и искать кнопку для выхода в командную строку. А уж там набирал dir, и ему сразу становилось легче. Norton Commander, кстати, он тоже безжалостно выгружал, чтобы не мешался. Потому что это всё лишнее, баловство, окна там всякие, кнопки.
А что огниво от зиппо и колесо от тойета научились делать принципиально новые вещи, может думать?
Еще вы сетуете на то что по запросу "цветы" в верхних результатах выдается только доставка по москве. А я думаю какой вопрос такой и ответ :). Вы в своем поисковике что выдаете -доставку цветов в мухосранске? Если надо что то найти надо более точно формулировать запрос например - доставка цветов мухосранск. А то если так не делать получится как в анекдоте -
Василий Ивановичь на подводной лодке кричит Петке - трубка 15
Петька отвечает - гайка 54
ВИ - что гай 54?
Петка - а что трубка 15?
1) Поиск в вопросах пользователях. Чтоб можно было найти наиболее лучший и эффективный запрос.
2) Фильтр для поиска по размеру сайта. Т.е., например, искать только в "больших сайтах", где более 1000 страниц. Или по посещаемости сайта фильтр, хотя может Рамблере это есть, но я им не пользуюсь совсем :)
Жаль, что все считают что для поиска нужна только одна строка ввода и кнопка "Искать"!
Из книги: «Персональные ЭВМ в инженерной практике», М. Радио и связь, 1989.
Одним из примеров громоздкой и, по мнению авторов, бесполезной
надстройки является интегрированная система WINDOWS фирмы Microsoft.
Эта система занимает почти 1 Мбайт дисковой памяти и рассчитана на
преимущественное использование совместно с устройством типа «мышь»...
Таким образом, читатель уже понял, что среди надстроек над ДОС бывают
довольно бесполезные системы, которые только выглядят красиво, а на
самом деле отнимают время пользователя, память на дисках и оперативную
память ЭВМ. Обманчивая красота таких систем, однако, сильно
воздействует на неискушенных пользователей, которые не имели практики
работы на машине. Инерция мышления бывает столь сильна, что авторам
приходилось наблюдать, как люди, начавшие работать с подобной
надстройкой, впоследствии с трудом заставляют себя изучать команды
ДОС. Хочется предостеречь от этой ошибки читателей ...
и с удивлением обнаружил на полке у хозяйки порошок tide с
той самой желтой надписью New в уголке, который (порошок)
и сегодня все тот же tide, все тот же new. В добавок,
недавно изучал новый офис 2007, и в очередной раз понял,
что 90% пользователей вполне достаточно использовать excel 5.0
под windows 3.11 (и в плане интерфейса, и в плане функций, надежность
3.11 отдельно :) ).
К чему я все это, да к тому, что сегодня войны между поисковиками
напоминают те же маркетинговые потуги (да пусть не обижаются PR-щики
и рекламщики) с шильдиком New, с ежегодным более свежим запахом
и более сияющей чистотой.
Пример из жизни: долго-долго на рынке персональных компьютеров идут войны за герцы, дюймы, попугаи и т.д. - и вот появляется ноутбук.
Внутри те же герцы, дюймы, попугаи - но удобство и комфорт повысились на порядок. Объёмы продаж ноутов уже сравнялись с персоналками.
Сами пользуетесь?
и первое время активно набираешь 09 :). Ну а потом потребности в справочной службе постепенно _но_верно_ снижаются. И мне кажется подобный сценарий, вполне возможен и с поисковиками (с учетом роста спец.сервисов, соц.сетей и т.п.). Хотя, сегодня, когда количество интернет-пользователей постоянно растет (по крайней мере, у нас в России), возможно о нем еще рано говорить.
а ноутбуком пользуюсь ;).
И он ведь не занимается оптимизацией сайтов по поисковым запросам (оптимизация релевантности объявлений это немного не то), так что снова не знаю, что Вас так тронуло.
И дело даже не в интерфейсе нынешних поисковиков, а в самой идее, концепции и алгоритмах, на которых они работают.
То есть системная проблема в том, что теперь мало просто найти ссылки на то, что есть, это уже как "вода из крана"...теперь нужно структурировать не ссылки, а саму информацию...
Надеюсь, я понятно объяснил...=)
"Пока же никто, кроме высокооплачиваемых аналитиков этого сделать не может, по крайней мере, роботы." - потому этии люди пока без высокооплачиваемой работы не останутся.
Вся эта рубиловка бабла на контекстной рекламе процесс не бесконечный и все это прекрасно понимают и суетливо пытаются найти новую бинес-модель и технологию этого самого рубилова $$$$$$$$
Кто уже не первый день имеет широкополосный доступ в Интернет, уже давно разочарован в нынешних поисковиках.
Но ведь кто-то втихаря наверняка что-то придумал очень интересное и перспективное и главная задача всего этого - вывалить это так на рынок, чтобы не остаться под обломками всего того, что было сделано до этого.
А по поводу того, что и что придумал... каждый день люди придумывают кучу идей, проблема только в том, что они до последнего момента не знают насколько их идеи интересны и перспективны.
Нет, то что они интересны, никто из изобретателей не сомневается, а вот в том, что они перспективны... только жизнь покажет...
Тем не менее, надеюсь, что робот, который может писать аналитические отчеты и строить прогнозы даже будучи придуман, не сможет реально создавать ценность... верить в это мне позволяет следующее соображение:
Допустим, будет придуман робот, способный более менее надежно строить прогнозы... но тогда эти роботы будут везде и у всех будет один и тот же прогноз... но тогда, многие люди доверяя этому прогнозу будут действовать совсем по-другому, нежели они действовали иначе... и тогда прогноз не сбудется.
Думаю роботы никогда не смогут СОЗДАВАТЬ информацию, они смогут ее лишь искать, сортировать, отжимать... первые два действия они кое-как делают, а вот второе пока еще не могут. =)
Если Вы хотите научиться вязать носки (или шерсть выбрать, что угодно), то Вы заходите на вязальный форум (блог, или что-то типа хабрахабра) где водятся "вязальщики" и там в поисковой форме вводите "носки". Получаете информацию о том, как их вязать.
Если Вы хотите понять, насколько полезно ходить в носках, вы идете на любимый медицинский портал и там уже ищете "носки".
То есть, тематический поиск следует размещать там, где ясно, что собственно пользователь хочет.