Рейтинг веб-студий «TOP-100» — обзор критики и комментарии организаторов

Сразу оговорюсь — этот материал писался мной специально для Хабра. Хабрахабр — сообщество, на котором идут максимально адекватные обсуждения (и критика в основном аргументирована), плюс есть попадание в целевую аудиторию.
После старта проекта «Рейтинг TOP-100 ведущих веб-студий Рунета» возникло много обсуждений, предложений и критики на различных ресурсах. Часть критики можно признать обоснованной, и поэтому мне хотелось бы прояснить нашу позицию, почему мы проводим проект именно так, рассказать, собственно, «как» мы его проводим, а также ответить на ряд вопросов, звучавших в наш адрес, в том числе и на Хабре.
Сначала очень коротко расскажу о проекте. Кто не видел, может залезть на сайт и получить подробную информацию.
Кратко о проекте
Проект представляет собой исследование рынка разработки сайтов в Рунете. В рамках проекта проводится опрос представителей веб-студий и независимых экспертов, с целью определить количественные показатели рынка (объем, количество игроков, распределение по регионам, портрет средней студии и пр.), а также построить TOP-100 ведущих компаний по занимаемой доле рынка (по мнениям участников рынка и экспертов). Cайт проекта — http://2007.tagline.ru.
Проект стартовал 14 марта. За неделю предварительной регистрации в рамка проекта зарегистрировалось более 300 веб-студий и был привлечен ряд независимых экспертов, а также информационных спонсоров. Сейчас — с 23 по 30 марта идет голосование. Компании, не успевшие пройти регистрацию предварительно, имеют возможность сделать это прямо сейчас во время опроса. Результаты исследования и сам рейтинг будут опубликованы 3 апреля.
Перейдем теперь к основным вопросам и претензиям, которые предъявляют критики:
Основные претензии критиков
Если брать критику обоснованную, то можно выделить несколько базовых вопросов и претензий, адресуемых в адрес проекта. Попробуем ответить на них и разъяснить нашу позицию:

• Рейтинг необъективен, потому что основывается не на реальных данных по оборотам студий, а только на мнении представителей студий и экспертов, чья осведомленность — еще вопрос.
  C точки зрения реальной оценки оборотов компаний рейтинг действительно нельзя назвать на 100% достоверным. Однако мы об этом нигде и не говорим. Наоборот, везде, где только можно, подчеркиваем, что рейтинг отражает только мнение профессиональной среды о распределении лидеров, причем большую роль в оценках экспертов играют не только оборот компании, но и уровень ее известности. Тем не менее, с этой оговоркой, информация, предоставленная нами — достоверна и может использоваться как реальный инструмент. Проблема в том, что создать объективный рейтинг именно по оборотам на данный момент невозможно — рынок слишком размазан, существует огромное количество мелких игроков, чьи обороты подсчитать просто нереально. Крупные компании свои обороты также не раскрывают. Проводя оценки по портфолио или количеству сотрудников с поправкой на норму прибыли — можно ошибиться в разы. А если с одной компанией ошибиться в плюс, а с другой в минус — получится разница в оценке оборотов на порядок у равных компаний. Поэтому сформировать рейтинг на основе объективных и достоверных оценок сейчас невозможно. Как только, а мы на это надеемся, ситуация на рынке перестанет быть такой непрозрачной, мы немедленно предоставим общественности данные по реальному распределению оборотов.
  
• Непонятно, зачем этот рейтинг вообще нужен? Получается междусобойчик между студиями, а действительно интересные данные никто раскрывать не будет.
  На вопрос, зачем нужен рейтинг и исследование, отвечу ниже. Далее, текущий масштаб проекта (более 300 студий) не позволяет говорить о междусобойчике — слишком велико количество опрашиваемых. Насчет интересности данных — неужели людям, работающим на этом рынке, не будет интересно услышать мнение лидеров из десятки, экспертов и просто большого количества своих коллег, которым нет смысла искажать информацию в общих вопросах по рынку? Не поверю.
  
• Рейтинг — PR акция кого-то там, все места куплены.
  Это неконструктивная критика, хотя довольно частая. Отвечать на нее не буду, потому что смешно. И смешно будет любому человеку, знающему рынок и видевшему состав экспертов.
  
• Данные по исследованию никому не нужны и покажут лишь «среднюю температуру по больнице».
  Это, смотря как их преподать. Мы не планируем тупо усреднить все полученные данные в рамках опроса. Мы предоставим распределение всех параметров, а также проведем тщательный анализ по всем интересным показателям. Что именно, какие отчеты и параметры войдут в наше исследование — я написал ниже.
  

Кстати, в плане конструктивного анализа методики проведения рейтинга в прошлом году интересный материал написал Дмитрий Васильев, директор компании-разработчика «Аист».

Зачем и кому нужен рейтинг и исследование?

Отдельно хочу остановиться на вопросе, зачем и кому рейтинг и исследование рынка может быть интересно и полезно.

Целевая аудитория:

• Разработчики, представители студий
  Рейтинг интересен представителям студий по многим позициям. Во-первых — самоидентификация своего места на рынке. Во-вторых, спортивный интерес, попадем ли мы рейтинг. В-третьих, получение реальной информации о состоянии рынка. И в-четвертых, коммерческий эффект от потенциальных заказчиков, которые рейтингом будут пользоваться.
  Исследование интересно разработчикам даже в большей степени. Для грамотной работы любой компании ей нужна информация о рынке, на котором она работает. Рынок же создания сайтов находится в информационном вакууме. Один факт, что до меня в прошлом году никто не оценивал объем рынка — уже говорит очень о многом. Маркетинговой деятельности у большинства компаний на рынке нет, а информация очень нужна. Собственно, идея провести такой проект и пришла мне в голову, когда очень понадобились реальные данные по рынку — а их не было.
  
• Заказчики
  Если данные исследования по рынку заказчикам нужны в основном как вспомогательная информация для расширения кругозора, то рейтинг можно превратить в реальный инструмент. Я не призываю ни в коем случае заказчика использоваться рейтинг как основной критерий подбора подрядчика, это было бы глупо. Но как инструмент вспомогательный, один из фильтров подбора подрядчика — почему нет. И более того, по итогам прошлогоднего рейтинга я регулярно слышу о различных тендерах и проектах (как для общероссийских и мировых брендов, так для локальных компаний), где круг подрядчиков составлялся с учетом рейтинга. Опять же, учитывая отсутствие аналитической информации по рынку, заказчику надо ориентироваться хоть на что-то, и рейтинг (при правильном понимании метода его формирования) может послужить существенным подспорьем. Надо при этом помнить, что в рейтинге речь идет о мнениях игроков рынка, а также только о доле компаний — ничего о качестве, ценах и пр.
  
  В конечном итоге, внимательное прочтение результатов исследования и рейтинга поможет представителям заказчика избежать многих ошибок, которые они склонны совершать. Также, как, например, написанная мной для Хабра статья про типовые менеджерские ошибки, совершаемые заказчиком при разработке сайта.
  
• Интересующиеся/новички
  Им проект дает интересную информацию для размышления, которая поможет им, если они когда-нибудь столкнутся с рынком на практике.

Что войдет в исследование и как оно проводится
Расскажем, какого рода информацию и приложения мы планируем включить в финальный отчет и рейтинг:

Общее исследование рынка

• Анализ текущей ситуации на рынке (+ избранные комментарии экспертов)
• Выявление основных проблем рынка (+ избранные комментарии экспертов)
• Количественные данные по рынку и их анализ: (+ избранные комментарии экспертов)
• Основные тренды развития рынка (+ избранные комментарии экспертов)

TOP-100 студий

• Итоговый рейтинг TOP-100 ведущих студий Рунета 2007
• Подробный анализ рейтинга, сравнение с прошлым годом, выявление тенденций
• Избранные комментарии экспертов по их вариантам голосования
• Комментарии «a posteriori» представителей студий из TOP-10
• «Малый рейтинг» студий по версии независимых экспертов, сравнение

Приложения

• Все комментарии экспертов и представителей студий по всем общим вопросам
• Распределение студий по платформам разработки сайтов
• Распределение студий по типам использования своих/сторонних CMS-систем

Рейтинг основывается только на результатах опроса представителей студий и экспертов. Исследование базируется как на результатах опроса, так и собственных данных нашей группы. В рамках собственного исследования был сформирован каталог более чем на 800 действующих студий, собрана и проанализирована разнообразная информация по ним. также были проведены выборочные оценки различных сегментов рынка, собраны данные с большого количества компаний-заказчиков по распределению Интернет-бюджетов, проведены параллели с рынком Интернет-рекламы, а также решен ряд других исследовательских задач. На основании этих данных и будут сформированы финальные отчеты.
В завершение хотел бы добавить, что наш проект всегда открыт для конструктивной критики, а также любые идей. В наших планах проведение ряда исследований на рынке с использованием других методологий, которые мы постараемся провести в ближайшее время.
Материалы по теме:
Ну и напоследок — краткий обзор материалов по проекту и его обсуждений, чтобы сформировалась полная картина:

• Обсуждение старта проекта на Хабре
• Материал о старте проекта на AdMe
• Интервью на AdMe
• Материал на Вебпланете
• Материал на Взгляде
• Обсуждение на форуме Состава — недружелюбное =)
• Материал на Telnews
• Материал на Seonews
• Обсуждение на форуме E-xecutive