iConText
Компания
25,71
рейтинг
2 августа 2011 в 12:05

Разное → Веб-аналитика: Не все цифры одинаково полезны

Нас всё время спрашивают: какова погрешность сбора данных в Google Analytics? Какому счетчику лучше доверять? Нельзя ли избавиться ото всех несовпадений и получить точные цифры посещаемости?
Мы всегда отвечаем: погрешность обычно около 10%, явного лидера по точности нет, убрать все ошибки невозможно — так уж устроена технология.
Практически никто не понимает, что неточный сбор данных — это не единственная ошибка, влияющая на результат анализа. Даже идеально собранные данные не позволят нам точно подсчитать нужные показатели на сайте (прежде всего, процент конверсии). Собранных данных может быть недостаточно! Это понимает каждый: если на сайт пришли всего 15 посетителей и ни один из них не заполнил форму заявки на кредит, о конверсии говорить рано. Так подсказывает нам здравый смысл; но в какой момент можно сказать, что данных хватает? Ждать ли еще 100 посещений? 200? 500?

Когда мы ведем рекламную кампанию, мы платим за каждого посетителя. Данные веб-аналитики должны подсказать нам, какие из объявлений зря расходуют бюджет, какие ключевые слова для нас важнее. Нам необходимо узнать результат как можно скорее! Когда же он будет готов?

Здравый смысл в решении этой задачи — не помощник. Дело в том, что при анализе статистических показателей мы сталкиваемся со случайными процессами. Наш мозг пытается представить себе равномерный процесс: если конверсия на сайте 10%, нам кажется, что конвертироваться будет именно каждый десятый:



Даже если мы понимаем, что реальность выглядит иначе, трудно избавиться от иллюзии: «дождемся нескольких конверсий и получим точные данные». На самом деле процесс этот куда хаотичнее, например:



Это значит, что при ограниченном количестве посещений, даже обладая точными данными о количестве посетителей, просмотров, конверсий, мы не можем точно спрогнозировать будущие продажи. Нет такого количества данных, которое обеспечивает твердую уверенность в рассчитанных показателях: мы можем лишь ориентировочно оценить «настоящий» процент конверсии.

Есть и хорошие новости: мы можем прикинуть, с какой точностью мы посчитали этот коэффициент, и осознать, достаточно ли нам этой точности, или требуется подождать большего количества данных. Я не буду углубляться в математические выкладки, рассказывая теоретическую часть. Приведу лишь две простые формулы, по которым легко рассчитать нужные вам цифры.

Главное понятие математической статистики, которое следует усвоить каждому аналитику — это доверительный интервал. Это диапазон, в котором может лежать истинное значение нужной нам величины: например, показателя конверсии. Подсчитанное обычным образом (к примеру, системой Google Analytics) значение конверсии лежит где-то внутри этого интервала; истинное значение конверсии (которое мы узнаем только на бесконечном трафике) также, скорее всего, находится внутри него.
Скорее всего?!
Да, утверждать со стопроцентной точностью мы сможем только то, что конверсия неотрицательна (и меньше ста процентов). Математические формулы помогут нам построить доверительный интервал, в котором реальная конверсия окажется с очень большой вероятностью. Вероятностное распределение для нашей оценки выглядит так:



При увеличении выборки данных колокол сужается, а вероятность того, что истинное значение ближе к измеренному — увеличивается. Мы же выбираем, какую достоверность считать достаточной. По одной и той же кривой можно построить разные доверительные интервалы. На графике представлены два варианта (красный и зеленый).

Перейдём к делу. Давайте рассчитаем доверительный интервал для конверсии одного из рекламных объявлений — «Купите слона со скидкой!». Допустим, в Google Analytics мы видим 143 визита и конверсию 2.1% по этому объявлению. Мы хотим сравнить это объявление с другим («Слон с доставкой по Москве») — у него 184 посещения и 2.7% конверсии — и выбрать лучшее. Многие маркетологи уже сделали вывод, что второе объявление лучше, но нам надо проверить это математически.

Перед началом анализа мы принимаем важное решение: какая достоверность будет достаточна. Удобнее всего пользоваться стандартными значениями, упрощающими вычисления: это 68%, 95% и 99.7% (их называют «одна сигма», «две сигмы» и «три сигмы» соответственно). Хочется считать с максимальной уверенностью (три сигмы), но это расширяет интервал и часто делает его совершенно неинформативным.

Формула, которая поможет нам, выглядит так:

,

где R — подсчитанный простым делением коэффициент конверсии, N — число посещений, а α — количество сигм, т.е. точность измерения.

С точностью 68% конверсия первого объявления находится в пределах от 0.8% до 3.3%; конверсия второго объявления от 1.7% до 3.8%.

Обескураживает, не так ли? Сравнить эффективность невозможно: интервалы пересекаются. Оба объявления могут оказаться лидерами. Если мы захотим построить интервалы для вероятности в 95%, они окажутся еще в два раза шире. Нужно ждать данных, и беда в том, что мы даже не знаем, когда эти интервалы «расступятся» и выявится лидер: это зависит от разницы истинных коэффициентов конверсий. Обычно для определённости необходимо порядка сотни конверсий для каждого объявления (слова, кампании или другого сегмента, конверсию которого мы считаем). Обратите внимание: наша формула считает хорошо лишь тогда, когда конверсия не превышает 30%.

А что если наше объявление не дало ни одной конверсии? Жаба начинает душить нас: давайте скорее отключим рекламу и сэкономим бюджет!
Нулевые конверсии нельзя считать по предыдущей формуле: по ней выйдет, что 0 — точный результат. Это не так. Если у нас 0 конверсий и N посещений, то доверительный интервал считается просто:
  • Для одной сигма (достоверность 68%): интервал от 0 до 1.15/N
  • Для двух сигма (достоверность 95%): интервал от 0 до 3/N
  • Для трех сигма (достоверность 99.7%): интервал от 0 до 6/N.

Если у нас есть третье объявление («Слоны как на подбор»), приведшее 93 посетителя без единой конверсии, мы можем утверждать с достоверностью одной сигма лишь то, что его конверсия ниже 1.2%. Это объявление хуже «Слона с доставкой», а вот про «Слона со скидкой» говорить ещё рано. Большинство людей в этом месте удивляется, а некоторые даже не верят: неужели всё действительно так зыбко? Однако опыт проведения больших кампаний лишь подтверждает случайный характер конверсий и то, что поначалу «нулёвое» объявление на второй сотне кликов может начать показывать неплохой результат.

Почему популярные средства аналитики не считают эти величины за нас? Я могу лишь предполагать. Эта информация заметно усложнит отчеты, а главное, обнажит нелицеприятную правду: заметное количество умных и точных цифр в этих отчетах на самом деле бесполезны и даже опасны (если полагаться на здравый смысл). Забыв об ошибках подсчета, вы можете остановить эффективную рекламную кампанию, сочтя ее неудачной, выбрать плохой вариант объявления, некорректно распределить рекламный бюджет или ошибиться при разработке стратегии SEO.

Доверительные интервалы отлично считает Google Website Optimizer, средство для проведения и анализа результатов тестирования на сайтах. Optimizer делает выводы только тогда, когда убедится, что интервалы «разошлись» и один из вариантов страницы статистически достоверно превосходит по конверсии остальные образцы.



Многие инструменты учитывают эти данные «под капотом»: например, Яндекс.Директ делает выводы об объявлении только тогда, когда соберет достаточно данных и будет уверен в результате. Нам, конечно, интересно было бы видеть их и в отчетах по трафику, чтобы не ошибаться в оценках «на глазок». Можно написать скрипт для Excel, автоматически вычисляющий доверительные интервалы, но это требует постоянной выгрузки данных. Можно добавить эту функциональность к Метрике или Analytics при помощи API этих систем и внешних скриптов.

Неужели мы вынуждены ждать сотен конверсий по каждому объявлению, чтобы оценить его работу? Это было бы идеальным решением, но обычно невозможно: рекламного бюджета не хватит. Старайтесь не принимать преждевременных фатальных решений (убирать или изменять объявления, не доказавшие свою несостоятельность) до получения статистически значимых результатов; при этом ничто не мешает, к примеру, временно снизить стоимость клика на них.

Полезно добавить учет промежуточных целей: к примеру, помещение товара в корзину является признаком заинтересованного покупателя, но таких конверсий будет больше, чем подтвержденных покупок, поэтому статистически значимый результат вы увидите раньше. А заодно и оцените, сколько людей уходят с сайта из-за неудобного процесса чекаута!

Не разочаровывайтесь в цифрах, но будьте начеку: тогда вы сможете увидеть руководство к действию там, где другие находят только грязную ложь.
Автор: @payalnik
iConText
рейтинг 25,71
Компания прекратила активность на сайте

Комментарии (6)

  • +1
    Сам Google правильно говорит про свой Analytics, да и все аналитические системы: «Системы аналитики служат не для получения точных цифр, а для отслеживания трендов».
    Интересная статья. Действительно, качество объявлений трудно оценивать и делать это следует по большому множеству показателей в контексте друг друга. В этом плане, Adwords удобнее сделан со своим «особенным» предложением ротации объявлений и функцией оптимизатора конверсий.
  • +2
    Я был увлечены подобными вопросами последний месяц или два, и ваша статья для меня выглядит фантастическим совпадением! Теперь буду знать, каким боком статистику к Adwords прикладывать. Спасибо!
  • +3
    Можно попробовать посмотреть на задачу сравнения двух рекламных объявлений со стороны Байесовской статистики и вероятностного вывода.

    Конверсию можно рассматривать как случайную величину, имеющую распределение Бернулли и принимающую два значения: 1 (конверсия) и 0 (нет конверсии) с вероятностями p и q = 1 — p соответственно.

    Рассмотрим задачу о нахождении распределения параметра p по имеющимся у нас наблюдениям конверсии с каждым визитом: x1,x2, ..., xN.

    Сумма x1+x2+… +xN — это число конверсий при N визитах, она имеет биномиальное распредление с N степенями свободы и вероятностью конверсии p.

    Как известно, для случайной величины, распредленной по закону Бернулли с неизвестным параметром p, в качестве сопряженного априорного распредления выступает бета-распредление (с параметрами альфа и бета). Параметры альфа и бета выбираются так, чтобы отразить имеющуюся априорную информацию — наше убеждение о распредлении параметра p перед размещением объявления.

    Мы можем выбрать для параметра p альфа=бета=1 — это даст равномерное распределение. Это говорит о том, что наше убеждение относительно параметра p таково, что он равновероятно принимает значение в интервале от 0 до 1. Далее, в процессе поступления данных, мы будем обновлять бета-распределение для параметра p таким образом, что оно будет B(s+1, n-s+1), где s — число конверсий произошедших за последние n визитов.

    Рассмотрим это на примере Ваших двух рекламых объявлений. По первому объявлению у нас имеется 143 визита и 3 конверсии, по второму — 184 визита и 5 конверсий.
    Мы начали с полной неуверенности относительно параметра p — он подчиняется бета-распределению B(1,1), т.е. распределен равномерно в интервале от 0 до 1.

    Для первого объявления после 143 визитов мы уточняем распредление вероятности p1 до B(4,141) (mean=0.02759), для второго объявления мы уточняем распредление вереоятности p2 до B(6, 180) (mean=0.03226). Если мы посмотрим на плотность распределения обоеих вероятностей p1 и p2, то увидим, что из равномерного они постепенно «превращаются» в нессиметричные колоколы (тот, что левее со средним 0.02759 соответствует распредлению B (4,141), тот, что правее соответствует распредлению B(6, 180) со средним 0.03226):



    Итак, мы видим что оценка среднего значения вероятности для второго объявления выше. Исходя из оценок распредления вероятностей конверсии для обоих объявлений ответим на вопрос: с какой вероятностью процент конверсии второго объявления выше, чем процент конверсии первого объявления?
    В лоб это вычисляется через интеграл:
    N[Integrate[
    PDF[BetaDistribution[6, 180], x]*
    CDF[BetaDistribution[4, 141], x], {x, 0, 1}]]

    В ответе получаем 0.6116. Т.е. с вероятностью 61.16% процент конверсии второго объявления выше, чем процент конверсии первого.

    Предположим, что по прошествии какого-то времени, для первого объявления у нас имеется 500 визитов и 10 конверсий, для второго объявления у нас имеется 600 визитов и 16 конверсий. Тогда для процента конверсии по первому объявлению мы имеем распредление B(11,491) (mean=0.02191), а для второго B(17,585) (mean=0.02824).



    А уверенность того, что процент конверсии второго объявления выше, чем первого возрастает до 75.50%.

    Если продолжать наблюдения и дальше, то колокола будут сужаться и перемещаться, уточняя ожидаемое значение вероятности p, а «из колоколов» можно получить и доверительные интервалы, если нужно.

    Также стоит обратить внимание, что ничего страшного не происходит в том случае, если конверсий не происходит. В этом случае колокол будет постепенно прижиматься к левому краю.
    Если при 100 визитах не было конверсий, то имеем распредление Beta(1,101)[mean=0.009804]
    Если при 100 визитах не было конверсий, то имеем распредление Beta(1,201)[mean=0.00495]
    Ниже эти два случая на рисунке изображены.



    Понятно, что если сравнивать такие случаи с другими объявлениями, где конверсии происходят, то уверенность в том, что в них конверсия выше, будет значительно больше.
    Также никто не мешает нам начать не с равномерного распределение, а установить его, исходя из опыта прошлых рекламных кампаний.
    • 0
      Спасибо большое за отличный комментарий и метод!
    • 0
      Спасибо за отличный комментарий!
      Могли бы вы пояснить, как читать вот эту формулу в математических терминах?

      N[Integrate[
      PDF[BetaDistribution[6, 180], x]*
      CDF[BetaDistribution[4, 141], x], {x, 0, 1}]]
      • 0
        Это формула записана в терминах Mathematica.
        N[expr] — численно вычислить выражение expr.
        Integrate[f, {x, xmin, xmax}] — интеграл функции f по х в интервале от xmin до xmax.
        PDF[dist, x] — функция плотности вероятности для распределения dist в точке x.
        CDF[dist,x] — функция распределения случайной величины для распределения dist в точке x.
        BetaDistribution[alfa, beta] — непрерывное бета-распределение с параметрами alfa, beta.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное