Пользователь
0,0
рейтинг
10 августа 2014 в 04:13

Разработка → О формуле Байеса, прогнозах и доверительных интервалах

На Хабре много статей по этой теме, но они не рассматривают практических задач. Я попытаюсь исправить это досадное недоразумение. Формула Байеса применяется для фильтрации спама, в рекомендательных сервисах и в рейтингах. Без нее значительное число алгоритмов нечеткого поиска было бы невозможно. Кроме того, это формула явилась причиной холивара среди математиков.

image


Введение


Начнем издалека. Если наступление одного события увеличивает или уменьшает вероятность наступления другого, то такие события называются зависимыми. Тервер не изучает причинно-следственные связи. Поэтому зависимые события не обязательно следствия друг-друга, связь может быть не очевидной. Например, «у человека голубые глаза» и «человек знает арабский» — зависимые события, поскольку у арабов голубые глаза встречаются крайне редко.

Теперь следует ввести обозначения.
  • P(A) значит вероятность наступления события A.
  • P(AB) вероятность наступления обоих событий вместе. Не важно в каком порядке наступают события P(AB)=P(BA).
  • P(A|B) вероятность наступления события А, если событие B произошло.


Давайте подумаем чему равно вероятность наступления двух событий одновременно. P(AB). Вероятности наступления первого события умноженной на вероятность наступления второго события, в случае наступления первого. P(AB)=P(A)P(B|A). Теперь, если вспомнить, что P(AB)= P(BA). Получим, P(A)P(B|A)=P(B)P(A|B). Перенесем P(B) влево и получим формулу Байеса:

image

Все настолько просто, что 300 лет тому назад эту формулу вывел простой священник. Но это не уменьшает практической ценности этой теоремы. Она позволяет решать «обратную задачу»: по данным испытаний оценить ситуацию.

Прямая и обратная задачи


Прямую задачу можно описать так: по причине найти вероятность одного из следствий. Например, дана абсолютно симметричная монета (вероятность выпадения орла, как и решки, равны 1/2). Нужно посчитать вероятность того, что если мы дважды подкинем монету, оба раза выпадет орел. Очевидно, что она равна 1/2 * 1/2 =1/4.

Но проблема в том, что мы знаем вероятность того или иного события только в меньшинстве случаев, почти все их которых искусственные, например, азартные игры. При этом в природе нет ничего абсолютного, вероятность выпадения орла у реальной монеты равна 1/2 только приблизительно. Можно сказать, что прямая задача изучает некоторых сферических коней в вакууме.

На практике, важнее обратная задача: оценить ситуацию по данным испытаний. Но проблема обратной задачи в том, что ее решение сложнее. Главным образом из-за того, что наше решения будет не точкой P=С, а некоторой функцией P=f(x).

Например, у нас есть монета, нужно оценить с помощью опытов вероятность выпадения решки. Если мы подкинули монету 1 раз и выпал орел, то это не значит, что всегда выпадают орлы. Если 2 раза подкинули и получили 2 орла, то опять это не значит, что выпадают только орлы. Чтобы получить абсолютно точно вероятность выпадения решки, мы должны подкинуть монету бесконечное число раз. На практике это не возможно и мы всегда вычисляем вероятность события с некоторой точностью.

Мы вынуждены использовать некоторую функцию. Обычно ее принято обозначать как P(p=x|s решек, f орлов) и называть плотностью вероятности. Читается это так вероятность, того, что вероятность выпадения орла равна x, если по данным эксперимента выпало s решек и f орлов. Звучит сложно звучит из-за тафтологии. Проще считать p некоторым свойством монетки, а не вероятностью. И читать: так вероятность того, что p=x…

Забегая вперед скажу, что если в первую монетку подкинем 1000 раз и получим 500 орлов, а вторую 10000 и получим 5000 орлов, то плотности вероятности будут выглядеть так:

image

Из-за того, что у нас не точка, а кривая мы вынуждены использовать доверительные интервалы. Например, если говорят 80% доверительный интервал для p равен 45% до 55%, то это значит с 80% вероятностью p находиться между 45% и 55%.

Биномиальное распределение


Для простоты будем рассматривать биномиальное распределение. Это распределение количества «успехов» в последовательности из некоторого числа независимых случайных экспериментов, таких, что вероятность «успеха» в каждом из них постоянна. Оно наблюдается практически всегда, когда у нас есть последовательность испытаний с двумя возможными исходами. Например, когда мы несколько раз подкидываем монету, или оцениваем CTR банера, или конверсию на сайте.

Для примера будем считать, что нам нужно оценить вероятность выпадения решки у монеты. Мы подкинули монету некоторое число раз и получили f орлов и s решек. Обозначим это событие как [s,f] и подставим это в формулу Байеса вместо B. Событие когда p равно некоторому числу будем обозначать как p=x и подставим вместо события А.

P([s,d]|p=x), Вероятность получить [s,d], если p=x, при условии, что p=x нам известна P([s,f]|p=x)=K(f,s) * x^s (1-x)^f. Где K(f,s) биномиальный коэффициент. Получаем:

image

Нам неизвестна P([s,f]). Да и биномиальный коэффициент вычислить проблематично: там факториалы. Но эти проблемы можно решить: суммарная вероятность всех возможных x должна быть равна 1.

image

С помощью простых преобразований мы получим формулу:

image

Программируется это просто, всего 10 строк:
    //f(x) некоторая функция  P(p=x)
    m=10000;//число точек
    eq=new Array(); //P(p=x|[s,f])
    sum=0;
    for(i=0;i<m;i++){
         x=i/m;// от 0 до 1
         eq[i]= f(x) * x^cur.s*(1-x)^cur.f; // С * P(p=x|[s,f]) с точностью до постоянного коефициента
         sum+=eq[i]
    }
    //Сумма должна быть 1
    for(i=0;i<m;i++)
       eq[i]/=sum;



Однако, у нас остается неизвестной P(p=x). Она выражает, насколько вероятно, что p=x, если данных по эксперименту у нас нет. Эту функцию принято называть априори. Из-за нее и произошел холивар в теории вероятностей. Вычислить априори строго математически мы не можем, только задать субъективно. А без априори мы не можем решить обратную задачу.

Холивар


Сторонники классической интерпретации (частотного подхода, ЧП), считают, что все возможные p равновероятны до начала эксперимента. Т.е. перед экспериментом нужно «забыть» те данные, которые нам известны до него. Их оппоненты, сторонники байесовского подхода (БП), считают, что нужно задать какую-то априори исходя из наших знаний до начала эксперимента. Это фундаментальное отличия, даже определение понятия вероятности у этих групп разное.

Кстати, создатель этой формулы, Томас Баейс умер лет на 200 раньше холивара и отношение к этому спору имеет только косвенное. Формула Байеса часть обоих конкурирующих теорий.

Частотный подход(ЧП) лучше подходит для науки, где нужно объективно доказать какую-то гипотезу. Например, то что смертность от препарата меньше определенного порога. Если же вам нужно, учитывая всю доступную информацию, принять решение, то лучше использовать БП.

ЧП не подходит для прогнозирования. Кстати, формулы доверительных интервалов, считают доверительные интервал по ЧП. Сторонники БП, обычно, в качестве априори для биномиального распределения используют Бета распределение, при a=1 и b=1 оно вырождается в непрерывное распределение, которое используют их противники. В итоге формула принимает вид:

image

Это универсальная формула. При использовании ЧП нужно задать b=a=1. Сторонники БП некоторым образом должны выбрать эти параметры, так чтобы получилось правдоподобное бета-распределение. Зная a и b можно использовать формулы ЧП, например для расчета доверительного интервала. Например, мы выбрали a=4.5, b=20, у нас есть 50 успехов и 100 неудач, чтобы вычислить доверительный интервал в БП нам нужно в обычную формулу ввести 53.5 (50+4.5-1) успеха и 119 неудачу.

Однако, у нас нет никаких критериев выбора a и b. Следующая глава расскажет как их выбрать по статическим данным.

Прогноз


Логичнее всего в качестве прогноза использовать мат. ожидание. Его формулу легко получить из формулы мат. ожидания бета-рапределения. Получим:

image.

Например, у нас есть сайт, со статьями. На каждой из них есть кнопка «лайк». Если мы будем сортировать по числу лайков, то у новых статей мало шансов перебить старых. Если мы будем сортировать по соотношению лайков к посещениям, то статьи с одном заходом и одним лайком будут перебивать статью с 1000 заходами и с 999 лайками. Разумнее всего сортировать по последней формуле, но нужно каким-то образом определить a и b. Самый простой способ через 2 основных момента бета-распределения: мат. ожидание (сколько в среднем будет) и дисперсию (каково в среднем отклонение от среднего).

Пусть L средняя вероятность лайка. Из матожидания бета-распределения L=a/(a+b) =>a+b=a/L=> aL+bL=a => b=a(1/L — 1). Подставим в формулу дисперсии:

image

На псевдокоде это будет выглядеть так:
L=0;
L2=0;//Сумма квадратов
foreach(articles as article){
    p=article.likes/article.shows;
    L+=p;
    L2+=p^2;
}
n=count(articles);
D=(L2-L^2/n)/(n-1);//Дисперсия
L=L/n;//среднее
a=L^2*(1-L)/D-L;
b=a*(1/L — 1);

foreach(articles as article)
   article.forecast=(article.likes+a-1)/(article.shows+a+b-2)


Не смотря на то, что данный выбор a и b кажется объективным. Это не строгая математика. Прежде всего не факт, что лайкабельность статей подвержена Бета-распределению, в отличии от биномиального это распределение «не физично», оно введено для удобства. Мы по сути подогнали кривую к статистическим данным. Причем вариантов подгонки есть несколько.

Шанс побить всех


Например, мы провели А/B тест нескольких вариантов дизайна сайта. Получили некоторые результаты и думаем, нужно ли его останавливать. Если мы остановимся слишком рано мы можем выбрать не верный вариант, но остановиться когда-то все-таки нужно. Мы можем оценивать доверительные интервалы, но их анализ сложен. Как минимум, поскольку в зависимости от коэффициента значимости у нас получаются разные доверительные интервалы. Сейчас я покажу как посчитать вероятность того, что один вариант лучше всех остальных.

Кроме зависимых событий существуют и независимые события. Для таких событий P(A|B)=P(A). Поэтому P(AB)=P(B)P(A|B)=P(A)P(B). Для начала нужно показать что варианты независимы. Кстати сравнивать доверительные интервалы корректно, только в случае когда варианты независимы. Как уже было сказано, сторонники ЧП отбрасывают все данные кроме самого эксперимента. Варианты это отдельные эксперименты, поэтому каждый из них зависит только от своих результатов. Поэтому они независимы.

Для БП доказательство сложнее, основной момент, что априори «изолирует» варианты друг от друга. Например, события «голубые глаза» и «знает арабский» зависимы, а события «араб знает арабский» и «у араба голубые глаза» нет, поскольку взаимосвязь между первыми двумя событиями исчерпывается событием «человек араб». Более верная запись P(p=x) в нашем случае следующая: P(p=x|apriori=f(x)). Поскольку все зависит от выбора функции априори. А события P(pi=x|apriori=f(x)) и P(pj=x|apriori=f(x)) независимы, поскольку единственная взаимосвязь между ними это функция априори.

Введем определение P(p<x), вероятность того, что p меньше x. Очевидна формула:
image
Мы просто «сложили» все точечные вероятности.

Теперь отвлечемся, и я вам объясню вам формулу полной вероятности. Допустим есть 3 события A,B,W. Первые два события взаимоисключающие и при этом одно из них должно произойти. Т.е. из этих двух событий всегда происходит не более и не менее одного. Т.е. должно произойти либо одно событие либо другое, но не вместе. Это например, пол человека или выпадение орла/решки в одном броске. Так вот Событие W может произойти только в 2 случаях: совместно с А и совместно с B. P(W)=P(AW)+P(BW)=P(A)*P(W|A)+P(B)*P(W|B). Аналогично происходит когда событий больше. Даже когда их бесконечное число. Поэтому мы можем совершать такие преобразования:
image

Допустим у нас есть n вариантов. Мы по каждому из знаем число успехов и неудач. [s_1,f_1], ..., [s_n,f_n]. Для упрощения записи будем упускать данные из записи. Т.е. вместо P(W|[s_1,f_1], ..., [s_n,f_n]) просто будем писать: P(W). Обозначим вероятность того, что вариант i лучше всех остальных (Chance To Beat All) и проведем некоторое сокращение записи:

image
∀j≠i значит для любых j не равных i. Говоря простыми словами это все значит вероятность того, что pi больше всех остальных.

Применим, формулу полной вероятности:

image

image
Первое преобразование просто изменяет форму записи. Второе подставляет x вместо pi, поскольку у нас есть условная вероятность. Поскольку p_i не зависит p_j, то можно выполнить третье преобразование. В итоге получили, что это равно вероятности того, что все p_j кроме i меньше x. Поскольку варианты независимые, то выполняется P(AB)=P(A)*P(B). Т.е. это все преобразуется в произведение вероятностей.

В итоге формула примет вид:

image

Это все можно вычислить за линейное время:
	m=10000;//число точек
	foreach(variants as cur){    
		cur.eq=Array();//P(p=x)
		cur.less=Array();//P(p<x)
		var sum=0;
		for(i=0;i<m;i++){
			x=i/m;
			cur.eq[i]= x^cur.s*(1-x)^cur.f;//С*P(p=x) с точностью до постоянного коефициента
			sum+=cur.eq[i];
			cur.less[i]=sum; 
		}
		//сумма всех cur.eq  должны быть равны 1
		for(i=0;i<m;i++){
			cur.eq[i]/=sum;
			cur.less[i]/=sum;  
		}
	}
	
	//Произведение P_j(p<x)
	lessComp=Array();
	for(i=0;i<m;i++){
		lessComp[i]=1;// заполнить массив единицами
		foreach(variants as cur)
			lessComp[i]*=cur.less[i];
	}
	foreach(variants as cur){ 
		cur.ctba=0;//Chance To beat All
		for(i=0;i<m;i++)
			cur.ctba+=cur.eq[i] * lessComp[i] /cur.less[i];
	}


Для простого случая когда есть только два варианта (Chance to beat baseline/origin, CTBO). используя нормальную аппроксимацию можно вычислить этот шанс за константное время. В общем случае решить за константное время нельзя. По крайней мере, Google это не удалось в Google WebSite Optimizer были и CTBA и CTBO, после переноса в Analytics остался менее удобный CTBO. Единственное объяснение этому в том, что ресурсов на вычисление CTBA тратиться слишком много.

Кстати понять правильно ли вы организовали алгоритм можно по двум вещам. Суммарный CTBA должен быть равен 1. Также можно сравнить ваш результат со скриншотами Google WebSite Optimizer. Вот сравнения результатов нашего бесплатного статистического калькулятора HTraffic Calc с Google WebSite Optimizer.

image

Разница в последнем сравнении обусловлена в том, что я использую «умное округление». Без округления данные одинаковые.

В общем вы можете HTraffic Calc для тестирования своего кода, поскольку в отличии от Google WebSite Optimizer он позволяет вводить свои данные. Также можно с его помощью сравнивать варианты, однако, следует учитывать фундаментальные особенности CTBA.

Особенности CTBA


Если вероятность успеха далеко от 0.5. При этом число испытаний (например, бросков монеты или показов баннера) в некорых вариантах мало и при этом число испытаний отличается в разы у нескольких вариантов, то вы должны либо задавать Априори либо выровнять число испытаний. Тоже самое касается не только CTBA, но и сравнения доверительных интервалов.

image

Как мы видим из скриншота у второго варианта выше шансы побить первый. Это происходит из-за того, что мы выбрали в качестве априори равномерное распределение, а у него мат ожидание равно 0.5, это больше 0.3 поэтому в этом случае вариант с меньшим числом испытаний получил некоторый бонус. С точки зрения ЧП эксперимент нарушен — у всех вариантов должно быть равное число испытаний. Вы должны выровнять число испытаний, отбросив часть испытаний у одного из вариантов. Или использовать БП и выбрать априори.
@Hkey
карма
45,0
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Спецпроект

Самое читаемое Разработка

Комментарии (19)

  • 0
    Знакомая картинка в заголовке.
    • 0
      она из вики
      • 0
        Надо же. Не знал :) Узнал по другой статье.
  • 0
    Эхх, будь у меня в школе такой препод по математике, я наверное не был бы таким нубом в данной области. Но статью все равно прочитал на одном дыхании, спасибо!
  • 0
    Обычно ее принято обозначать как P(p=x|s решек, f орлов) и называть плотностью вероятности. Читается это так вероятность, того, что вероятность выпадения орла равна x, если по данным эксперимента выпало s решек и f орлов.

    Wait, wait! То ли я не понял формулировку, то ли в определении что-то не так. Во-первых, плотность вероятности (probability density function) определена только для непрерывных случайных переменных, а для дискретного случая используется probability mass function. PMF, по сути, равна функции вероятности, но это скорее совпадение, чем внутреннее средство (сравните с PDF, для которого вероятность выпадения конкретного значения вообще стремится к нулю). Во-вторых, ни одна, ни другая функция не сама по себе ничего не говорит об evidence (число орлов и решек в сэмпле) или условных вероятностей.
    • –1
      >>определена только для непрерывных случайных переменных
      p вероятность «орла» непрерывна, бета распределение тоже непрерывно.

      Мы говорим «плотность» поскольку все точечные вероятности бесконечно малы.

      >>Во-вторых, ни одна, ни другая функция не сама по себе ничего не говорит об evidence (число орлов и решек в сэмпле) или условных вероятностей.
      Я не понял вас.
      • 0
        так, погодите. случайная переменная у вас — это сторона монеты, верно? стороны всего 2, и элементарных события, соответственно, 2. распределение вероятности в одном эксперименте бинарно (распределение Бернулли), в нескольких экспериментах — биномиально. оба распределения дискретные. по всей видимости, вы подразумеваете оценку среднего популяции по сэмплу. т.е. случайная переменная здесь — сама вероятность. но это ведь уже совсем другая история, которая к теореме Байеса имеет весьма отдаленное отношение.
        • +1
          случайная переменная здесь — сама вероятность. но это ведь уже совсем другая история, которая к теореме Байеса имеет весьма отдаленное отношение.

          А почему, собственно, «весьма отдалённое»? У нас есть набор событий (непрерывный), заключающийся в том, что параметр монеты (вероятность выпадения орла) равен t. Есть формула для условной вероятности — если параметр равен t, то вероятность того, что за столько-то испытаний выпадет столько-то орлов. И, наконец, есть наблюдаемое событие — что орлов выпало именно столько.
          Так что, для применения формулы осталось только узнать (или придумать) априорное распределение параметра t. А там уже наш выбор — брать его непрерывным на [0,1], дискретным, принимающим только значения n/100, принадлежащим канторову множеству… В любом случае, формула p(t=x) = papr(t=x)*R(x)/int(papr(t=u)*R(u),u=0..1) где R(t) — условная вероятность наблюдаемого исхода, работать будет (при подходящем выборе меры, по которой идёт интегрирование).
          • 0
            Вот примерно это я и имею ввиду под «весьма отдалённое» :D Т.е. если речь в статье именно об этом, то ок. Есть непрерывная случайная переменная p, каждое наблюдение которой — это mean от сэмпла какой-то другой переменной. Но ведь дальше в статье речь идёт о биномиальном распределении, которое никак не относится к нашей непрерывной переменной p, а только к пораждающим сэмплам.

            В общем, я не то, чтобы не согласен с написанным в статье, я просто не понимаю, как всё это связано.
            • +1
              Вернемся к началу.

              У нас есть монета. У нее есть вероятность выпадения решки. Обозначим ее p. 0<=p<=1. Нам проще в дальнейшем называть p симметричностью монеты и считать некоторым свойством монеты. Монету мы не меняем в ходе эксперимента, поэтому p однозначно и фиксировано, но мы его не знаем.

              Есть событие «Симметричностью монеты равно x» обозначим его как p=x. У события есть некоторая вероятность: P(p=x).

              Мы провели эксперимент и получили s решек, f орлов. Обозначим это как событие [s,f].

              Теперь нам нужно оценить p по данным эксперимента. В формулу Байеса вместо А подставим событие p=x. Вместо B подставим событие [s,f].

              P([s,f]|p=x) — вероятность того, что мы получили s решек и f орлов если событие p=x произошло(если p=x). Нам известна из формулы биномиального распределения.
            • 0
              «Но ведь дальше в статье речь идёт о биномиальном распределении, которое никак не относится к нашей непрерывной переменной p, а только к пораждающим сэмплам. „
              Я опять вас не понял. Мы решаем обратную задачу, а не прямую. Мы оцениваем вероятность выпадения орла по данным экспериментов.
              • 0
                Вот теперь я вас понял, да. Но формулировки всё-таки не точны. Например:

                И читать: так вероятность того, что p=x…

                Но ведь мы уже выяснили, что для непрерывной переменной p вероятность равенства любому конкретному значению x стремится к нулю. По сути, для непрерывных переменных смысл имеет только кумуллятивная вероястность. А так становится трудно интерпретировать формулы вроде «P([s,d]|p=x)».

                Ну да ладно, общую идею я понял. Более интересна тема «холивара» (хотя какой там холивар, все уже давно помирились :)).

                Сторонники классической интерпретации (частотного подхода, ЧП), считают, что все возможные p равновероятны до начала эксперимента. Т.е. перед экспериментом нужно «забыть» те данные, которые нам известны до него. Их оппоненты, сторонники байесовского подхода (БП), считают, что нужно задать какую-то априори исходя из наших знаний до начала эксперимента. Это фундаментальное отличия, даже определение понятия вероятности у этих групп разное.

                Я всегда считал, что всё ровно наоборот. Частотный подход — это когда вероятность рассчитывается по частоте предыдущих событий. Бросили монетку 10 раз, 6 раз выпал орёл, значит вероятность выпадения орла — 6/10. Проблема с таким подходом возникает, когда в прошлом не было ещё события некоторого типа. Например, если все 10 раз монета упала решкой вверх, то вероятность выпадения орла равна 0? Да вряд ли. Байесовский (или субъективный) подход, напротив, говорит, что вероятность — это степень нашей веры в некоторое событие. Субъективисты без доли зазрения добавят к каждому варианту — орлу и решке — по единице (хорошо известная техника add-one smoothing), и скажут что P(решка)=(1+10)/12 = 11/12 и P(орёл)=(1+0)/12 = 1/12. Одна двенадцатая — это уже более правдоподобно. А можно вообще не поверить предыдущим цифрам, а поверить продавцу, который говорил, что монетка без перевеса, и даёт орлов с вероятностью 0.5. И это тоже будет вполне нормальный байесовский подход. Конечно, по той же логике можно сказать, что вероятность сегодня вечером встретить динозавра — 50/50, потому что нам так сказал сосед. Но тут мне нравится пример от Daphne Koller: она проводит аналогию со ставками в азартных играх — хороший игрок будет пытаться вывести такие вероятности, чтобы максимизировать свой выигрыш. В такой ситуации игнорировать данные и «верить» в ничем неподтверждённые коэффициенты как-то нехочется.
                • 0
                  >>p вероятность равенства любому конкретному значению x стремится к нулю. имеет только кумулятивный вероятность.
                  В принципе верно. Но это не мешает считать p=x событием.

                  ЧП более жёсткий подход. Определение вероятности частота при бесконечном числе испытаний. Он строго математический. Но из-за этой строгости мы ничего толком не можем посчитать в обратной задаче. Кроме доверительного интервала. Который практически ничего не значит.

                  Если мы подкинули монетку 100 раз и получили 40 орлов и 90% дов интервал равен (0.3,0.5) это не значит что симметричность монетки с вероятностью 90% лежит в этом интервале. Это значит что если мы подкинем монету еще 100 раз, потом еще 100 раз и так далее до бесконечности. То если мы посчитаем для каждой сотни дов. интервал, то симметричность монетки будет лежать в 9 из 10 90% дов. интервалов. Причем у каждой сотни свой дов интервал. Мы без априори ничего лучше точно не можем сказать.

                  Хотя есть и неточные методы оценки. Выборочное среднее и прочее, но они не называются вероятностью.

                  У БП более мягкое определение. Степень уверенности. Грубо говоря: какую оценку мы можем дать по имеющимся у нас данным. В БП нормальный дов. интервал. Если мы подкинули монетку 100 раз и получили 40 орлов и 90% дов интервал БП равен (0.3,0.5) это значит что симметричность монетки с вероятностью 90% лежит в этом интервале. Но проблема в том, что мы должны субъективно выбирать априори.
  • 0
    Например, если говорят 80% доверительный интервал для p равен 45% до 55%, то это значит с 80% вероятностью p находиться между 45% и 55%.

    Это не совсем верно. Туть есть нюансы, о которых точно надо сказать, т.к. многие путают:

    <More specifically, the meaning of the term «confidence level» is that, if confidence intervals are constructed across many separate data analyses of repeated (and possibly different) experiments, the proportion of such intervals that contain the true value of the parameter will match the confidence level.

    ...when we say, «we are 99% confident that the true value of the parameter is in our confidence interval», we express that 99% of the observed confidence intervals will hold the true value of the parameter...

    A confidence interval does not predict that the true value of the parameter has a particular probability of being in the confidence interval given the data actually obtained. Intervals with this property, called credible intervals, exist only in the paradigm of Bayesian statistics, as they require postulation of a prior distribution for the parameter of interest.

    en.wikipedia.org/wiki/Confidence_interval
    • 0
      Если честно, я не полностью улавливаю разницу между баесоновским и обычными доверительными интервалами.
      • 0
        А все понял когда обычный 80% доверительный интервал = 1-2%. Это что в 80% случайных независимых выборок искомое значение будет находится в этом интервале в их 80% доверительный интервале.
        • 0
          доверительный интервал строится всегда по определенной выборке, для каждой новой выборки он будет разный. и когда мы получили выборку, оценили параметр и сделали для него доверительный интервал, то параметр либо в него попал, либо нет.

          а если мы берем одну выборку, строим один интервал и говорим — с вероятностью 80% мое значение в этом интервале, то нам пора в больничку :) потому что на одной выборке и в одном интервале значение либо попало, либо не попало. и нет никакой вероятности. а вот если мы сделаем 100 выборок, построим везде интервалы, то в 80% этих интервалов значение действительно окажется где-то внутри.

          честно говоря, я не особо разбирался в credible interval для байесовской вероятности, т.к. большую часть времени просто работал с достаточно ходовыми моделями, и до этого как-то не доходило (о чем жалею). но если верить Вики, то credible interval как раз говорит, что с вероятность 80% наше значение внутри такого интервала, т.к. есть априорное распределение.
          • 0
            credible и confidence при a=1, b=1 отличаются не сильно. У нас в калькуляторе credible (нужно обновить документации все-таки). Я все думал, почему он отличается на пару сотых процента от Вилсона.
  • 0
    Интересный пост о практическом применении теории: Акинатор и математика

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.