Сопряжённое априорное распределение

Сопряжённое априорное распределение

Сопряжённое априорное распределение (англ. conjugate prior) и сопряжённое семейство распределений — одни из основных понятий в байесовской статистике.

Рассмотрим задачу о нахождении распределения параметра \theta (рассматриваемого как случайная величина) по имеющемуся наблюдению x. По теореме Байеса, апостериорное распределение вычисляется из априорного распределения с плотностью вероятности p(\theta) и функции правдоподобия p(x | \theta) по формуле:

\displaystyle p(\theta|x) = \frac{p(x|\theta) \, p(\theta)} {\int\limits_{\text{range}\;\theta} p(x|\theta) \, p(\theta) \, d\theta}.

Если апостериорное распределение p(\theta | x) принадлежит тому же семейству вероятностных распределений, что и априорное распределение p(\theta) (т.е. имеет тот же вид, но с другими параметрами), то это семейство распределений называется сопряжённым семейству функций правдоподобия p(x | \theta). При этом распределение p(\theta) называется сопряжённым априорным распределением к семейству функций правдоподобия p(x | \theta).

Знание сопряжённых семейств распределений существенно упрощает вычисление апостериорных вероятностей в байесовской статистике, так как позволяет заменить вычисление громоздких интегралов в формуле Байеса простыми алгебраическими манипуляциями над параметрами распределений.

Содержание

Пример

Для случайной величины, распределённой по закону Бернулли (бросание монетки) с неизвестным параметром q \in [0,1] (вероятность успеха), в качестве сопряжённого априорного распределения обычно выступает бета-распределение с плотностью вероятности:

p(q=x) = {x^{\alpha-1}(1-x)^{\beta-1} \over \Beta(\alpha,\beta)}

где \alpha и \beta выбираются так, чтобы отразить имеющуюся априорную информацию или убеждение о распределении параметра q (выбор \alpha = 1 and \beta = 1 даст равномерное распределение), а Β(\alpha, \beta) — бета-функция, служащая здесь для нормализации вероятности.

Параметры \alpha и \beta часто называют гиперпараметрами (параметрами априорного распределения), чтобы отличить их от параметров функции правдоподобия (в данном случае, q).

Если взять выборку из n значений этой случайной величины, и среди них окажется s успехов и f неудач, то апостериорное распределение параметра q будет равно:

P(s,f|q=x) = {s+f \choose s} x^s(1-x)^f,
p(q=x|s,f) = {{{s+f \choose s} x^{s+\alpha-1}(1-x)^{f+\beta-1} / \Beta(\alpha,\beta)} \over \int_{y=0}^1 \left({s+f \choose s} y^{s+\alpha-1}(1-y)^{f+\beta-1} / \Beta(\alpha,\beta)\right) dy} = {x^{s+\alpha-1}(1-x)^{f+\beta-1} \over \Beta(s+\alpha,f+\beta)} ,

Это апостериорное распределение также оказывается распределённым по закону бета-распределения, но лишь с немного другими параметрами, чем у априорного распределения.

Таблица сопряжённых семейств распределений

В таблицах ниже показано каким образом изменяются параметры апостериорного распределения после выборки из n независимых, одинаково-распределённых наблюдений x_1, x_2, \ldots, x_n. Второй столбец — параметр функции правдоподобия, относительно которого строится семейство сопряжённых распределений.

Дискретно-распределённые функции правдоподобия

Функция правдоподобия Параметр Сопряжённое семейство распределений Гиперпараметры априорного распределения Гиперпараметры апостериорного распределения
Бернулли p Бета \alpha,\, \beta\! \alpha + \sum_{i=1}^n x_i,\, \beta + n - \sum_{i=1}^n x_i\!
Биномиальное p Бета \alpha,\, \beta\! \alpha + \sum_{i=1}^n x_i,\, \beta + \sum_{i=1}^nN_i - \sum_{i=1}^n x_i\!
Отрицательное биномиальное p Бета \alpha,\, \beta\! \alpha + rn,\, \beta + \sum_{i=1}^n x_i\!
Пуассона λ Гамма k,\, \theta\! k+ n,\ \frac {\theta} {\theta \sum_{i=1}^n x_i + 1}\!
Пуассона λ Гамма \alpha,\, \beta\! [1] \alpha + n,\ \beta + \sum_{i=1}^n x_i\!
Мультиномиальное p (вектор вероятностей) Дирихле \vec{\alpha}\! \vec{\alpha}+\sum_{i=1}^n\vec{x}^{\,(i)}\!
Геометрическое p0 (вероятность) Бета \alpha,\, \beta\! \alpha + n,\, \beta + \sum_{i=1}^n x_i\!

Непрерывно-распределённые функции правдоподобия

Функция правдоподобия Параметр Сопряжённое семейство распределений Гиперпараметры априорного распределения Гиперпараметры апостериорного распределения
Равномерное U(0,\theta)\! Парето x_{m},\, k\! \max\{\,x_{(n)},x_{m}\},\, k+n\!
Экспоненциальное λ Гамма \alpha,\, \beta\! [2] \alpha+n,\, \beta+\sum_{i=1}^n x_i\!
Нормальное
с известной дисперсией σ2		 μ Нормальное \mu_0,\, \sigma_0^2\! \left.\left(\frac{\mu_0}{\sigma_0^2} + \frac{\sum_{i=1}^n x_i}{\sigma^2}\right)\right/\left(\frac{1}{\sigma_0^2} + \frac{n}{\sigma^2}\right),\, \left(\frac{1}{\sigma_0^2} + \frac{n}{\sigma^2}\right)^{-1}
Нормальное
с известным τ = 1/σ2		 μ Нормальное \mu_0,\, \tau_0\! \left.\left(\tau_0 \mu_0 + \tau \sum_{i=1}^n x_i\right)\right/(\tau_0 + n \tau),\, \tau_0 + n \tau
Нормальное
с известным средним μ		 σ2 Scaled inverse chi-square \nu,\, \sigma_0^2\! \nu+n,\, \frac{\nu\sigma_0^2 + \sum_{i=1}^n (x_i-\mu)^2}{\nu+n}\!
Нормальное
с известным средним μ		 τ (= 1/σ2) Гамма \alpha,\, \beta\![2] \alpha + \frac{n}{2},\, \beta + \frac{\sum_{i=1}^n (x_i-\mu)^2}{2}\!
Нормальное
с известным средним μ		 σ2 Обратное гамма-распределение \mathbf{\alpha,\, \beta} \mathbf{\alpha}+\frac{n}{2},\, \mathbf{\beta} + \frac{\sum_{i=1}^n{(x_i-\mu)^2}}{2}
Парето k Гамма \alpha,\, \beta\! \alpha+n,\, \beta+\sum_{i=1}^n \ln\frac{x_i}{x_{\mathrm{m}}}\!
Парето xm Парето x_0,\, k_0\! x_0,\, k_0-kn \! при условии k_0 > kn\!.
Гамма
с известной α[1]		 β (inverse scale) Гамма \alpha_0,\, \beta_0\! \alpha_0+n\alpha,\, \beta_0+\sum_{i=1}^n x_i\!

Примечания

  1. ↑ 1 2 Параметризация гамма-распределения с параметрами: θ = 1/β and k = α.
  2. ↑ 1 2 beta_rate

Литература

  • DeGroot, Morris H. Optimal Statistical Decisions. Wiley Classics Library. 2004. (Originally published in 1970.) ISBN 0-471-68029-X.

Wikimedia Foundation. 2010.

Игры ⚽ Поможем сделать НИР

Полезное


Смотреть что такое "Сопряжённое априорное распределение" в других словарях:

  • Априорная вероятность — В байесовском статистическом выводе априорное распределение вероятностей (англ. prior probability distribution, или просто prior) неопределённой величины p  распределение вероятностей, которое выражает предположения о p до учёта… …   Википедия


Поделиться ссылкой на выделенное

Прямая ссылка:
… Нажмите правой клавишей мыши и выберите «Копировать ссылку»