Распределение Дирихле

Распределение Дирихле

В теории вероятностей и математической статистике распределение Дирихле (по имени Иогaнна Пeтера Гyстава Лежён-Дирихлe) часто обозначаемое Dir(α) — это семейство непрерывных многомерных вероятностных распределений параметризованных вектором α неотрицательных вещественных чисел. Распределение Дирихле является обобщением Бета-распределения на многомерный случай. То есть, его функция плотности вероятности возвращает доверительную вероятность того, что вероятность каждого из K взаимноисключающих событий равна x_i при условии, что каждое событие наблюдалось \alpha_i-1 раз.

Содержание

Функция плотности вероятности

Функция плотности вероятности для распределения Дирихле порядка K есть:

f(x_1, \dots, x_K; \alpha_1, \dots, \alpha_K) =\frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K x_i^{\alpha_i - 1}

где x_i \ge 0\,, \sum_{i=1}^K x_i = 1\,, и \alpha_i \ge 0\,.

Свойства

Пусть X = (X_1, \ldots,X_K)\sim\operatorname{Dir}(\alpha) и \alpha_0 =\sum_{i=1}^K\alpha_i, тогда

\mathrm{E}[X_i|\alpha] = \frac{\alpha_i}{\alpha_0},
\mathrm{Var}[X_i|\alpha] = \frac{\alpha_i(\alpha_0-\alpha_i)}{\alpha_0^2 (\alpha_0+1)},
\mathrm{Cov}[X_iX_j|\alpha] = \frac{- \alpha_i\alpha_j}{\alpha_0^2 (\alpha_0+1)}.

Модой распределения является вектор x (x1, …,xK) с

x_i = \frac{\alpha_i - 1}{\alpha_0 - K}, \quad \alpha_i > 1.

Распределение Дирихле является сопряжённым априорным распределением к мультиномиальному распределению, а именно: если

\beta|X=(\beta_1, \ldots, \beta_{K})|X \sim\operatorname{Mult}(X),

где βi — число вхождений i в выборку из n точек дискретного распределения на {1, …, K} определенного через X, то

X | \beta \sim \operatorname{Dir}(\alpha + \beta).

Эта связь используется в Байесовской статистике для того, чтобы оценить скрытые параметры, X, дискретного вероятностного распределения имея набор из n выборок. Очевидно, если априорное распределение обозначено как Dir(α), то Dir(α + β) есть апостериорное распределение после серии наблюдений с гистограммой β.

Связи с другими распределениями

Если для i\in\{1,2,\ldots,K\},

Y_i\sim\operatorname{Gamma}(\textrm{shape}=\alpha_i,\textrm{scale}=1) независимо, то
V=\sum_{i=1}^KY_i\sim\operatorname{Gamma}(\textrm{shape}=\sum_{i=1}^K\alpha_i,\textrm{scale}=1),

и

(X_1,\ldots,X_K) = (Y_1/V,\ldots,Y_K/V)\sim\operatorname{Dir}(\alpha_1,\ldots,\alpha_K).

Несмотря на то, что Xi не являются независимыми друг от друга, они могут быть сгенерированны из набора из K независимых гамма случайных величин. К несчастью, так как сумма V теряется в процессе формирования X = (X1, …, XK), становится невозможно восстановить начальные значения гамма случайных величин только по этим значениям. Тем не менее, благодаря тому, что работать с независимыми случайными величинами проще, это преобразование параметров может быть полезно при доказательстве свойств распределения Дирихле.

Генерация случайных чисел

Метод построения случайного вектора x=(x_1, \ldots, x_K) для распределения Дирихле размерности K с параметрами (\alpha_1, \ldots, \alpha_K) следует непосредственно из этой связи. Сначала получим K независимых случайных выборок y_1, \ldots, y_K из гамма-распределений, каждое из которых имеет плотность

\frac{y_i^{\alpha_i-1} \; e^{-y_i}}{\Gamma (\alpha_i)}, \!

а затем положим

x_i = y_i/\sum_{j=1}^K y_j. \!

Наглядная трактовка параметров

В качестве примера использования распределения Дирихле можно предложить задачу, в которой требуется разрезать нитки (каждая начальной длины 1.0) на K частей с разными длинами так, чтобы все части имели заданную среднюю длину, но с возможностью некоторой вариации относительных длин частей. Значения α/α0 определяют средние длины частей нитки, получившиеся из распределения. Дисперсия вокруг среднего значения обратно пропорциональна α0.

См. также


Wikimedia Foundation. 2010.

Игры ⚽ Поможем написать курсовую

Полезное


Смотреть что такое "Распределение Дирихле" в других словарях:

  • Скрытое распределение Дирихле — (LDA) (в статистике)  это порождающая модель, позволяющая объяснять результаты наблюдений с помощью неявных групп, что позволяет получить объяснение, почему некоторые части данных схожи. Например, если наблюдениями являются слова, собранные… …   Википедия

  • Дирихле — Иоганн Петер Густав Лежён Дирихле (нем. Johann Peter Gustav Lejeune Dirichlet; 13 февраля 1805, Дюрен, Французская империя, ныне Германия  5 мая 1859, Гёттинген, Ганновер, ныне Германия)  немецкий математик, внёсший существенный вклад в… …   Википедия

  • Дирихле Петер Густав Лежён — Иоганн Петер Густав Лежён Дирихле (нем. Johann Peter Gustav Lejeune Dirichlet; 13 февраля 1805, Дюрен, Французская империя, ныне Германия  5 мая 1859, Гёттинген, Ганновер, ныне Германия)  немецкий математик, внёсший существенный вклад в… …   Википедия

  • Дирихле, Петер Густав Лежён — Иоганн Петер Густав Лежён Дирихле (нем. Johann Peter Gustav Lejeune Dirichlet; 13 февраля 1805, Дюрен, Французская империя, ныне Германия  5 мая 1859, Гёттинген, Ганновер, ныне Германия)  немецкий математик, внёсший существенный вклад в… …   Википедия

  • Дирихле, Петер Густав Лежен — Иоганн Петер Густав Лежён Дирихле (нем. Johann Peter Gustav Lejeune Dirichlet; 13 февраля 1805, Дюрен, Французская империя, ныне Германия  5 мая 1859, Гёттинген, Ганновер, ныне Германия)  немецкий математик, внёсший существенный вклад в… …   Википедия

  • ДИРИХЛЕ Z-ФУНКЦИЯ — Дирихле L pяд, L p яд, функция комплексного переменного s=s+it, определяемая для всех Дирихле характеровc.mod d рядом Д. L ф .mod dкак функции действительного переменного s введены в 1837 П. Дирихле (P. Dirichlet, см. [1]) в связи с… …   Математическая энциклопедия

  • ДИРИХЛЕ РАСПРЕДЕЛЕНИЕ — распределение вероятностей в симплексе k=2,3. . . ., определяемое плотностью вероятности причем где Г( ) гамма функция. Частный случай Д. р. бета распределение возникает при k=2. Д. р. играет важную роль в теории порядковых статистик. Напр., если …   Математическая энциклопедия

  • РАСПРЕДЕЛЕНИЕ ПРОСТЫХ ЧИСЕЛ — раздел теории чисел, в к ром изучаются закономерности распределения простых чисел (п. ч.) среди натуральных чисел. Центральной является проблема наилучшего асимптотич. выражения при функции p(х), обозначающей число п. ч., не превосходящих х, а… …   Математическая энциклопедия

  • ДИРИХЛЕ ТЕОРЕМА — 1) Д. т. в теории диофантовых приближений: для любого действительного числа а и натурального Qсуществуют целые о и q, удовлетворяющие условию Дирихле принцип ящиков позволяет доказать и более общую теорему: для любых действительных чисел a1 …   Математическая энциклопедия

  • ДИРИХЛЕ ХАРАКТЕР — (mod k) функция c(п)=c(п; k )на множестве целых чисел, удовлетворяющая условиям: Иными словами, Д. х. (mod k) это арифметич. функции, к рые не равны тождественно нулю, вполне мультипликативны и периодичны с периодом k. Понятие Д. х. ввел П.… …   Математическая энциклопедия


Поделиться ссылкой на выделенное

Прямая ссылка:
… Нажмите правой клавишей мыши и выберите «Копировать ссылку»