Это 21-й день моего участия в августовском испытании обновлений.Подробности о событии:Испытание августовского обновления

Экспоненциальное семейное распределение

определение

Экспоненциальные семейства распределений. Экспоненциальное семейное распределение включает ряд распределений, таких как распределение Гаусса, распределение Бернулли, биномиальное распределение, распределение Пуассона, бета-распределение и гамма-распределение.

Экспоненциальные семейные распределения относятся к наборам параметров вероятностных распределений следующего конкретного вида:

p_X(x\mid \theta)=h(x)exp[\eta(\theta)\cdot T(x)-A(\theta)]

в, $Т(х), ч(х), \эта(\тета), А(\тета)$ — известная функция, то есть только параметры $\theta$ неизвестный. $\theta$ параметры, называемые семьями. $A(\theta)$ Также называется функцией разделения журнала.

Существуют и другие эквивалентные формы:

p_X(x\mid \theta)=h(x)g(\theta)exp[\eta(\theta)\cdot T(x)]

или:

p_X(x\mid \theta)=exp[\eta(\theta)\cdot T(x)-A(\theta)+B(x)]

или

\begin{aligned} p_X(x\mid \theta)&=h(x)exp[\eta(\theta)\cdot T(x)] \cdot exp[-A(\theta)]\\ &=\dfrac{1}{exp[A(\theta)]}h(x)exp[\eta(\theta)\cdot T(x)] \end{aligned}

функция распределения

p(x|\theta)=\dfrac{1}{z}\hat{p}(x|\theta)\qquad z\text{является коэффициентом нормализации, который не имеет ничего общего с x}

Статистическая сумма — это нормализованная функция, цель которой — сделать интегральное значение функции равным 1.

\int p(x|\theta)dx=\int \dfrac{1}{z}\hat{p}(x|\theta)dx=1 \\ z=\int\hat{p}(x|\theta)dx

$A(\theta)$ На самом деле получилось так:

p(x|\theta)=\dfrac{1}{exp[A(\theta)]}h(x)exp[\eta(\theta)\cdot T(x)] \\ \int p(x|\theta)dx=\int\dfrac{1}{exp[A(\theta)]}h(x)exp[\eta(\theta)\cdot T(x)]dx=1

так,

A(\theta)=\log\int h(x)exp[\eta(\theta)\cdot T(x)]dx

достаточная статистика

это $T(x)$ , статистика является функцией выборки, и достаточно указать, что статистика содержит общие характеристики выборки. При такой достаточной статистике выборку можно игнорировать, что позволяет сэкономить место. Например, достаточной статистикой распределения Гаусса являются среднее значение и дисперсия, так что четкое распределение может быть получено путем вычисления среднего значения и дисперсии выборки.

сопряжение

Экспоненциальные семейные распределения часто сопряжены. Сопряженный априор делает априор и апостериор в одной и той же форме, что легко вычислить.

Что такое сопряжение?

Сначала рассмотрим формулу Байеса.

p(z|x)=\dfrac{p(x|z)p(z)}{\int_zp (x|z)p(z)dz}

Задний $p(z|x)$ , так как интеграл от знаменателя найти труднее, то и напрямую найти апостериор сложнее. Сопряжение означает, что при определенной вероятности $p(x|z)$ вниз, назад $p(z|x)$ и априори $p(z)$ будет формировать такое же распределение. Тогда нет необходимости вычислять комплексный интеграл в качестве знаменателя.

Например, если вероятность $p(x|z)$ является биномиальным распределением, $p(z)$ является бета-распределением, то апостериорное распределение также $p(z|x)$ Также бета-распределение. который $p(z|x) \propto p(x|z)p(z)$ .

максимальная энтропия

Экспоненциальные семейные распределения удовлетворяют принципу максимальной энтропии.

Что такое максимальная энтропия?

Во-первых, определение информационной энтропии:

H (p) = \ int-p (x) \ log p (x) dx \ qquad (\ text {continuous}) \\ H (p) = - \ sum_ {n = 1} ^ N p (x) \ журнал p(x)dx\qquad(\text{дискретный})

Предполагая, что данные дискретны, для дискретной случайной величины x имеем $n$ признаков, вероятность которых $p_n$ , теперь требуется максимальная информационная энтропия, то максимальную энтропию можно выразить в виде задачи оптимизации с ограничениями:

\max\{H(p)\}=\min\{\sum_{n=1}^N p_n\log p_n\}\quad s.t. \sum_{n=1}^N p_n=1

Что касается этой знакомой задачи оптимизации с ограничениями, мы можем использовать метод множителей Лагранжа для ее решения,

L(p,\lambda)=\sum_{n=1}^N p_n\log p_n+\lambda(1-\sum_{n=1}^N p_n)

пожалуйста, руководство,

\dfrac{\partial L}{\partial p_n}=\log p_n+1-\lambda=0 \\ \Longrightarrow p_n=exp(\lambda-1)

$\lambda$ является константой, поэтому $\hat{p}_1=\hat{p}_2=...=\hat{p}_n=\dfrac{1}{N}$

Можно обнаружить, что в дискретных условиях $p_n$ Энтропия максимальна, когда она подчиняется равномерному распределению. Это,В дискретных условиях максимальное распределение энтропии случайной величины при неинформативном априорном анализе является равномерным распределением.

Затем, когда у нас есть частичный набор данных, мы можем получить некоторые предварительные знания из набора данных, такие как эмпирическое распределение. $\hat{p}(x)=\frac{count(x)}{N}$ , эмпирическое ожидание может быть дополнительно рассчитано:

E_{\hat{p}}[f(x)]=\Delta

Затем мы можем добавить эти предварительные знания к ограничениям. Итак, максимальная энтропия

\max\{H(p)\}=\min\{\sum_x p(x)\log p(x)\}\quad s.t. \sum_{n=1}^N p_n=1,E_{\hat{p}}[f(x)]=\Delta

Или используйте метод множителей Лагранжа,

L(p,\lambda_0,\lambda)=\sum_{n=1}^N p(x_n)\log p(x_n)+\lambda_0(1-\sum_{n=1}^N p_n)+\lambda^T(\Delta-E_{\hat{p}}[f(x)])

просить руководства,

\begin{aligned} \dfrac{\partial }{\partial p(x)}L&=\sum_{n=1}^N(\log p(x)+1)-\sum_{n=1}^N\lambda_0-\sum_{n=1}^N\lambda^Tf(x)=0\\ &\Longrightarrow p(x)=exp\{\lambda_0-1+\lambda^Tf(x)\} \end{aligned}

Это экспоненциальное семейное распределение. Можно сделать вывод, что,При условии выполнения установленных фактов максимальное распределение энтропии, соответствующее случайной величине, является экспоненциальным семейным распределением.

Несколько экспоненциальных семейных распределений

Несколько общих экспоненциальных семейных распределений представлены ниже.

Гауссово распределение

Если случайная величина $X$ подчиняться среднему $\mu$ , дисперсия $\sigma$ Гауссово распределение , обозначаемое как: $X\sim N(\mu,\sigma^2)$

ТотФункция плотности вероятностиза:

f(x\mid \mu,\sigma)=\dfrac{1}{\sigma \sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}

написано какЭкспоненциальная форма:

f(x\mid \mu,\sigma)=\dfrac{1}{\sqrt{2\pi}}exp\{\dfrac{\mu}{\sigma^2}x-\dfrac{1}{2\sigma^2}x^2-\dfrac{1}{2\sigma^2}\mu^2-\dfrac{log\sigma^2}{2}\}

Когда переменные следуют распределению Гаусса, независимость должна быть некоррелированной, а некоррелированная должна быть независимой.

Корреляция отражает то, что на самом деле является линейной зависимостью, тогда как независимость отражает более общую линейную независимость.

Распределение Бернулли

написано какЭкспоненциальная форма:

f(x\mid \pi)=\pi^x(1-\pi)^{1-x}=exp\{xlog(\dfrac{\pi}{1-\pi})+log(1-\pi) \}

Пуассоновские и экспоненциальные распределения

распределение Пуассонавыражение:

$X \sim P(\lambda),\lambda=\overline X$
$P(X=k)=\dfrac{\lambda ^k}{k!}e^{-\lambda}$
$E(X)=\lambda$

написано какЭкспоненциальная форма:

p(x\mid \lambda)=\dfrac{1}{x!}exp\{xlog\lambda-\lambda \}

процесс Пуассона: время введения, t

формула: $P(X=k,t)=\dfrac{(\lambda t)^k}{k!}e^{-\lambda t}$

Экспоненциальное выражение распределения:

$Y\sim Exp(\lambda)$
$E(Y)=\dfrac{1}{\lambda}$

По функции распределения: $F(y)=P(Y\le y)=\begin{cases}1-e^{-\lambda y}&y\geqslant 0\\0&y<0\end{cases}$ ,

Вывод дает функцию плотности вероятности, которая представляет собой экспоненциальное распределение:

p(y)=\begin{cases}\lambda e^{-\lambda y}&y\geqslant 0\\0&y<0\end{cases}

Записано в экспоненциальной форме:

p(y\mid \lambda)=\lambda e^{-\lambda y}=exp\{-\lambda y+log(\lambda)\}

Экспоненциальное распределение так же не имеет памяти, как и геометрическое.

Гамма-распределение

написано какЭкспоненциальная форма:

f(x\mid k,\theta)=\dfrac{1}{\Gamma(k)\theta^k}x^{k-1}e^{\frac{-x}{\theta}}=exp\{(k-1)log(x)-\dfrac{x}{\theta}-klog(\theta)-log\Gamma(k) \}

Ссылаться на

Курсы серии «Машинное обучение по созданию доски»
Экспоненциальное семейное распределение | Серия производных машинного обучения (9) - Ищут программиста