Основы машинного обучения — KL Divergence

Мало знаний, большой вызов! Эта статья участвует в "Необходимые знания для программистов«Творческая деятельность.

Сегодня мы рассмотрим метод сравнения двух вероятностных распределений, называемый дивергенцией Кульбака-Лейблера (часто сокращенно дивергенцией КЛ). Сначала приведем формулу

D_{KL}(P||Q) = \sum_i P(i) \log \frac{P(i)}{Q(i)}\\ D_{KL}(P||Q) = \int P(x) \log \frac{P(x)}{Q(x)} dx\\

Вышеприведенная формула, чтобы увидеть $Q(i)$ с целью $P(i)$ разница в вероятности. Он асимметричен и неотрицательен для KL-дивергенции.

В задаче о подбрасывании монеты мы предполагаем, что наблюдаемое нами число из N подбрасываний орла равно $N_H$ , а количество поднятий спинки равно $N_T$ . Предположим, что есть два распределения вероятностей P (настоящая монета) и Q, где распределение вероятностей P выражается как $p_1,p_2$ Эти две вероятности представляют вероятность того, что они выпадут один на один в распределении вероятностей P как $p_1$ Вероятность оказаться задом наперед равна $p_2$ . И прогнозируемое распределение вероятностей равно Q(coin1), в котором вероятность выпадения лицевой стороной вверх в распределении равна $q_1$ Вероятность оказаться задом наперед равна $q_2$

P(Observations|real\,coin) = p_1^{N_H}p_2^{N_T}\\ P(Observations|coin1 ) = q_1^{N_H}q_2^{N_T}\\

Используя предпосылку о распределении вероятностей P и распределении вероятностей Q соответственно, видим, что в N раз количество раз, когда решка выпадет вверх, равно $N_H$ , а количество поднятий спинки равно $N_T$ Наблюдения, также известные как вероятности.

\log(\frac{p_1^{N_H}p_2^{N_T}}{q_1^{N_H}q_2^{N_T}})^{\frac{1}{N}}

Приведенное выше соотношение нормируется, т. е. принимается $\frac{1}{N}$ Возьмите журнал после

\frac{N_H}{N} \log p_1 + \frac{N_T}{N} \log p_2 - \frac{N_H}{N} \log q_1 -\frac{N_T}{N} \log q_2\\ q_1 \log p_1 + q_1 \log p_2 - q_1 \log p_1 - q_2 \log p_2\\ q_1\\ q_1 \log \frac{p_1}{q_1} + q_2 \log \frac{p_2}{q_2}\\ =\sum_i q_i \frac{p_i}{q_i}

Вот и весь процесс вывода.