Добавить Автора

Официальный аккаунт: AI Machine Learning and Knowledge Graph

Направление исследования: обработка естественного языка и граф знаний

Предисловие: Если вам нужно получить все рукописные материалы этой статьи, отсканируйте код и следуйте официальной учетной записи [AI Machine Learning and Knowledge Graph] и ответьте: Первая лекция о распределении Гаусса может быть получена.

Оригинальность непростая, просьба сообщать и указывать источник при перепечатке! Отсканируйте код, чтобы подписаться на официальный аккаунт, регулярно публиковать графики знаний, обработку естественного языка, машинное обучение и другие знания, добавлять WeChat [17865190919] в группу обсуждения и отмечать при добавлении друзей из Nuggets.

Без лишних слов зададим вопрос:Набор данных Data X подчиняется распределению Гаусса, как получить среднее значение и дисперсию X

Чтобы ответить на вышеуказанные вопросы, давайте сначала разберем вопросы:

1. Что такое распределение Гаусса и какова функция плотности вероятности распределения Гаусса

2. Какой метод используется для получения: метод оценки максимального правдоподобия, что такое оценка максимального правдоподобия?

3. Как получить, процесс получения среднего значения и дисперсии гауссовского распределения методом оценки максимального правдоподобия.

Тогда давайте взглянем на вышеупомянутые четыре вопроса один за другим.

1. Распределение Гаусса

Взаимосвязь между одномерным распределением Гаусса, стандартным одномерным нормальным распределением и многомерным распределением Гаусса, а также их функциями плотности вероятности объясняются ниже.Для краевого распределения Гаусса, условного распределения Гаусса и смешанного распределения Гаусса я буду обсуждать их отдельно.

1. Одномерное распределение Гаусса и стандартное нормальное распределение.

Если набор данныхxподчиняться среднемуu, дисперсия$\sigma$Одномерное гауссово распределение , функция плотности вероятности которого

В то время как стандартное одномерное нормальное распределение имеет обаxЧтобы нормализовать:

ноzОн подчиняется стандартному нормальному распределению со средним значением 0 и дисперсией 1, а его функция плотности вероятности равна

Вот два общих свойства, которым удовлетворяет распределение Гаусса, которые будут использоваться в последующих доказательствах:

(1) Если$x \sim N(u, \sigma^2)$а и b - действительные числа, то

(2) если$x \sim N(u_x, \sigma^2_x)$и$y \sim N(u_y, \sigma^2_y)$является статистически независимой нормальной случайной величиной, то

• Их сумма также удовлетворяет нормальному распределению

• Их разность также удовлетворяет нормальному распределению

2. Многомерное распределение Гаусса

Вот простой случай, то есть когда несколько измерений не зависят друг от друга, если переменные независимы друг от друга, совместная функция плотности вероятности равна произведению их соответствующих плотностей вероятности.

если$X=(x_1, x_2, ..., x_d)^T$, а размерности не зависят друг от друга, то функция плотности вероятности X равна

Упростите приведенную выше формулу, сначала сокращенную как

в:

В приведенной выше формуле$\Sigma$этоковариационная матрица.Поскольку размеры переменных некоррелированы, ковариационная матрица имеет значения только в диагональной позиции.Поэтому функция плотности вероятности многомерного гауссовского распределения получается как:

2. Оценка максимального правдоподобия

Давайте сначала поймем идею оценки максимального правдоподобия из примера на следующем рисунке:

С точки зрения непрофессионала, метод оценки максимального правдоподобия заключается в использовании известной информации о результатах выборки для вывода значений параметров модели, которые наиболее вероятны (максимальная вероятность) для получения этого результата.Оценка максимального правдоподобия предоставляет данные наблюдения для оценки , Метод параметров модели, то есть модель определена, а параметры неизвестны.

Важной предпосылкой оценки максимального правдоподобия является то, что выборки данных независимы и одинаково распределены. Прежде чем использовать оценку максимального правдоподобия для решения параметров распределения Гаусса, давайте посмотрим на общую ситуацию.Теперь рассмотрим набор данных D, который подчиняется определенному распределению вероятностей и использует оценку максимального правдоподобия для получения вектора параметров набора данных.$\Theta$, запомните известный выборочный набор как:

Функция правдоподобия, совместная функция плотности вероятности:

совместная функция плотности вероятности$p(D|\Theta)$называется параметром относительно набора данных D$\Theta$Функция правдоподобия , во-первых, значение параметра, которое требуется для удовлетворения функции максимального правдоподобия, то есть максимальной вероятности появления группы выборок.$\Theta$ценность

На практике для удобства анализа она будет определяться как логарифмическая функция правдоподобия:

Теперь, когда вы знаете, как использовать оценку максимального правдоподобия, следующим шагом будет использование оценки максимального правдоподобия для определения параметров распределения Гаусса, а именно среднего значения и дисперсии.

3. Оценка максимального правдоподобия для получения среднего значения и дисперсии распределения Гаусса.

Во-первых, пакет наборов данных Data X подчиняется распределению Гаусса, а выборки независимы и одинаково распределены:

Решение параметров с оценкой максимального правдоподобия$\Theta$, то логарифмическая функция правдоподобия:

в$p(x_i|\Theta)$- функция плотности вероятности распределения Гаусса

Итак, среднее значение

Крайняя точка вывода вышеприведенной функции является одновременно минимальным значением

тогда его среднее значение

До сих пор мы получали среднее значение u посредством вывода оценки максимального правдоподобия, а затем использовали тот же метод для решения дисперсии

Следовательно, дисперсия параметра может быть получена как

До сих пор мы получили среднее значение и дисперсию гауссовского распределения с помощью оценки максимального правдоподобия.

Справочный видео материал:【Машинное обучение】【Серия вывода на доску】 Автор: shuhuai008

Справочники: Распознавание образов и машинное обучение Автор: [Кристофер Бишоп](