Связь между байесовскими методами и регрессией Риджа

Как байесовские методы связаны с регрессией Риджа? Без лишних слов, давайте посмотрим непосредственно.

Для удобства иллюстрации рассмотрим одномерную независимую переменную и расположим ряд независимых переменных в виде вектора: $\mathbf{x}=(x_1,\cdots,x_N)^T$ , соответствующая целевая функция $\mathbf{t}=(t_1,\cdots,t_N)^T$ .

Будем считать, что каждая из выборок $t$ независимы и подчиняются нормальному распределению со средним $y(x,\mathbf{w})=\sum_{j=0}^{M} w_j x^j$ (Также можно не указывать форму, если речь идет о $x$ и $\mathbf{w}$ функция), обратная дисперсии $\beta$ , то функция правдоподобия

p(\mathbf{t}|\mathbf{x},\mathbf{w},\beta)=\prod_{n=1}^{N} \mathcal{N}(t_n|y(x,\mathbf{w}),\beta^{-1})

Логарифмируя функцию правдоподобия, а затем записывая конкретную форму нормального распределения, мы имеем

\ln{p(\mathbf{t}|\mathbf{x},\mathbf{w},\beta)}=-\dfrac{\beta}{2}\sum_{n=1}^{N}[y(x_n,\mathbf{w})-t_n]^2+\dfrac{N}{2}\ln{\beta}-\dfrac{N}{2}\ln(2\pi)

Максимизация функции правдоподобия эквивалентна минимизации ее отрицательного логарифма, что также эквивалентно минимизации $\sum_{n=1}^{N}[y(x_n,\mathbf{w})-t_n]^2$ . Мы обнаружили, что на самом деле это использование МНК для решения задачи линейной регрессии. другими словами,Использование МНК для решения линейной регрессии эквивалентно решению задачи максимального правдоподобия в предположении нормального распределения..

Так что же происходит при байесовском подходе? Поскольку байесовский метод требует предварительного распределения параметров, здесь предполагается, что параметры $\mathbf{w}$ Априорное распределение - это гиперпараметр, определяемый $\alpha$ Простое нормальное распределение для контроля, обратите внимание, что это многомерное нормальное распределение:

\begin{aligned} p(\mathbf{w}|\alpha)&=\mathcal{N}(\mathbf{w}| \mathbf{0},\alpha^{-1}\mathbf{I})\\ &=(\dfrac{\alpha}{2\pi})^{\dfrac{M+1}{2}}\exp(-\dfrac{\alpha}{2}\mathbf{w}^T \mathbf{w}) \end{aligned}

в $M+1$ да $\mathbf{w}$ общее количество элементов.

По теореме Байеса имеем

p(\mathbf{w}|\mathbf{x},\mathbf{t},\alpha,\beta)\propto p(\mathbf{t}|\mathbf{x},\mathbf{w},\beta)p(\mathbf{w}|\alpha)

То, что мы хотим максимизировать, это $\mathbf{w}$ Апостериорная вероятность такого метода есть МАР (максимальная апостериорная).

Возьмем отрицательный логарифм правой части приведенного выше уравнения, округлим и получим $\mathbf{w}$ После нерелевантных предметов это становится:

\dfrac{\beta}{2}\sum_{n=1}^{N}[y(x_n,\mathbf{w})-t_n]^2+\dfrac{\alpha}{2}\mathbf{w}^T\mathbf{w}

Мы обнаружили, что в предположении, что исходные данные подчиняются нормальному распределению, после добавления предположения о нулевом среднем, гомоскедастическом и некоррелированном многомерном нормальном распределении параметров байесовским методом оптимизации является регрессия Риджа. Что оптимизировать в , возьмите регуляризацию параметр $\lambda=\dfrac{\alpha}{\beta}$ , оба результата совпадают.