Это 10-й день моего участия в августовском испытании обновлений. Узнайте подробности события:Испытание августовского обновления

Эта статья является четвертой в серии заметок по курсу машинного обучения Эндрю Нг, в основном о введении и выводе алгоритма машин опорных векторов.

функция стоимости

обзорлогистическая регрессияв функции стоимости в$Cost(h_{\theta}(x),y)$:

$\begin{aligned}Cost& =y^{(i)}log(h_{\theta}(x))+(1-y^{(i)})log(1-h_{\theta}(x))\\&=y^{(i)}(-log(\dfrac{1}{1+e^{-\theta^{T}x}}))+(1-y^{(i)})(-log(1-\dfrac{1}{1+e^{-\theta^{T}x}}))\\&=-y^{(i)}log(\dfrac{1}{1+e^{-\theta^{T}x}})-(1-y^{(i)})log(1-\dfrac{1}{1+e^{-\theta^{T}x}})\end{aligned}$

сначала игнорировать$i$,когда$y=1$, надеемся, что стоимость минимальна, т. е. надеемся$\theta^{T}x \gg0$;когда$y=0$, надеемся, что стоимость минимальна, т. е. надеемся$\theta^{T}x \ll0$, изображение выглядит следующим образом:

наблюдать за изображением, когда$y=1$час,$z$становится больше, а стоимость уменьшается.Чтобы получить более высокую точность предсказания, SVM выпрямляет кривую в полилинию, принимая$z=1$является поворотным моментом, предыдущая логистическая регрессия была$z=\theta^{T}x \gg0$, прогнозируемый результат близок к$y=1$, теперь SVM меняется на$z=\theta^{T}x \gg1$, прогнозируемый результат близок к$y=1$. когда$y=0$То же время. мы будем$y=1,y=0$Когда две новые функции стоимости названы как$Cost_1(z),Cost_0(z)$, изображение выглядит следующим образом:

Заменить в функции стоимости логистической регрессии$Cost$, мы можем получить функцию стоимости машины опорных векторов:

$J(\theta)=\frac{1}{m}\sum\limits_{i=1}^m [y^{(i)}Cost_1(\theta^T x^{(i)})+(1-y^{(i)})Cost_0(\theta^T x^{(i)})]+\frac{\lambda}{2m}\sum\limits_{j=1}^{n}\theta_j^2$

минимизировать стоимость

SVM определяет свой процесс минимизации стоимости прогнозирования как:

$\mathop{min}\limits_{\theta} C\sum\limits_{i=1}^m [y^{(i)}Cost_1(\theta^T x^{(i)})+(1-y^{(i)})Cost_0(\theta^T x^{(i)})]+\frac{1}{2}\sum\limits_{j=1}^{n}\theta_j^2$

Как можно видеть$\frac{\lambda}{m}$После извлечения функция стоимости приведенного выше SVM может быть просто описана как:$CA+B$, нетрудно понять, что функция стоимости логистической регрессии также может быть просто описана как:$A+\lambda B$.

На самом деле логистическая регрессия выполняется$\lambda$для настройки весов, а SVM преобразует их$C$для регулировки веса. Фактически$C$можно считать эквивалентным$\frac{1}{\lambda}$.

Гипотетическая функция

Когда параметры получаются путем минимизации$\theta$После этого можно подставить следующую гипотетическую функцию для предсказания:

$h_{\theta}(x)=\begin{cases}1&if\;\theta^T x\geqslant0 \\0&otherwise\end{cases}$

Большая маржинальная интуиция

В функции стоимости предыдущего SVM мы узнали, что когда$y=1$, SVM ожидает$\theta^{T}x \gg1$; и когда$y=0$, SVM ожидает$\theta^{T}x \ll-1$. и$C$используется для регулировки веса. Рассмотрим частный случай, предположим$C$задается очень большим, то в процессе минимизации функции стоимости нам понадобится промежуточное значение$A$То есть первый член функции стоимости равен$у=1, у=0$всегда для$0$, что превращает задачу минимизации в задачу минимизации второго члена$B$Проблема:

$min \dfrac{1}{2}\sum\limits_{j=1}^{n}\theta_j^2 \;\;\;\;\; s.t\begin{cases}\theta^Tx^{(i)}\geqslant 1&if\;y^{(i)}=1 \\\theta^T x^{(i)}\leqslant -1&if\;y^{(i)}=0\end{cases}$

Черная линия на рисунке ниже — это граница решения, сделанная SVM. Видно, что существует большее кратчайшее расстояние между черной границей и обучающей выборкой.Это расстояние называется запасом SVM.SVM фактически пытается выбрать наилучшую границу решения, поэтому машину опорных векторов иногда называютКлассификатор с большим интервалом.

Математический вывод

Сначала просмотрите знания о векторном скалярном продукте. Предположим, что есть два двумерных вектора$u$и$v$:

$u=\begin{bmatrix}u_1\\u_2\end{bmatrix},v=\begin{bmatrix}v_1\\v_2\end{bmatrix}$

Мы делаем геометрическую диаграмму, чтобы представить ее интуитивно, и пусть$p$Выражается как$v$по прогнозам$u$длина, как показано на рисунке:

[Не удалось передать изображение по внешней ссылке, исходный сайт может иметь механизм защиты от пиявки, рекомендуется сохранить изображение и загрузить его напрямую (img-eZnPmNta-1628350970614)(/imgs/vector inner product.PNG)]

Тогда векторный внутренний продукт:$(u,v)=u^T v=p\cdot ||u||=u_1v_1+u_2v_2$

в,$||u||=\sqrt{u_1^2+u_2^2}$за$u$норма, также известная как длина. должны знать о том,$p$является числом со знаком, когда вектор$u,v$Когда прилежащий угол больше 90°,$p$является отрицательным числом.

Вернувшись в SVM, мы предполагаем, что есть два параметра$\theta$,Сейчас$\theta=\begin{bmatrix}\theta_1\\\theta_2\end{bmatrix}$, и разреши$\theta_0=0$, чтобы игнорировать перехват, так что вектор$\theta$мимо источника, то:

$\begin{aligned}min \dfrac{1}{2}\sum\limits_{j=1}^{n}\theta_j^2 & =min \dfrac{1}{2}\sum\limits_{j=1}^{n}(\theta_1^2+\theta_1^2)\\&=min \dfrac{1}{2}\sum\limits_{j=1}^{n}(\sqrt{\theta_1^2+\theta_1^2})^2\\&=min \dfrac{1}{2}\sum\limits_{j=1}^{n}||\theta|| \end{aligned}$

Видно, что все, что делает SVM, — это минимизирует вектор параметров$\theta$Квадрат нормы (или длины) .

Дополнительно мы можем получить:$\theta^T x^{(i)}=p^{(i)}\cdot||\theta||$,$p^{(i)}$во-первых$i$обучающие выборки$x^{(i)}$в векторе параметров$\theta$проекция на. Как показано ниже:

правильно$y^{(i)}=1$, мы надеемся$p^{(i)}\cdot||\theta||\geqslant1$,если$p^{(i)}$(В настоящее время$p^{(i)}>0$) очень мало, то$||\theta||$будет очень большим; то же самое верно$y^{(i)}=0$, мы надеемся$p^{(i)}\cdot||\theta||\leqslant -1$,если$p^{(i)}$(В настоящее время$p^{(i)}<0$) очень мало, то$||\theta||$будет очень большим, что согласуется с нашим первоначальным желанием минимизировать вектор параметров$\theta$Квадрат нормы противоречит. Поэтому мы предпочитаем$p^{(i)}$достаточно большой.

Функция ядра

определение

Во-первых, нам нужно понять линейную разделимость и нелинейную разделимость, как показано на рисунке ниже, набор данных на левом изображении является линейно разделимым, а правое изображение нелинейно разделимым.

Наша предыдущая проблема линейной классификации контента уже обсуждалась, чтобы с помощью прямой линии разделить набор данных и добиться наибольшей границы решения. Для нелинейных задач, прежде чем вспоминать логистическую регрессию, мы должны увеличить количество признаков с помощью сопоставления признаков (комбинации признаков) для выполнения полиномиального подбора. Для SVM полиномиальная регрессия высокого порядка не обязательно вносит существенный вклад, и поэтому использование SVM заключается во введении заранее выбранныхориентир, пример$x$с достопримечательностями$l^{(i)}$сходство как новый признак$f_i$:

$f_i = similarity(x,l^{(i)})$

мера расстояния$similarity$Эта функция называется функцией ядра. Обычно используемые функции ядра Гаусса:$f_i=exp(-\dfrac{||x-l^{(i)}||^2}{2\sigma^2})$

• когда$x$с достопримечательностями$l^{(i)}$Расстояние между примерно$0$час,$f_i \approx 1$
• когда$x$с достопримечательностями$l^{(i)}$Когда расстояние между ними становится достаточно большим,$f_i \approx 0$

Стоит отметить, что перед использованием функции ядра Гаусса необходимо выполнить масштабирование признаков.

Выбор ориентира

Обычно количество ориентиров определяется в соответствии с количеством образцов в обучающем наборе, и каждый ориентир соответствует каждому образцу. Преимущество этого в том, что новые функции, которые мы получаем, основаны на расстоянии между исходными функциями и всеми другими функциями в обучающем наборе.

то есть предположим, что у нас есть$m$образцы, затем$l^{(1)=x^{(1)}},l^{(2)=x^{(2)}},..,l^{(m)=x^{(m)}}$. доступны новые функции$f^{(i)}$:

$f^{(i)} = \begin{bmatrix} f_0^{(i)}=1 \\ f_1^{(i)}=similarity(x^{(i)},l^{(1)})\\... \\f_i^{(i)}=similarity(x^{(i)},l^{(i)})=1 \\... \\ f_m^{(i)}=similarity(x^{(i)},l^{(m)}) \end{bmatrix}$

Соответственно, окончательный SVM минимизирует стоимость процесса:

$\mathop{min}\limits_{\theta} C\sum\limits_{i=1}^m [y^{(i)}Cost_1(\theta^T f^{(i)})+(1-y^{(i)})Cost_0(\theta^T f^{(i)})]+\frac{1}{2}\sum\limits_{j=1}^{n=m}\theta_j^2$

Другие функции ядра

• Полиномиальная функция ядра (Polynomial KerneПриходить)

• ядро Лапласа

• Строковая функция ядра (String kernel)

• Функция ядра хи-квадрат (chi-square kernel)

• Функция ядра пересечения гистограммы (histogram intersection kernel)

• и т.д...

Совет по применению SVM

в настоящее времяsklearnСуществует много очень полных наборов инструментов для прямого вызова.Для приложений SVM общие параметры$C$Выбор функции ядра — два наиболее важных параметра применения SVM.

за$C$Регулировка фактически связана с параметром регуляризации$\lambda$Напротив:

• низкое смещение,высокая дисперсия, то есть столкнулсяпереоснащениеВремя:уменьшать $C$ценность.
• высокое отклонение,низкая дисперсия, то есть столкнулсянедооснащениеВремя:увеличивать $C$ценность.

Кроме того, когда SVM не применяет функцию ядра, по умолчанию вызываетсяЛинейная функция ядра. Когда количество выборок невелико, а функции велики, обычно используется SVM без функции ядра. Конечно, вы также можете использовать логистическую регрессию.

Когда количество выборок велико, а количество признаков мало, необходимо использовать функцию ядра. заФункция ядра Гаусса,разные$\sigma$Эффект стоимости также отличается:

• $\sigma$Когда он больше, это может привести к низкой дисперсии и высокому смещению;
• $\sigma$Когда он мал, это может привести к низкому смещению и высокой дисперсии.

Столкнувшись с проблемами множественной классификации, мы можем использовать один и тот жеСтратегия «Один против всех».

На самом деле, поскольку вычислительная производительность нейронных сетей значительно улучшилась, столкнувшись с небольшим количеством выборок и большим количеством признаков, помимо использования SVM, мы также можем использоватьНейронные сети.

---

Прикреплен после реализации кода домашнего задания:

• ex6-Support Vector Machines