Эндрю Нг Машинное обучение-7-Машина опорных векторов SVM

Продюсер: Ю Эр Хат
Автор: Питер
Редактор: Питер

Эндрю Нг Машинное обучение-7-Машина опорных векторов SVM

На этой неделе в основном объясняются соответствующие точки знаний о машине опорных векторов SVM.

• жесткий интервал
• опорный вектор
• мягкий интервал
• двойная проблема

Цели оптимизации

В основном это объясняет, как медленно получить базовую машину опорных векторов из логистической регрессии. Гипотетическая форма логистической регрессии:

• Слева — гипотетическая функция
• правильноSigmoidфункция активации

сделать$z={\theta}^{T}x$, если:

1. как$y=1$,надеяться$h{(\theta)}$около 1, чтобы правильно классифицировать выборку, то z должно удовлетворять$z>>0$
2. как$y=0$,надеяться$h(\theta)$около 0, чтобы правильно классифицировать выборку, то z должно удовлетворять$z<<0$

Правильная классификация выборки означает: допущение, что результат, полученный функцией h(x), согласуется с истинным значением y

Функция общих затрат обычно суммируется по всем обучающим выборкам, и каждая выборка добавляет последний член приведенного выше уравнения (и коэффициент к функции общих затрат).$\frac{1}{m}$, коэффициенты не учитываются)

если$y=1$, работает только первый член целевой функции, что приводит к выражению:

$y=1-log(1-\frac{1}{1+e^{-z}})$

Опорные векторные машины

Формула машины опорных векторов, полученная из логистической регрессии:

$min C\sum^m_{i=1}[y^{(i)}cost_1(\theta^Tx^{(i)})+(1-y^{(i)})cost_0(\theta^Tx^{(i)}]+\frac{1}{2}\sum^n_{i=1}\theta_{j}^2$

дваcostФункции — это две прямые линии, упомянутые выше. Для логистической регрессии в целевой функции есть два элемента:

• Во-первых, это стоимость обучающих выборок.
• Во-вторых, это срок регуляризации.

Интуитивная интерпретация больших границ

Ниже представлена ​​модель функции стоимости машины опорных векторов.

Граница решения SVM

Надежность SVM: максимизация маржи, большой классификатор маржи.

Пояснение к картинке выше:

1. CЕсли он слишком большой, это будет розовая линия.
2. CЕсли она не слишком велика, это будет черная линия.

Описание классификатора с большим интервалом лишь интуитивно дает случай, когда параметр регуляризации C очень велик, а роль C аналогична использовавшемуся ранее параметру регуляризации.$\frac{1}{\lambda}$

• CБольшой, может привести к переоснащению, высокая дисперсия
• CМеньше, может привести к низкой подгонке, большому смещению

модель с жестким интервалом

Интервалы и опорные векторы

Примечание. В этой статье используются векторы-столбцы:

Дан пример обучающего набора$D={(x_1,y_1),(x_2,y_2),…,(x_m,y_m)}$,в$y_i \in {(-1,+1)}$

Основная идея классификационного обученияТо есть: на основе тренировочного набораDНайдите разделенную гиперплоскость в демонстрационном пространстве

Красная линия выше является лучшей. Полученные результаты классификации являются наиболее надежными, наиболее устойчивыми и обладают наилучшей способностью к обобщению.

Линейное описание гиперплоскости разбиения:${w\cdot x+b=0}$

W называется вектором нормали (рассматривается как вектор-столбец), который определяет направление плоскости; b — это член смещения, который определяет расстояние между гиперплоскостью и началом координат.

Расстояние от любой точки x в пространстве до гиперплоскости (w,b):

существует$+$Точки площади удовлетворяют$y=+1$:

существует$-$Точки площади удовлетворяют$y=-1$:

Объединяя две приведенные выше формулы, мы имеем:

опорный вектор

Ближайшие к гиперплоскости точки (точки, обведенные кружком) называются支持向量support vector, расстояние от этой точки до гиперплоскости называется间隔margin

Точка непосредственно на границе решения (обведенная точка на рисунке ниже) удовлетворяет знаку равенства в приведенной выше формуле:

отступ

Решить интервалmarginвектор решения${({x_+}-{x_-})}$Проекция на вектор нормали

Положительный пример на границе решения выражается как:

Отрицательный пример строки границы решения выражается как:

свести два результата вmarginв выражении:

Базовая модель SVM

Максимальный интервал должен быть только$||w||$Свернуть до:

SVM-двойная модель

Вывод параметров модели

Я хочу решить модель, соответствующую гиперплоскости базовой модели выше:

Использование множителей Лагранжа$\alpha_i$, преобразованный в функцию Лагранжа:

соответственно$w,b$Вывод, вы можете получить:

двойная модель

Исходная задача представляет собой максимальное преобразование в максимальную задачу:

в функцию Лагранжа, чтобы получить двойственную задачу (все о$\alpha$коэффициент):

Преобразуйте ее в задачу минимального значения (приведенная выше формула плюс отрицательный знак):

Тогда модель гиперплоскости:

Алгоритм SMO

Алгоритм SMO относится кSequential Minimal Optimization, алгоритм оптимизации минимальной последовательности. Основная идея алгоритма такова:

все$\alpha$удовлетворить:

1. Сначала выберите переменную, которую необходимо обновить.$\alpha_i$и$\alpha_j$

2. фиксированная переменная$\alpha_i$и$\alpha_j$параметры, отличные от , решить для обновленных переменных$\alpha_i$и$\alpha_j$

   

в$c$Сделайте приведенную выше формулу справедливой:

3. поместите переменную$\alpha_i$и$\alpha_j$Один из них представлен другим, и мы получаем примерно$\alpha_i$Одномерная задача квадратичного программирования$\alpha_i$

Максимальное мягкое расстояние

Приведенные выше выводы и выводы относятся к линейно разделимым данным. Линейно неразделимые данные означают, что некоторые точки выборки$(x_i,y_i)$Ограничение, заключающееся в том, что интервал функции больше или равен 1, больше не выполняется, например, точка в красном кружке на рисунке ниже, поэтому вводится резервная переменная.$\xi_i \geq0$, удовлетворять:

следовательно,целевая функцияпо оригиналу$\frac{1}{2}{||w||^2}$стал:

в$C\geq0$параметр штрафа,CЧем больше значение, тем больше ошибочная классификация,CЧем меньше штраф за ошибочную классификацию.