Это седьмой день моего участия в августовском испытании обновлений, подробности о мероприятии:Испытание августовского обновления

предисловие

Эта статья является первой в серии заметок к курсу машинного обучения Эндрю Нг, в основном о подробном выводе линейной регрессии и логистической регрессии, а также о различиях между ними.

Линейная регрессия

единичная линейная регрессия

Что касается проблемы регрессии, давайте сначала рассмотрим определение функции стоимости.

функция стоимости функция стоимости

Линейная квадратичная функция стоимости:

$h_{\theta}(x)=\theta_0+\theta_1x$

Сумма квадратов ошибки моделирования:

$J(\theta_0,\theta_1)=\dfrac{1}{2m}\sum\limits_{i=1}^m (h_{\theta}(x^{(i)})-y^{(i)})^2$

Несколько концепций:

Сумма квадратов ошибок (SSE): используется для указания того, насколько хорошо подходит функция.
Среднеквадратическая ошибка (MSE): относится к ожидаемому значению квадрата разницы между оценкой параметра и истинным значением параметра.

градиентный спуск градиентный спуск

Основано на классической проблеме спуска, то есть когда вы находитесь в определенной точке горы, как выбрать лучшее направление спуска на горе и насколько велик каждый шаг. Цель градиентного спуска — найти минимальное значение функции стоимости.

Идея алгоритма:

Первоначально выберите комбинацию параметров и рассчитайте функцию стоимости
Затем найдите комбинацию параметров, которая больше всего снижает значение функции стоимости, а также вычислите функцию стоимости.
Продолжайте описанный выше процесс, пока целевое значение не станет локальным минимумом.

пакетный градиентный спуск

Формула (при условии двух параметров): $\theta_j = \theta_j - \alpha\dfrac{\partial}{\partial\theta_j}J(\theta_0,\theta_j)$

$\alpha$ это скорость обучения, которая определяет, насколько мы делаем шаги вниз в направлении, которое больше всего снижает функцию стоимости.При пакетном градиентном спуске мы каждый раз вычитаем все параметры из обучения одновременно.Скорость, умноженная на производную от функция затрат.
для нескольких $\theta$ , значение должно обновляться синхронно, и скорость обучения тоже будет обновляться, потому что чем ближе к крайней точке, наша скорость обучения, то есть размер шага спуска с горы, должна быть меньше, и результат будет более точным. На самом деле частная производная равна 0, так что она сходится к локальному оптимальному решению.

как выбрать $\alpha$ ценность?

Основываясь на приведенном выше уравнении, мы можем видеть, что если $\alpha$ Слишком маленький, каждый шаг очень маленький, двигаясь понемногу к самой нижней точке, так что одна итерация займет много времени.
как $\alpha$ Если он слишком велик, то шаг перемещения слишком велик, он может пересечь нижнюю точку, и следующая итерация будет двигаться снова и снова, снова и снова пересекая нижнюю точку, что приведет к невозможности сходимости.
В общих практических приложениях набор интервалов, таких как $[0.01,0.1,1,10]$ Таким образом, попробуйте несколько раз, а затем выберите соответствующий интервал в соответствии с результатами.

При градиентном спуске градиентный спуск автоматически делает меньшие шаги по мере приближения к локальному минимуму, потому что по мере приближения к локальному минимуму ясно, что производная равна нулю в локальном минимуме, поэтому по мере приближения к локальному минимуму значение производной будет автоматически становиться все меньше и меньше, поэтому градиентный спуск автоматически будет принимать меньшую величину, то есть $\alpha$ На данный момент нет необходимости в другом сокращении.

Линейная регрессия с градиентным спуском

Алгоритм градиентного спуска:

\begin{aligned} &Repeat\;until\;convergence\{ \\ & \quad\theta_j=\theta_j-\alpha\dfrac{\partial}{\partial\theta_0}J(\theta_0,\theta_1) \\ & \quad for\;j=0\;and\;1\\ &\} \end{aligned}

Получите функцию стоимости:

$\dfrac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)=\dfrac{\partial}{\partial\theta_j}\frac{1}{2m}\sum\limits_{i=1}^m(h_{\theta}(x^{(i)})-y^{(i)})^2$

$j=0,\quad\dfrac{\partial}{\partial\theta_0}J(\theta_0,\theta_1)=\frac{1}{m}\sum\limits_{i=1}^m (h_{\theta}(x^{(i)})-y^{(i)}),\quad\theta_0=\theta_0-\alpha\frac{1}{m}\sum\limits_{i=1}^m (h_{\theta}(x^{(i)})-y^{(i)})$

$j=1,\quad\dfrac{\partial}{\partial\theta_1}J(\theta_0,\theta_1)=\frac{1}{m}\sum\limits_{i=1}^m (h_{\theta}(x^{(i)})-y^{(i)})\cdot x^{(i)},\quad\theta_1=\theta_1-\alpha\frac{1}{m}\sum\limits_{i=1}^m (h_{\theta}(x^{(i)})-y^{(i)})\cdot x^{(i)}$

Мы также можем использовать **«наименьшие квадраты»** для решения модели. В линейной регрессии метод наименьших квадратов заключается в попытке найти прямую линию, которая представляет собой наименьшую сумму евклидовых расстояний от всех выборок до прямой линии, то есть в модели $J(\theta_0,\theta_1)$ минимум.

Решение: соответственно $\theta_0,\theta_1$ Возьмите производную и установите желаемую формулу равной 0, чтобы решить $\theta_0,\theta_1$ Оптимальным решением.

Множественная линейная регрессия

На самом деле это один признак => многомерный признак, представленный вектором

Предположим, что число признаков равно $n$ , матрица признаков выглядит следующим образом:

$X=\begin{matrix}\\\\x^{(1)}:\\x^{(2)}:\\x^{(3)}:\\...\end{matrix}\ begin{matrix}\\\text{feature}1&\text{feature}2&\text{feature}3&\text{feature}4\\1&0.2&41&6\\2&0.6&35&4\\5&0.5&60&8\\... &...&...&...\end{matrix}=\begin{bmatrix}x^{(1)^T}\\x^{(2)^T}\\x^{(3 )^T}\\...\\x^{(n)^T}\\\end{bmatrix}$

$x^{(i)}$ представитель $i$ экземпляр признака, то есть первый признак матрицы признаков. $i$ row, представляет собой вектор, такой как $x^{(2)}=\begin{bmatrix}2\newline0.6\newline35\newline4\end{bmatrix}$

многомерный $h$ Выражается как:

$h_{\theta}(x)=\theta_0+\theta_1x+\theta_2x_2+...+\theta_nx_n$

Видно, что параметр $n+1$ размерный вектор, размерность матрицы признаков равна $m*(n+1)$ , для удобства расчета введем $x_0=1$ , то есть формула принимает вид:

$h_{\theta}(x)=\theta_0x_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n$

сделать $\theta = \begin{bmatrix}\theta_0\newline\theta_1\newline...\newline\theta_n\end{bmatrix}$

Итак, для дальнейшего упрощения: $h_{\theta}(x)=\theta^Tx$

градиентный спуск

Расширяя градиентный спуск единичной линейной регрессии,

$\dfrac{\partial}{\partial\theta_j}J(\theta_j)=\dfrac{\partial}{\partial\theta_j}\frac{1}{2m}\sum\limits_{i=1}^m (h_{\theta}(x^{(i)})-y^{(i)})^2$

Масштабирование функций: Масштабируйте каждую функцию примерно до $[-1,1]$

Средняя нормализация: просто стандартизация

$x_i = \dfrac{x_i-\mu_i}{max-min}$
$я> 1, \ текст {потому что} x_0 = 1$

нормальное уравнение

Предположим, что результат обучающего набора является вектором $y$ , Импортировать $x_0$ Тогда матрицу признаков также можно записать в виде:

$X=\begin{matrix}\\\text{feature}1&\text{feature}2&\text{feature}3&\text{feature}4\\1&0.2&41&6\\2&0.6&35&4\\5&0.5&60&8\\ ...&...&...&...\end{matrix}=\begin{matrix}\\\\1&x^{(1)^T}\\1&x^{(2)^T} \\1&x^{(3)^T}\\1&...\конец{матрица}$

Запишите приведенную выше функцию стоимости в матричной форме:

$J(\theta)=\frac{1}{2m}(X\theta-y)^T(X\theta-y)$

В самом деле, решая $J(\theta)$ минимальный параметр $\theta$ значение, которое представлено следующим образом:

$\theta = argmin(X\theta-y)^T(X\theta-y)$

сделать $E_{\theta}=(X\theta-y)^T(X\theta-y)$ ,правильно $\theta$ Вывод можно решить:

$\theta = (X^TX)^{-1}X^Ty$

Градиентный спуск против нормального уравнения

градиентный спуск	нормальное уравнение
Необходимо выбрать скорость обучения $\alpha$	Скорость обучения не требуется $\alpha$
Требуется несколько итераций	Нет необходимости повторять операции, матричные операции можно выполнять всего одной строкой кода.
При множественных характеристиках лучшая адаптивность	Вычислительная сложность обратной матрицы O( $n^3$ ), поэтому, если размер объекта слишком велик (особенно более 10 000 измерений), вычислительные затраты высоки, и этот метод не следует рассматривать.
Может применяться к некоторым более сложным алгоритмам, подходящим для различных типов моделей.	Матрица должна быть обратимой, и для некоторых более сложных алгоритмов этот метод не будет работать. Подходит только для моделей линейной регрессии, не подходит для других моделей, таких как модели логистической регрессии.

Логистическая регрессия Логистическая регрессия

является проблемой классификации. Для задач классификации данные, как правило, дискретны, и использование линейной регрессии не является хорошим методом для решения задач классификации, поэтому ниже представлен классический алгоритм решения задач классификации — логистическая регрессия.

Суть логистической регрессии состоит в том, чтобы предположить, что данные следуют этому распределению, а затем использовать оценку максимального правдоподобия для оценки параметров, так что диапазон выходной переменной всегда находится между 0 и 1. Алгоритм описан ниже на примере задачи бинарной классификации.

Функция распределения для логистической регрессии: $Sigmoid$ функция: $g(z)=\dfrac{1}{1+e^{-z}}$ , изображение функции выглядит следующим образом:

[Не удалось передать изображение по внешней ссылке, исходный сайт может иметь механизм защиты от пиявки, рекомендуется сохранить изображение и загрузить его напрямую (img-Cb4IBXex-1628157342810) (/imgs/Sigmoid function image.jpg)]

Видно, что эта функция преобразует входные значения в значения вероятности, поэтому гипотетическая функция, из которой мы можем построить модель логистической регрессии:

$h_{\theta}(x)=g(\theta^{T}x)=\dfrac{1}{1+e^{-\theta^{T}x}}$

в: $x$ представляет вектор признаков, $\theta$ Параметры просим принять.

$P(y=1|x;\theta)=h_{\theta}(x)$

значит данный $x$ и $\theta$ условия, прогнозировать $y=1$ Вероятность

Решающую функцию можно получить:

$y(i)=1, \text{if }P(y=1|x)>0.5$

$0.5$ Это порог, который мы выбираем.Конечно, другие значения могут быть выбраны в соответствии с реальной ситуацией.Например, предсказуемость положительного примера выше, и она может быть больше 0,5.

граница решения

Введение этого понятия цитирует курс ppt профессора Нг Энда.

Линейная граница решения

线性决策边界 нелинейная граница 请添加图片描述

функция стоимости

Функция стоимости логистической регрессии определяется как:

$J(\theta)=\frac{1}{m}\sum\limits_{i=1}^m Cost(h_{\theta}(x^{(i)})-y^{(i)})$

в:

$Стоимость (h _ {\ theta} (x), y) = \ begin {cases} -log (h _ {\ theta} (x)) & y = 1 \ text {время} \\ - log (1-h _ {\ theta }(x))&y=0\text{случаи}\end{случаи}$

$Cost(h_{\theta}(x),y)$ Особенностями функции являются:

когда фактическое $y=1$ час, $h_{\theta}(x)=1$ Когда стоимость равна 0, когда $h_{\theta}(x)$ не для $1$ , стоимость следует $h_{\theta}(x)$ становиться меньше и больше;
когда фактическое $y=0$ час, $h_{\theta}(x)=0$ Когда стоимость равна 0, когда $h_{\theta}(x)$ не для $0$ , стоимость следует $h_{\theta}(x)$ расти все больше и больше;

Изображение выглядит следующим образом: 在这里插入图片描述 Можно еще упростить:

$J(\theta)=-\frac{1}{m}\sum\limits_{i=1}^m [y^{(i)}log(h_{\theta}(x))+(1-y^{(i)})log(1-h_{\theta}(x))]$

Используйте градиентный спуск

функция стоимости пары $J(\theta)$ попросить совета

$\dfrac{\partial}{\partial\theta}J(\theta)=\frac{1}{m}\sum\limits_{i=1}^m (h_{\theta}(x^{(i)})-y^{(i)})x^{(i)}$

такое же право $\theta_j=\theta_j-\alpha\frac{1}{m}\sum\limits_{i=1}^m (h_{\theta}(x^{(i)})-y^{(i)})$ Продолжайте обновлять значение каждого параметра до тех пор, пока значение функции не станет минимальным, то есть значение производной стремится к $0$ из $\theta$ Вот и все.

Проблема мультиклассификации

обычно используетсяOne-vs-All, также известен какOne-vs-the Restметод достижения множественной классификации, которыйПроблема мультиклассификациипревратился вмножественная бинарная классификацияпроблема. Фактически, нужно по очереди рассматривать признак как положительный образец, а остальные — как отрицательные образцы, а затем выполнять обучение модели, как в двух классификациях. Если число признаков выборки $n$ , в общей сложности $n-1$ граница решения.

Пример: данный ввод $x$ , рассчитать отдельно $h_{\theta}^{(i)}(x),i=1,2,...,n$ , а затем сравнить, если $h_{\theta}^{(k)}(x)$ ближайший $1$ , затем предсказать $x$ принадлежать $k$ своего рода.

переобучение и недообучивание

Что такое переоснащение?

недооснащение: Степень подгонки невысокая, данные далеки от кривой подгонки

переоснащение: Переобучение, вроде подходит почти под любые данные, но теряется информационный закон. В машинном обучении часто бывает так, что обучающая выборка переобучена и слишком точна, и такая модель не имеет практического прогностического значения.

Регуляризация

Вышеупомянутая проблема переоснащения, то методы решения переоснащения, как правило, таковы:

Уменьшите количество функций. Это, очевидно, разрушает целостность функции.
Сохраните функции, но ослабьте коэффициенты некоторых членов более высокого порядка $\theta_i$ . Мы называем это ослаблением парного параметра $\theta_i$ наказание.

Так называемая регуляризация — это процесс ослабления признаков высокого порядка.

Регуляризация в линейной регрессии

На основе линейной регрессии введем параметры $\lambda$ ввести штраф за регуляризацию. Измените функцию стоимости на:

$J(\theta)=\frac{1}{2m}\sum\limits_{i=1}^m [(h_{\theta}(x^{(i)})-y^{(i)})^2+\lambda\sum\limits_{i=1}^{n}\theta_j^2 ]\\ =\frac{1}{2m}[(X\theta-y)^T(X\theta-y)+\lambda\sum\limits_{j=1}^{n}\theta_j^2]$

$\lambda$ Чем больше значение, тем сильнее штраф за регуляризацию и тем лучше можно избежать переобучения. Конечно, он не может быть слишком большим, иначе параметр стремится к 0, и итоговое изображение может быть прямой линией.

В то же время есть соответствующие изменения в градиентном спуске:

$\begin{aligned}&Repeat\;until\;convergence\{ \\ & \quad \theta_0=\theta_0-\alpha\frac{1}{m}\sum\limits_{i=1}^m [(h_{\theta}(x^{(i)})-y^{(i)})x_0^{(i)}] \\ & \quad \theta_j=\theta_j-\alpha\frac{1}{m}\sum\limits_{i=1}^m [(h_{\theta}(x^{(i)})-y^{(i)})x^{(i)} + \frac{\lambda}{m}\theta_j]\\ & \quad for \ j=1,2,..,n\\ &\}\end{aligned}$

Его можно еще упростить до:

$\theta_j=\theta_j(1−\alpha\dfrac{\lambda}{m})−\alpha\dfrac{1}{m}\sum\limits_{i=1}^{m}[h_{\theta} (x^{(i)})−y^{(i)}]x^{(i)}_j$

Можно видеть, что изменение алгоритма градиентного спуска регуляризованной линейной регрессии заключается в том, что каждый раз на основе правил обновления исходного алгоритма $\theta$ значение уменьшается на дополнительное значение, которое представляет собой каждое обновление в градиентном спуске. $\theta$ также уменьшит $\theta$ ценность.

Если используется нормальное уравнение, его также можно решить следующим образом:

$\theta= (X^TX+\lambda \begin{bmatrix}0&...&...&0\\0&1&...&0\\...&...&...&...\\0&0&...&1\end{bmatrix})^{-1}X^Ty$

Регуляризация в логистической регрессии

Также для логистической регрессии мы также добавляем регуляризованное выражение к функции стоимости, чтобы получить функцию стоимости:

$J(\theta)=\frac{1}{m}\sum\limits_{i=1}^m [-y^{(i)}log(h_{\theta}(x))-(1-y^{(i)})log(1-h_{\theta}(x))]+\frac{\lambda}{2m}\sum\limits_{j=1}^{n}\theta_j^2$

Точно так же алгоритм градиентного спуска получается как:

Уведомление, $\theta_0$ не участвует ни в одной регуляризации.

резюме

Разница между линейной регрессией и логистической регрессией

И линейная регрессия, и логистическая регрессия представляют собой обобщенную линейную модель. Линейная регрессия предполагает, что зависимая переменная y следует распределению Гаусса, а логистическая регрессия предполагает, что зависимая переменная y следует распределению Бернулли. Линейная регрессия — это задача регрессии, а логистическая регрессия — задача классификации.

Хотя логистическая регрессия и линейная регрессия выглядят одинаково после получения функции затрат, функция предположений двух $h_{\theta}(x)$ это отличается.

Линейная регрессия: $h_{\theta}(x)=\theta^{T}x$
Логистическая регрессия: $h_{\theta}(x)=g(\theta^{T}x)$ ,в $g(z)$ за $Sigmoid$ функция

Код реализации домашнего задания после занятий прилагается (github):

ex1-Linear Regression
ex2-Logistic Regression