Эта статья является основной записью «Wu Enda Machine Learning».

Линейная регрессия

Функция стоимости Функция стоимости

J_{(\theta_{0}, \theta_{1})} = \frac{1}{2m }\sum_{i=1}^{m}(h_{\theta}x^{(i)} - y^{(i)})^{2}

Его цели:Выберите параметры модели, которые минимизируют сумму квадратов ошибки моделирования.

Пакетный градиентный спуск

repeat \quad \{ \\ \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \theta_{j} := \theta_{j} - \alpha\frac{\partial}{\partial\theta_{j}}J_{(\theta_{0}, \theta_{1})} \\ \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad for \quad j = 1 \quad and \quad j = 0 \\ \}

$\alpha$ это скорость обучения, которая определяет, насколько далеко мы идем в направлении, которое больше всего снижает функцию стоимости.При пакетном градиентном спуске мы вычитаем обучение из всех параметров одновременно каждый раз, когда скорость умножается на производную стоимости функция.

за $\alpha$ Значение может попробовать: $\alpha = 0.01, 0.01, 0.1, 0.3, 1, 3, 10$

Используя метод градиентного спуска, нужно найти производную функции стоимости, а именно:

\frac{\partial}{\partial\theta_{j}}J_{(\theta_{0}, \theta_{1})} = \frac{\partial}{\partial\theta_{j}}\frac{1}{2m }\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^{2}

Время:

\frac{\partial}{\partial\theta_{j}}J_{(\theta_{0}, \theta_{1})} = \frac{1}{m }\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})

Время:

\frac{\partial}{\partial\theta_{j}}J_{(\theta_{0}, \theta_{1})} = \frac{1}{m}\sum_{i=1}^{m}((h_{\theta}(x^{(i)})-y^{(i)})x^{(i)})

Масштабирование характеристик Масштабирование характеристик (метод стандартных уравнений)

Обеспечение того, чтобы функции имели схожие масштабы, может помочь алгоритму градиентного спуска сходиться быстрее.

в $\mu_{n}$ средний, $s_{n}$ стандартное отклонение

Нормальное уравнение

Для линейных моделей стандартные уравнения являются хорошей альтернативой расчету параметров, когда количество характеристических переменных невелико. В частности, если количество переменных признаков меньше десяти тысяч, я обычно использую метод стандартных уравнений вместо градиентного спуска.

логистическая регрессия

Алгоритм логистической регрессии является алгоритмом классификации, и мы используем его в качестве алгоритма классификации. Это подходит для случая, когда значение метки является дискретным, например: 1 0 0 1.

Функция гипотезы Функция гипотезы

Функция стоимости Функция стоимости

J(\theta) = -\frac{1}{m}\sum_{i=1}^{m}[ y^{(i)}\log(h_{\theta}(x^{(i)})) +(1-y^{(i)})\log(1 - h_{\theta}(x^{(i)}))]

градиентный спуск

Как и в случае с линейной регрессией, вы также можете использоватьАлгоритм пакетного градиентного спусканайти функцию минимальной стоимости $\theta$ :

Repeat {

$\theta_{j} := \theta_{j} - \alpha\frac{1}{m}\sum_{i=1}^{m}((h_{\theta}(x^{(i)})-y^{(i)})x_{j}^{(i)})$

}

По сравнению с линейной регрессией функция прогнозирования логистической регрессии (функция гипотезы) $h_{\theta}(x) = g(\theta^{T}x)$ совершенно другое.

Мультикатегориальная классификация: один ко многим

Логистическую регрессию можно использовать для достижения классификации «один ко многим» Конкретная идея заключается в следующем:

Отмечаем один из классов как класс forward (y=1) , то все остальные классы помечаются как отрицательные классы, а эта модель записывается как $h_{\theta}^{(1)}(x)$ . Затем аналогичным образом мы выбираем другой класс, чтобы пометить его как прямой класс. (y=2) , а затем пометьте все остальные классы как отрицательные классы и запишите эту модель как $h_{\theta}^{(2)}(x)$ ,Так далее и тому подобное. В итоге мы получаем серию моделей, сокращенно обозначаемую как: $h_{\theta}^{(i)}(x) = p(y=i|x;\theta)$ в: i=(1,2,3...k)

Наконец, когда нам нужно сделать прогноз, мы проходим по всем классификаторам и для каждой входной переменной выбираем наиболее вероятную выходную переменную.

Регуляризация

Регуляризация — это метод, используемый для решения проблемы переобучения модели. Он сохраняет все функции, но уменьшает размер параметров.

Другой способ: отбросить некоторые функции, которые не помогают нам правильно прогнозировать. Это может быть ручной выбор функций, которые нужно сохранить, или использование некоторого алгоритма выбора модели (например, PCA).

Регулярная линейная регрессия

Нам нужно ввести член регуляризации в градиентном спуске $\lambda$

{\theta_j}:={\theta_j}-a[\frac{1}{m}\sum\limits_{i=1}^{m}{(({h_\theta}({{x}^{(i)}})-{{y}^{(i)}})x_{j}^{\left( i \right)}}+\frac{\lambda }{m}{\theta_j}]

Упростите эту формулу:

{\theta_j}:={\theta_j}(1-a\frac{\lambda }{m})-\alpha\frac{1}{m}\sum\limits_{i=1}^{m}{({h_\theta}({{x}^{(i)}})-{{y}^{(i)}})x_{j}^{\left(i\right)}}

Видно, что изменение алгоритма градиентного спуска регуляризованной линейной регрессии: каждый раз на основе исходных правил обновления алгоритма, $\theta$ значение уменьшается на дополнительное значение

Регуляризируйте нормальное уравнение:

\theta=(X^TX+\lambda\left[\begin{array}{ccccc}0 &\cdots &\cdots &\cdots &0 \\ 0 &1 &\cdots &\cdots &0\\ \vdots & \vdots & 1 &\cdots & 0\\ \vdots &\vdots &\cdots &\ddots & \vdots \\ 0 & 0 &\cdots &\cdots &1 \end{array}\right])^{-1}X^Ty

Регулярная логистическая регрессия

Формула регуляризации для логистической регрессии аналогична линейной регрессии, но предполагает, что функция $h_{\theta}(x)=g(\theta^{T}x)$ .