Машинное обучение с нуля — принципы технологии регуляризации и программирование!

Изучив ранее линейную регрессию, логистическую регрессию и градиентный спуск, этот метод, изученный сегодня, может помочь нашей обученной модели делать более точные прогнозы на неизвестных данных — метод регуляризации!

Приходите и учитесь вместе, обучение делает меня счастливым (^▽^)!

1. Что такое регуляризация?

Три слова "регуляризация" звучат довольно высоко, но на самом деле это технология для решения проблемы переобучения в машинном обучении. Использование этой технологии позволяет модели, которую мы обучили на тренировочном наборе, понимать неизвестные данные. Подходит хорошо.

Способность модели машинного обучения подбирать неизвестные данные также называется способностью к обобщению.Модель с лучшей способностью к обобщению также может хорошо подходить к неизвестным данным.Если возникает проблема переобучения обучающих данных, способность к обобщению также будет плохой .

Когда возникает проблема переоснащения, есть два способа справиться с ней:

Уменьшение размерности: уменьшите количество признаков и уменьшите полиномиальный порядок модели, чтобы было меньше членов высокого порядка, и кривая модели не была такой сложной.
Регуляризация: вместо прямого уменьшения признаков увеличьте коэффициенты параметров признаков в функции стоимости.

Сегодня мы собираемся представитьметод регуляризации, Давайте используем пример, чтобы проиллюстрировать, что такое переобучение и недообучение.

2. Переобучение против недообучения

2.1 Пример линейной регрессии

Вот также пример прогнозирования цен на жилье для объяснения следующих трех ситуаций:

Недообучение: количество функций, выбранных моделью, слишком мало (2), чтобы хорошо соответствовать обучающим данным, что приводит к большому смещению.
Нормальная подгонка: модель выбирает подходящее количество функций (3) и может хорошо соответствовать обучающим данным.
Переобучение: модель выбирает слишком много признаков (5) и переобучает данные обучения, что приводит к высокой дисперсии.

В практических приложениях обычно выбирается много признаков, и их легко переобучить, поэтому необходимо решить эту проблему.

2.2 Пример логистической регрессии

Проблемы логистической регрессии также порождают проблемы переоснащения и недообучения, такие как эта проблема классификации:

Тип аннотации здесь забыт, но принцип тот же:

Недообучение: классификация с помощью прямых линий на первый взгляд неуместна, потому что интуитивно граница решения представляет собой форму дуги.
Нормальная подгонка: граница решения имеет форму дуги, и эффект подгонки лучше.
Переобучение: классификация границ решения слишком строгая, а эффект прогнозирования для неизвестных выборок плохой.

Кратко: чем больше параметров у модели, тем больше полиномиальных степеней ( x^n ), тем сложнее модельная кривая, и эти члены более высокого порядка могут привести к проблемам переобучения.

Суть этого метода регуляризации для решения проблемы переобучения заключается в следующем:Уменьшите влияние терминов высокого порядка на общую модель, чтобы улучшить прогностическую способность модели для неизвестных образцов.

Потому что модель, которую мы обучаем на обучающих данных, со временем будет использоваться на неизвестных выборках, иначе она потеряет значение инженерных приложений. Хорошо, тогда давайте формально изучим принцип этой технологии.На самом деле это очень просто, то есть добавить формулу члена регуляризации после функции стоимости.

В-третьих, принцип регуляризации

3.1 Понимание регуляризации в гипотетических функциях

Я также использую пример прогнозирования цен на жилье, чтобы проиллюстрировать принцип метода регуляризации.Гипотетическая функция модели выглядит следующим образом:

h_\theta( x )=\theta_0 + \theta_1 x_1 + \theta_2 x_{2}^2 + \theta_3 x_{3}^3 + \theta_4 x_{4}^4

если $\theta_3$ Указывает кухонную площадь дома, $\theta_4$ представляет географическое положение дома, эти две функции приводят к тому, что порядок модели слишком высок ( x_3^3, x_4^4 ), я хочу уменьшить влияние двух на функцию гипотезы, то есть я хочу получить оптимальный собственный вектор после того, как функция стоимости получит оптимальное значение.стремится к 0, поэтому приведенная выше модель становится:

h_\theta( x )=\theta_0 + \theta_1 x_1 + \theta_2 x_{2}^2 + 0 * x_{3}^3 + 0 * x_{4}^4

Примечание: здесь только $\theta_3 -> 0$ , $\theta_4 -> 0$ , вместо того, чтобы сделать их прямо равными 0, потому что мы регуляризуем не уменьшение размерности, сделав эти 2 параметра стремящимися к 0 так, чтобы их члены более высокого порядка были пренебрежимо малы, мы можем получить сокращение x_3, x_4 воздействие на исходную модель.

В терминах машинного обучения это: с помощью методов регуляризации длянаказывать $\theta_3$ и $\theta_4$ Эти 2 особенности! Пусть они меньше влияют на прогнозы модели!

3.2 Понимание регуляризации в функции стоимости

Чтобы оштрафовать параметры в приложении, необходимо упорядочить функцию стоимости, то есть, когда функция стоимости сведена к минимуму, параметры, которые должны быть оштрафованы, устанавливаются на 0, насколько это возможно.

Вот пример функции стоимости линейной регрессии, чтобы увидеть, как упорядочить $\theta_3, \theta_4$ :

J(\theta) = \frac{1}{2m}[\sum\limits_{i=1}^m ( h_{\theta}(x^{(i)})-y^{(i)})^{2} + 1000\theta _3^2 + 10000\theta _4^2]

Добавляем 2 члена после функции стоимости $1000\theta_3^2, 10000\theta_4^2$ , так как мы хотим минимизировать функцию стоимости в конце, нам также нужно минимизировать добавленные два члена, но поскольку коэффициент 10000 относительно велик, это приводит к $10000\theta_4^2$ Общая оптимизация становится меньше, надо менять параметры $\theta_4$ Установите его достаточно маленьким, чтобы результат умножения двух стал достаточно маленьким, и соединение было завершено. $\theta_4^2$ регуляризация, например:

Коэффициенты перед параметрами, которые необходимо упорядочить, должны быть правильно выбраны в соответствии с реальной ситуацией.В примерах здесь установлены значения 1000 и 10000.

В приведенном выше примере указано, что параметры, подлежащие регуляризации, $\theta_3, \theta_4$ , но в практических приложениях, поскольку обучающая выборка имеет много особенностей, мы не знаем, какие параметры нужно регуляризовать, поэтому мы регуляризуем все параметры, а затем позволяем алгоритму оптимизации определить каждый параметр регуляризации перед коэффициентами , такая функция стоимости выглядит следующим образом:

J(\theta) = \frac{1}{2m}[\sum\limits_{i=1}^m ( h_{\theta}(x^{(i)})-y^{(i)})^{2} + \lambda \sum\limits_{j=1}^{n}{\theta_j^2}]

код показывает, как показано ниже:

# 线性回归正则化代价函数
# 正则化系数 lambda 设置为 1
def regularized_cost(theta, X, y, lamd = 1):
    # 不对 theta_0 正则化
    theta_one2n = theta[1:]

    # 正则化项, power 求平方，sum 求和
    regularized_term = (lamd / 2 * len(X)) * np.power(theta_one2n, 2).sum()
    
    # cost_function 是未加正则化的代价函数
    return cost_function(theta, X, y) + regularized_term

Это окончательная формула для регуляризации функции стоимости.Видно, что добавлен член регуляризации, где коэффициент $\lambda$ называется коэффициентом регуляризации, следует отметить, что j = 1 , то есть нет права $\theta_0$ регуляризация, потому что $\theta_0$ Соответствующая функция x_0 ,и x_0 = 1 Он искусственно добавлен нами, поэтому нет необходимости исправлять $\theta_0$ Регуляризация.

3.3 Влияние коэффициента регуляризации

При регуляризации коэффициенты $\lambda$ Выбор очень важен, в целом он будет иметь следующие последствия:

$\lambda$ Слишком большой: все параметры чрезмерно регуляризированы, в результате чего параметры функции почти равны 0, гипотетическая функция станет $h_\theta(x) = \theta_0$ прямая линия, т.е. недообучение
$\lambda$ Слишком мал: степень регуляризации параметров недостаточна, когда параметров много, это все равно приведет к переобучению
$\lambda$ Подходит: уменьшить влияние терминов высокого порядка, нормальное соответствие

В ПОРЯДКЕ! Принцип регуляризации закончен, и следующее - фактическое использование технологии регуляризации.

В-четвертых, регуляризованный кодовый бой

В этой части я намерен поделиться с вами тем, как использовать программирование регуляризации в линейной регрессии и логистической регрессии.

4.1 Регуляризация линейной регрессии

Потому что мы добавили член регуляризации в функцию стоимости:

\frac{\lambda}{2m} \sum\limits_{j=1}^{n}{\theta_j^2}

Таким образом, вычисление градиентного спуска также добавляет градиент регуляризации (прямой вывод части регуляризации):

\frac{\lambda}{m} \sum\limits_{j=1}^{n}{\theta_j}

потому что тебе не нужно $\theta_0$ Регуляризация, поэтому расчет итерации градиента делится на следующие две части:

\theta_0:= \theta_0 - \alpha \frac{1}{m} \sum\limits_{i=1}^{m}{((h_\theta({x^{(i)}})-{y^{(i)}})x_0^{(i)}})

\theta_j:= \theta_j - \alpha [\frac{1}{m} \sum\limits_{i=1}^{m}{((h_\theta({x^{(i)}})-{y^{(i)}})x_0^{(i)}}) + \frac{\lambda}{m} \theta_j]

Мы находим, что вторая формула выше может быть дополнительно объединена $\theta_j$ :

\theta_j:= (1 - \alpha \frac{\lambda}{m})\theta_j - \alpha [\frac{1}{m} \sum\limits_{i=1}^{m}{((h_\theta({x^{(i)}})-{y^{(i)}})x_0^{(i)}})]

Пока вышла формула регуляризованного градиента для линейной регрессии, давайте запишем ее в коде Python:

# 添加正则化项的线性回归梯度下降
def regularized_gradient(theta, X, y, lamd = 1):
    # 不对 theta_0 正则化
    theta_one2n = theta[1:]
    
    # 正则化梯度：(lambda / m) * theta_j 
    regularized_theta = (lamd / len(X)) * theta_one2n
    
    # 合并 theta_0
    regularized_term = np.concatenate([np.array([0]), regularized_theta])
    
    # 返回梯度：原梯度 + 正则化梯度
    return gradient(theta, X, y) + regularized_term

4.2 Регуляризация логистической регрессии

Термин регуляризации для функции стоимости логистической регрессии такой же, как и для линейной регрессии:

J(\theta) = \frac{1}{m}\sum\limits_{i = 1}^{m}{[-{y^{(i)}}\log ({h_\theta}({x^{(i)}}))-( 1-{y^{(i)}})\log ( 1 - h_\theta({x^{(i)}}))]} + \frac{\lambda}{2m} \sum\limits_{j=1}^{n}{\theta_j^2}

# 逻辑回归正则化代价函数
# lambda 设置为 1
def regularized_cost(theta, X, y, lamd = 1):
    theta_one2n = theta[1:]
    # lambda / (2 * m)
    regularized_term = (lamd / (2 * len(X))) * np.power(theta_one2n, 2).sum()
    
    # 返回加上正则化的总代价
    return cost_function(theta, X, y) + regularized_term

Регуляризованный градиент логистической регрессии ( $h_\theta(x)$ разные):

# 添加正则化项的逻辑回归梯度下降
def regularized_gradient(theta, X, y, lamd = 1):
    # 不对 theta_0 正则化
    theta_one2n = theta[1:]
    
    # 计算正则化项
    regularized_theta = (lamd / len(X)) * theta_one2n
    
    # 加上 theta_0
    regularized_term = np.concatenate([np.array([0]), regularized_theta])
    
 		# 返回增加正则化后的总梯度
    return gradient(theta, X, y) + regularized_term

Ягненок в приведенном выше коде — это коэффициент регуляризации. $\lambda$ , вы можете попробовать изменить его во время обучения модели, а затем протестировать влияние этого коэффициента на параметры модели, чтобы глубже понять технику регуляризации.

в текстеполный исполняемый кодСсылка на сайт:

GitHub.com/DL об этом/AI-N…

В ПОРЯДКЕ! Я поделюсь ими сегодня, увидимся в следующем выпуске, не забудьте подписаться на меня :)

Эта статья была первоначально опубликована в общедоступной учетной записи WeChat «Denglong», в которой были опубликованы оригинальные статьи, такие как машинное обучение, программирование алгоритмов, Python, робототехника и т. Д., Отсканируйте код, чтобы следовать, и ответьте «1024», знаете ли!