Предварительное знание

Три шага к машинному обучению:

1. найти модель
2. Определить функцию в наборе функций
3. Найдите лучшую функцию

Сценарии применения

На практике существует множество сценариев применения регрессии, таких как определение угла поворота руля в системе вождения беспилотного автомобиля, определение рекомендуемого содержания в рекомендательной системе.

Определение модели регрессии

1.найти линейную модель

Линейная модель — это статистическая модель, которую можно записать в виде Y=XB+U.

2.Устраните функции, которые явно не соответствуют реальной ситуации, чтобы уменьшить давление пост-расчетов.

Скрининг здесь может быть выполнен с использованием обучающего набора.Например, если y положителен, после того, как точка выборкиx воздействует на функцию (функцию), выходной результат отрицательный.Очевидно, что функция не является нашей целевой функцией.

3.Выберите лучшую функцию

Выбор оптимальной функции - это процесс сравнения производительности функции различных параметров w и b и, наконец, определение функции с наилучшей производительностью.Производительность функции регрессии зависит от функции потерь (ошибки оценки), которая может быть записана как L .

L состоит из двух частей, суммы квадратов ошибок и регуляризации.Сумма квадратов ошибок используется для измерения ошибки оценки, а регуляризация используется, чтобы избежать явления переобучения модели.По мере увеличения значения λ член регуляризации становится постепенно становится критическим, и ошибка обучения соответственно будет увеличиваться, а ошибка теста сначала будет уменьшаться, а затем увеличиваться.

Постоянное увеличение λ делает выбранную модель более гладкой, пока она не приблизится к горизонтали, а это не тот результат, который нам нужен. Следовательно, оптимальное λ должно удовлетворять минимальной ошибке тестового набора.

Причина, по которой смещение не учитывается при регуляризации, заключается в том, что регуляризация связана с гладкостью модели, w связана с наклоном и влияет на гладкость модели, а b связана только с перемещением вверх и вниз. модели, и на плавность хода не влияет, поэтому не считается.

Происхождение регуляризации? регуляризация изначально использовалась для уменьшения влияния независимого от выхода шума в случае переобучения.

## 4. При таком большом количестве комбинаций w и b, какие средства следует использовать для использования L, чтобы упростить поиск оптимального f?

Используйте градиентный спуск:

Градиентный спуск

1. Градиент

Форма градиента:Запись частного дифференциала функции в матричной форме — это градиент.

Визуализация градиента:

Практическое значение градиента:Первоначальное значение градиента вектор (вектор), указывающее на то, что производная по направлению в некоторой точке функции принимает максимальное значение по направлению, и функция быстрее всего изменяется по направлению градиента в этой точке, и скорость изменения самая большая. То есть направление с наибольшей производной по направлению от функции и ее модуля.

2. Градиентный спуск шаг:

1. Случайным образом выбрать w0
2. Вычислить дифференциал L при w0 (наклон касательной)
3. В зависимости от того, является ли дифференциал положительным или отрицательным, дифференциал положительный, наклон больше 0, f увеличивается, и значение w0 должно быть дополнительно уменьшено; если дифференциал отрицательный, наклон меньше 0, f уменьшается , а значение w0 следует еще увеличить.
4. Определение увеличения или уменьшения:

5. Повторите описанный выше процесс еще раз, после нескольких обновлений параметров, пока дифференциал не станет равным 0, он завершен.

Иллюстрация с параметром в качестве примера

3. Применимые условия метода градиентного спуска

При условии, что функция дифференцируема, если она выпуклая (выпуклая функция), применим градиентный спуск.

Все линейные модели выпуклы (выпуклые функции)

несчастные случаи:

Дальнейшая оптимизация модели?

Дальнейшая оптимизация модели может начаться с увеличения сложности номера модели, увеличения связанных атрибутивных переменных, увеличения объема данных и т. д., но необходимо обратить внимание на явление переобучения, которое может возникнуть в этом случае. процесс.