Регрессия в машинном обучении является важной частью процесса обучения студентов. Он часто используется как в интервью, так и в практических приложениях. Многие люди используют линейную регрессию, так многие ли знают, откуда берется линейная регрессия? Если вы хотите сделать себя более ценным в направлении машинного обучения, математические выводы необходимы. Сегодня я объясню вам математический вывод линейной регрессии, что более важно в регрессии.

учительский курс
1. Машинное обучение с нуля
2. Математические основы машинного обучения (постоянно обновляются в соответствии с потребностями учащихся)
3. Основы машинного обучения Python
4. Изучите TensorFlow наилучшим для программистов способом

Формула линейной регрессии

Математический вывод линейной регрессии в основном включает следующие точки знаний.

1. Интегрируйте линейные формулы со знанием матриц

2. Анализ ошибки

3. Понимание функции правдоподобия

4. Частные производные матрицы

5. Окончательное решение линейной регрессии

---

Давайте сначала посмотрим на эту картинку

Имя	Зарплата (юань)	Площадь дома (квадратные метры)	Сумма кредита (в юанях)
Чжан Сан	6000	58	30000
Ли Си	9000	77	55010
Ван Ву	11000	89	73542
Лу Юнцзянь	15000	54	63201

Это сумма кредита в последнее время популярный продукт кредита наличными. В этой таблице показана взаимосвязь между суммой кредита, зарплатой и площадью дома, где зарплата и площадь дома являются характеристиками, а сумма кредита — значением целевой функции.
Тогда по линейной функции можно получить следующую формулу.

Приведенная выше формула представляет собой формулу линейной регрессии, когда модель имеет только два признака (x1, x2).
При нормальных обстоятельствах ссудная сумма в ссуде наличными связана со многими характеристиками пользователя, а не только с этими двумя характеристиками. Поэтому нам нужно обобщить эту формулу.
Если признаков n, то формула примет следующий вид

Приведенная выше формула представляет собой полиномиальную формулу суммирования.Используя идею машинного обучения, как агрегировать эту формулу?
Поскольку в машинном обучении параметры в основном представлены матрицей, то есть нам нужно выразить формулу этой многочленной суммы в матрице, чтобы облегчить последующие вычисления.

Мы рассматриваем параметры веса и параметры признаков как матрицу (или вектор-строку) с 1 строкой и n столбцами. Затем, в соответствии с соответствующими знаниями о матричном умножении, приведенное выше выражение суммирования нескольких элементов может быть преобразовано в выражение матричного умножения.
Следовательно, мы называем полиномиальное суммирование сокращенно

Это первый шаг, использующий знание матрицы для интегрирования линейной формулы.
Тогда давайте посмотрим на второй шаг, анализ члена ошибки

На самом деле в формуле не только W*X, верно? Есть еще параметр б. Это то, что мы называем смещением или термином ошибки.
Давайте посмотрим на картинку ниже

Абсциссы Х1 и Х2 на рисунке обозначают две характеристики (зарплата, квадратные метры дома) соответственно. Ордината Y представляет цель (сумма, которую можно взять взаймы). Красные точки представляют фактическую целевую стоимость (сумму, которую может занять каждый человек).Точки на плоскости, которые пересекают красные точки по вертикали, представляют собой баллы, которые мы получаем в соответствии с моделью линейной регрессии. Другими словами, существует определенная ошибка между фактическими деньгами и расчетными деньгами, которая является ошибкой.
Потому что термин ошибки представляет собой разрыв между истинным значением и значением ошибки. Тогда определенно мы хотим, чтобы член ошибки был как можно меньше.

Исходя из реальной ситуации, мы предполагаем, что этот член ошибки удовлетворяет следующим условиям.

1. Независимость: Чжан Сан и Ли Си используют этот продукт вместе, и сумма кредита не влияет друг на друга.
2. Один и тот же дистрибутив: Чжан Сан и Ли Си используют один и тот же продукт.
3. Распределение Гаусса: в большинстве случаев не сильно плавает в пространстве
Ниже приведена диаграмма распределения Гаусса, учащиеся, которые ее забыли, могут ее вспомнить.

Шаг 3. Понимание функции правдоподобия
Из предыдущих двух шагов мы вывели модель линейной регрессии в следующую формулу.

На втором этапе известно, что член ошибки соответствует распределению Гаусса, поэтому значение вероятности члена ошибки определяется следующей формулой.

Затем в эту формулу подводится значение ошибки, и получается следующая формула.

Погрешность должна быть как можно меньше, поэтому следующее обсуждение заключается в том, какая комбинация параметров и функций может минимизировать погрешность? Здесь вводится роль функции правдоподобия. Функция функции правдоподобия состоит в том, чтобы выяснить, какие параметры и состав признаков могут быть ближе всего к истинному значению по выборке. Чем ближе к истинному значению, тем меньше ошибка.

Функция правдоподобия состоит в том, чтобы найти параметр, который делает фактическое значение равным прогнозируемому значению.

Приведенная выше формула представляет собой произведение нескольких параметров, которое сложно вычислить, поэтому мы используем небольшой прием логарифмирования, умножаем несколько чисел и преобразуем их в форму сложения нескольких чисел.

В соответствии с приведенным выше соотношением преобразования мы преобразуем формулу функции правдоподобия в следующую.
(Поскольку чем больше функция правдоподобия, тем лучше, значение функции правдоподобия пропорционально значению логарифмической функции правдоподобия, и логарифмирование значения не повлияет на конечное значение предела. Вот почему я осмелюсь сделать пару обработки чисел.)

Комбинируя приведенную выше формулу, мы получаем


Благодаря приведенной выше серии выводов формула преобразуется в соответствующие знания метода наименьших квадратов.
Это все, что нужно знать об использовании функций правдоподобия в линейной регрессии.
---【Если вы хотите получить дополнительные базовые знания по математике и связанным с ней курсам машинного обучения, нажмите на ссылку ниже】
---【Изучите машинное обучение с нуля, включая полный набор курсов по машинному обучению】

Затем посмотрите на следующий шаг: частные производные матрицы
Как рассчитать минимальное значение формулы наименьших квадратов. Это потребует соответствующих знаний о производных.
Прежде чем спрашивать, преобразуем приведенную выше формулу еще раз по знанию матрицы.

Найдите частную производную этой формулы.

Приведенная выше формула также включает в себя свойства транспонирования матриц. Чтобы понять свойства транспонирования матриц, щелкните эту ссылку [Математические основы машинного обучения].

Открытая формула, три важные формулы для вывода по матрице

Мы можем найти значение частной производной,

В итоге получил результат:

И X, и Y известны, поэтому получаются окончательные значения параметров.