Линейная регрессия

концепция

Линейная регрессия - это метод статистического анализа, который использует регрессионный анализ в математической статистике для определения взаимозависимых количественных отношений между двумя или более переменными и широко используется. Его выражение имеет вид y = w'x+e, где e — нормальное распределение со средним значением 0. В регрессионный анализ включаются только одна независимая переменная и одна зависимая переменная, и связь между ними может быть аппроксимирована прямой линией.Этот регрессионный анализ называется одномерным линейным регрессионным анализом. Если регрессионный анализ включает две или более независимых переменных и существует линейная связь между зависимой переменной и независимой переменной, такой анализ называется множественным линейным регрессионным анализом.

пример

На рисунке ниже показана одномерная линейная регрессия, которая имитирует прямую линию, так что известные точки данных как можно больше попадают на прямую линию или вокруг нее.Формула выражается как:$f(x)=wx+b$w - коэффициент, а b - точка пересечения. Когда эта концепция расширяется до n, когда существует n x, то есть на конечный результат y совместно влияют несколько x, в это время есть:$f(x)=w_1x_1+w_2x_2+...+w_nx_n+b$Предположим, что набор данных состоит из m частей данных, и каждая часть данных соответствует nx и ay, тогда все X может быть представлено матрицей m×n, а все Y может быть представлено матрицей m× 1. Для одного фрагмента данных x может быть представлен матрицей m × 1, и этот y является значением.

И для этих единичных данных можно считать, что$f(x)=w_1x_1+w_2x_2+...+w_4x_4+w_5x_5+b$сделать$b = w_0x_0, где w_0 = b и x_0 = 1$имеют$f(x)=w_0x_0+w_1x_1+w_2x_2+...+w_4x_4+w_5x_5$

При обобщении одного фрагмента данных на все данные мы можем получить$f(x) = WX^T$Но существует разрыв между прогнозируемым значением f(x), полученным с помощью W и T, и реальным значением y, и квадрат ошибки для них равен$coss = \sum_{i=1}^m(Wx_i^T-yi)^2$

Наконец, coss сведен к минимуму, и W может быть решена. Выражение оптимального решения W: (выделено!!!)

Таким образом, модель функции может быть получена в соответствии с заданным набором данных, а затем новым вводом X (здесь размерность увеличивается на 1, поскольку x0 = 1) может быть получено новое прогнозируемое значение y.

Примечание. Для одного фрагмента данных я установил здесь как x, так и w как векторы-строки 1 × n. х = [1 2 3] ш = [1 2 3] Его также можно задать как вектор-столбец, чтобы общие значения X и Y изменялись, а также изменялось значение f(x).$f(x) = X^TW или f(x) = W^TX$Поскольку для определенных данных x и w становятся массивом, например 3 × 1, транспонируйте один из них в массив 1 × 3, а затем умножьте его на другой 3 × 1, вы можете получить точное число. Таким образом сбрасываем coss и вычисляем W. Подробнее см. нижеДругое векторное представление