Обучение модели для машинного обучения

Линейная регрессия

В двух словах, линейная модель представляет собой взвешенную сумму входных признаков плюс константу, называемую членом смещения (или членом пересечения), и использует ее для прогнозирования, как показано в следующей формуле:

y = \theta_0 + \theta_1x_1 + \theta_2x_2 + ... + \theta_nx_n

В этой формуле:

yпрогнозируемое значение
nэто количество функций
$x_i$ первыйiсобственные значения
$\theta_j$ первыйjпараметры модели (включая член смещения $\theta_0$ и веса функций $\theta_1,\theta_2,\theta_3,...,\theta_n$ )

Обучение модели линейной регрессии — это процесс настройки параметров модели до тех пор, пока модель не будет наилучшим образом соответствовать обучающему набору., для этого нам сначала нужно знать, как измерить, насколько хорошо модель соответствует обучающим данным. Наиболее распространенным показателем производительности регрессионных моделей является среднеквадратическая ошибка (RMSE), поэтому при обучении модели линейной регрессии кажется, что все дело в поиске минимизацииRMSEиз $\theta$ ценность. Однако на практике среднеквадратическая ошибка (MSE) минимизировать вместоRMSEсвести к минимуму, потому чтоMSEРасчет прост, а суммаRMSEТот же эффект.

в тренировочном набореX, используйте следующую формулу для расчета линейной регрессииMSE( $h_\theta$ является гипотетической функцией):

MSE=(X,h_\theta)=\frac{1}{m}\sum_{i=1}^m(\theta^Tx^{(i)}-y^{(i)})^2

Чтобы получить функцию минимальной стоимости $\theta$ значение, есть решение в закрытой форме (математическое уравнение, которое приводит непосредственно к результату), стандартное уравнение:

\theta=(X^TX)^{-1}X^Ty

В этом уравнении:

$\theta$ заключается в минимизации функции стоимости $\theta$ ценность
г включительно $y^{(1)}$ прибыть $y^{(m)}$ Вектор целевого значения

Мы генерируем некоторые случайные линейные данные, чтобы проверить эту формулу:

import numpy as np
X = 2 * np.random.rand(100,1)
y = 4 + 3*X +np.random.randn(100,1)

Получите следующий линейный набор данных:

Теперь используем стандартное уравнение для расчета $\theta$ . использоватьNumPyПредоставленный модуль линейной алгебры (np.linalg)серединаinv()функция, чтобы инвертировать матрицу и использоватьdot()Функция вычисляет внутренний продукт матрицы:

X_b = np.c_[np.ones((100,1)),X] # add x0=1 to each instance
theta_best = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.t).dot(y)

Функция, в которой мы фактически генерируем данные, $y=4+3x_1+гауссовский шум$ , посмотрите на результат формулы:

>>>theta_best
array([[4.21509616],[2.77011339]])

Это то, что мы ожидали $\theta_0=4$ (4.21509616), $\theta_1=3$ (2,77011339) очень близка, но из-за наличия шума не может быть полностью восстановлена до исходной функции, наносим предсказанный результат на график:

Вычислительная сложность линейна по отношению к количеству экземпляров и признаков, которые вы хотите предсказать, и предсказание удвоенного количества экземпляров (или удвоенного количества признаков) занимает примерно в два раза больше времени.