функция стоимости

Это 10-й день моего участия в августовском испытании обновлений. Узнайте подробности события:Испытание августовского обновления

Продолжайте писать задачу одномерной линейной регрессии.

Тем не менее для этой задачи прогнозирования цен на жилье, как выбрать параметры$\theta$? В конце концов, выбор другого значения может иметь большое влияние на результат.

Теперь дан график:

Найдите подходящий$\theta_0$и$\theta_1$, чтобы полученная функция предсказания могла лучше соответствовать заданным точкам данных.

Первое, что нужно сделать, это решить задачу минимизации. Минимизируйте квадрат разницы между гипотетическим выпуском и реальной ценой дома.

минимизировать:$\sum_{i=1}^{m}\left(h_{0}\left(x^{(i)}\right)-y^{(i)}\right)^{2}$

Найти все точки выборки$y$и$h_{0}(x)$Сумма квадратов разности.

С помощью предыдущей формулы мы можем получить среднюю ошибку:$\frac 1 m \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}$

И на самом деле то, что мы просим$\theta_0$и$\theta_1$должен удовлетворить$\frac 1 {2m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}$получить минимальное значение.

Для изображения, приведенного выше, используйтеФункция стоимости:$J\left(\theta_{0}, \theta_1 \right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}$

$\stackrel{misimize}{\theta_{0}, \theta_{1}}$——$J\left(\theta_{0}, \theta_{1}\right)$

Cost function is allso called the squared error function or sometimes callled the square error cost fonction

Функция стоимости также называется функцией квадрата ошибки и иногда называется функцией стоимости квадрата ошибки.

Функция стоимости квадрата ошибки — это только один вид функции стоимости, и это один из наиболее часто используемых методов для решения задач регрессии.

взять каштан

Чтобы лучше визуализировать функцию стоимости J. Мы будем работать с упрощенной функцией гипотезы. Чтобы лучше визуализировать функцию стоимости J, мы сначала используем упрощенную функцию гипотезы.

Предположим, что текущая функция прогнозирования$h_{\theta}(x)=\theta_{1} x$,Сейчас$\theta_0=0$.

Тогда функция стоимости может быть упрощена до$J\left(\theta_{1}\right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}$

$\underset{\theta_{1}}{\operatorname{minimize}} J\left(\theta_{1}\right)$

Предположим теперь, что наш обучающий набор выглядит следующим образом, учитывая график:

$Когда \тета_{1}=1$

$h_{\theta}(1)-y_{1}=0\\ h_{\theta}(2)-y_{2}=0\\ h_{\theta}(3)-y_{3}=0$

$J\left(\theta_{1}\right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}=0$

$Когда \тета_{1}=0,5$

$h_{\theta}(1)-y_{1}=-0.5\\ h_{\theta}(2)-y_{2}=-1\\ h_{\theta}(3)-y_{3}=-1.5$

$J\left(\theta_{1}\right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}=\frac{1}{2 \times 3}(0.25+1+2.25)=0.583333$

...

Вычисленная в свою очередь, и, наконец, функция стоимости J является одномерной квадратичной функцией:

Итак, в этом примере$Когда \тета_{1}=1$Функция стоимости получает минимальное значение, а функция подгонки является наиболее точной.

Теперь, когда вы понимаете упрощенную функцию стоимости, давайте взглянем на неупрощенную.

Данные приведены, как показано на рисунке:

Но на этот раз функция стоимости не является двумерным графиком. потому что еще один параметр$\theta_0$, поэтому оно становится трехмерным изображением, таким как следующее изображение:

Но для простоты изложения будем дальше использовать не объемные изображения, а контурные изображения (вспомните контурные линии и изотермы в детстве, когда я изучал географию), подобные следующему рисунку:

Точки на одной линии обозначают хотя$\theta_0$и$\theta_1$разные, но имеют одинаковое значение функции стоимости.