6-7 (1.1 Пример: Аппроксимация полиномиальной кривой)

   Мы можем выбрать$E(w)$как можно меньше$w$для решения задачи подбора кривой. Поскольку функция ошибок является коэффициентом$w$Квадратичная функция от , производная которой по коэффициентам равна$w$линейна по элементам, поэтому минимизация функции ошибок имеет единственное решение, используя$w^*$представляет , который можно найти в закрытом виде. Результирующий полином задается функцией$y(x,w^*)$данный.

   Существует еще полиномиальный порядок выбора$M$, который, как мы увидим, станет примером важного понятия, называемого сравнением моделей и выбором модели. На рис. 1.4 показаны четыре$M=0,1,2,3,9$Пример результатов полиномиальной подгонки к набору данных показан на рис. 1.2.

   Заметим постоянную$(M=0)$и первый заказ$(M=1)$Полином плохо соответствует данным, поэтому функция$\sin(2\pi x)$представительство слабое. третий заказ$(M=3)$Полином лучше всего подходит для функции в примере, показанном на рис. 1.4.$\sin(2\pi x)$. Когда мы используем многочлены более высокого порядка$(M=9)$, мы получили отличное соответствие тренировочным данным. Фактически полином проходит точно через каждую точку данных,$E(w^*)=0$. Однако подобранная кривая сильно колеблется, и функция$\sin(2\pi x)$производительность очень плохая. Последнее поведение называется переоснащением.

   Как мы упоминали ранее, наша цель — добиться хорошего обобщения, делая точные прогнозы на основе новых данных. Рассматривая отдельный тестовый набор, состоящий из 100 точек данных, мы можем получить хорошую пару производительности обобщения.$M$Некоторые количественные данные о допуске точек данных были получены с использованием той же процедуры, которая генерировала точки набора данных, но с новым выбором значений случайного шума, включенных в целевые значения. для каждого$M$, мы можем оценить обучающие данные, приведенные в (1.2), для$E(W^*)$Остаточные значения, которые также можно оценить для тестового набора данных$E(w^*)$. Иногда удобнее использовать среднеквадратичную (RMS) ошибку, определяемую формулой

в,$N$Разделение позволяет нам сравнивать наборы данных разных размеров на равной основе, квадратный корень обеспечивает$E_{RMS}$с целевой переменной$t$Измеряется по одной шкале (и в одних и тех же единицах). Рисунок 1.5 показывает разницу$M$График обучения и тестового набора среднеквадратических ошибок при значениях. Ошибка тестового набора — это мера того, насколько хорошо мы предсказываем$x$новых данных наблюдений$t$Насколько он хорош с точки зрения стоимости. Заметим из рис. 1.5, что меньшие значения M дают относительно большие пары значений ошибок тестового множества, что можно объяснить тем, что соответствующие полиномы достаточно негибки и не могут уловить функцию$\sin(2\pi x)$шок. Значение М равно$3\leq M \leq 8$дает малое значение ошибки на тестовом наборе, что также дает производящую функцию$\sin(2\pi x)$Разумное представление , из рис. 1.4 видно, что для$M=3$Случай.

Рисунок 1.4 Различные заказы$M$Полиномиальный график, показанный красной кривой, соответствует набору данных на рис. 1.2.

Рисунок 1.5. Среднеквадратическая ошибка, определяемая (1.3) на обучающей выборке и независимой тестовой выборке$M$различных значений .