(Страница:4-7) 1.1 Аппроксимация полиномиальной кривой

1.1.Пример: Аппроксимация полиномиальной кривой

   Сначала мы представим простую задачу регрессии, которую мы будем использовать в этой главе в качестве рабочего примера для обоснования некоторых ключевых понятий. Предположим, мы наблюдаем входную переменную с действительным знаком$x$, мы хотим использовать это наблюдение, чтобы предсказать целевую переменную с действительным знаком$t$значение . Поучительно рассмотреть искусственный пример с использованием синтетически сгенерированных данных, потому что тогда мы знаем точный процесс, с помощью которого были сгенерированы данные, так что можно сравнивать любые изученные модели. Данные для этого примера генерируются функцией$sin(2x)$и случайный шум, содержащийся в целевом значении, подробности см. в Приложении A.

$N = 10$График обучающего набора данных точек, показанных синими кружками, каждая из которых включает входные переменные.$x$и соответствующая целевая переменная$t$наблюдаемое значение. Зеленая кривая показывает функцию, используемую для генерации данных.$sin(2\pi x)$. Наша цель – предсказать некоторые новые$x$стоило того$t$ценность.

   Теперь предположим, что у нас есть тренировочный набор, заданный$N$Кусок$x$Состав наблюдаемых значений , обозначенный как$x \equiv (x_1,...,x_N)^T$. На рис. 1.2 показано включение$N=10$График тренировочного набора точек данных. Входной набор данных на рисунке 1.2$x$выбрав$X_n$генерируется, когда значение$n = 1,...,N$,существует$[0,1]$равномерно распределены в пределах диапазона, сначала оценивая функцию$sin(2\pi x)$, затем добавьте в каждую такую ​​точку небольшой горизонтальный случайный шум с гауссовым распределением (обсуждается в разделе 1.2.4), чтобы получить соответствующее значение$t_n$, чтобы получить целевой набор данных$t$, мы фиксируем свойство многих реальных наборов данных, заключающееся в том, что они имеют базовые закономерности, которые мы хотим понять, но отдельные наблюдения искажаются случайным шумом. Этот шум может возникать из-за изначально случайных (то есть случайных) процессов, таких как радиоактивный распад, но чаще он возникает из-за наличия источников изменчивости, которые сами по себе не наблюдаются.

   Наша цель — использовать этот обучающий набор для прогнозирования целевой переменной$t$ценность.$x$входная переменная. Как мы увидим позже, это подразумевает неявную попытку обнаружения лежащих в основе функций.$sin(2\pi x)$. Это по своей сути сложная проблема, потому что мы должны обобщать ограниченный набор данных. Кроме того, наблюдения искажаются шумом, поэтому для данного$x$за$t$Существует неопределенность относительно подходящего значения . Теория принятия решений, обсуждаемая в разделе 1.2, позволяет нам использовать это вероятностное представление, чтобы делать оптимальные прогнозы на основе соответствующих критериев.

   Пока же мы обсудим это довольно неформально и рассмотрим более простые методы, основанные на подгонке кривой. В частности, мы будем использовать следующую форму как

Полиномиальная функция соответствует данным, где$M$порядок многочлена,$x^j$выражать$x$улучшить до$j$сила . Полиномиальные коэффициенты$w_0,...,w_M$по вектору$w$совместно выражены. изма, хотя полиномиальные функции$y(x,w)$да$x$нелинейная функция от , но коэффициенты$w$Это линейная функция. Функции, такие как многочлены, линейны по неизвестным параметрам и обладают важными свойствами, называемыми линейными моделями, которые будут подробно обсуждаться в главах 3 и 4.

Значения коэффициентов    будут определяться путем подгонки полинома к обучающим данным. Этого можно достичь с помощью функции минимальной ошибки, которая измеряет любое заданное значение.$w$получить функцию$y(x,w)$несовпадение с точками данных тренировочного набора. Простой выбор широко используемой функции ошибок заключается в том, что для каждой точки данных$x_n$Прогноз$y(x_n,W)$с соответствующим целевым значением$t_n$сумма квадратов ошибок между , так что мы минимизируем

Коэффициент 1/2 включен для удобства позже. Мы обсудим мотивацию выбора разностной функции позже в этой главе. А пока заметим только, что тогда и только тогда, когда функция$y(x,W)$Ровно через каждую точку тренировочных данных он неотрицательная величина, она будет равна нулю. Геометрическая интерпретация функции ошибки суммы квадратов показана на рис. 1.3.

$y(x,w)$Половина суммы квадратов перемещений (показанных вертикальными зелеными полосами) для каждой точки данных в .

Exercise 1.1

   Мы можем выбрать$E(w)$как можно меньше$w$значение для решения проблемы подбора кривой. Поскольку функцией ошибок является коэффициент$w$Квадратичная функция от , производная которой по коэффициенту находится в$w$линейна по элементам , поэтому минимизация функции ошибок имеет единственное решение, заданное формулой$w^*$Представление, которое можно найти в закрытом виде. Результирующий полином задается функцией$y(x,w^*)$Дается упражнение 1.1.

   Существует еще полиномиальный порядок выбора$M$Проблема, как мы увидим, становится примером важного понятия, называемого сравнением моделей или выбором модели. На рис. 1.4 показаны четыре$M = 1,2,3,...,9$Пример результатов полиномиальной подгонки к набору данных показан на рис. 1.2.

   Заметим постоянную$(M = 0)$и первый заказ$(M = 1)$Полином плохо соответствует данным, поэтому функция$sin(2\pi x)$представительство слабое. третий порядок$(M = 3)$Полиномы лучше всего подходят для функции в примере, показанном на рис. 1.4.$sin(2\pi x)$. Когда мы используем многочлены более высокого порядка$(M = 9)$, мы получаем отличное соответствие обучающим данным. Фактически полином проходит точно через каждую точку данных,$E(w^*) = 0$. Однако подобранная кривая сильно колеблется, функция$sin(2\pi x)$представительство очень слабое. Последнее поведение называется переоснащением.

   Как мы упоминали ранее, наша цель — добиться хорошего обобщения, делая точные прогнозы на основе новых данных. Рассматривая отдельный тестовый набор, состоящий из 100 точек данных, мы можем получить хорошую пару производительности обобщения.$M$Некоторое количественное понимание зависимости этих точек данных было получено с использованием той же процедуры, которая генерировала тренировочные заданные точки, но с новым выбором значений случайного шума, включенных в целевые значения. для каждого$M$, мы можем оценить данные обучающей выборки, приведенные в (1.2), для$E(w^*)$обучающие данные, а также может оценить производительность набора тестовых данных$E(w^*)$. Иногда используйте

Более удобно определить среднеквадратичную (RMS) ошибку, где$N$Разделение позволяет нам сравнивать наборы данных разных размеров на равной основе, квадратный корень обеспечивает$E_{RMS}$с целевой переменной$t$Измеряется в той же шкале (и в тех же единицах). На рис. 1.5 показаны различные$M$Стоит пройти обучение и тестовые наборы$RMS$Карта ошибок. Ошибка тестового набора — это мера того, насколько хорошо мы предсказываем$x$новых данных наблюдений$t$Как насчет стоимости. Из рисунка 1.5 мы замечаем, что$M$Небольшое значение дает относительно большое значение набора ошибок тестового набора, что может быть связано с тем, что соответствующий полином довольно негибкий и не может захватить функцию$sin(2\pi x)$колебание в.$M$Значение находится в диапазоне$3\leq M\leq 8$дает меньшие значения ошибки набора тестов, которые также дают функцию генератора$sin(2\pi x)$Разумное представление , как показано на рисунке 1.4$M = 3$показана ситуация.

с разными уровнями$M$Полиномиальный график, показанный красной кривой, соответствует набору данных, показанному на рисунке 1.2.