Вывод: Метод наименьших квадратов является математическим инструментом который широко используется во многих дисциплинах обработки данных, таких как оценка ошибок, неопределенность, идентификация и предсказание системы, а также прогнозирование. Метод наименьших квадратов прост и широко используется в промышленности.
Эта статья опубликована в сообществе HUAWEI CLOUD.«Введение в метод наименьших квадратов», Автор: Ян.
Метод наименьших квадратов — это математический инструмент, который широко используется во многих областях обработки данных, таких как оценка ошибок, неопределенность, идентификация и предсказание системы, а также прогнозирование. Метод наименьших квадратов прост и широко используется в промышленности.
Но что касается метода наименьших квадратов и его истории, многие люди могут не знать его, поэтому сегодня я поделюсь им с вами.
В 1801 году итальянский астроном Джузеппе Пиацци открыл первый астероид Церера. После 40 дней последующих наблюдений Пиацци потерял положение Цереры, когда она сместилась за Солнцем. Ученые всего мира затем использовали наблюдения Пиацци для поиска Цереры, но, по подсчетам большинства людей, поиски Цереры оказались безрезультатными.
Гаусс, которому тогда было 24 года, также рассчитал орбиту Цереры. Церера была заново открыта австрийским астрономом Генрихом Оберстом на основе орбиты, рассчитанной Гауссом.
Метод наименьших квадратов, использованный Гауссом, был опубликован в его книге «О движении небесных тел» в 1809 г., а французский ученый Лежандр независимо открыл «метод наименьших квадратов» в 1806 г., но он был неизвестен, поскольку не был известен мир.
Чтобы облегчить ваше понимание метода наименьших квадратов, позвольте мне рассказать вам одну историю.
Если предположить, что рост является переменной X, а вес — переменной Y, мы все знаем, что рост и вес имеют относительно прямую зависимость. Жизненный опыт подсказывает: как правило, у более высоких людей вес будет больше. Но это только наше интуитивное ощущение, просто очень грубый качественный анализ.
В мире математики большую часть времени нам приходится выполнять строгие количественные расчеты: можно ли рассчитать стандартный вес человека по одной формуле, основанной на его или ее росте?
Мы можем выбрать набор данных о росте и весе людей, (_x_1,_y_1), (_x_2, _y_2),⋯, (_xn_,_yn_), где x — рост, а y — вес.
Здравый смысл подсказывает нам, что рост и вес представляют собой приблизительную линейную зависимость, которую можно описать простейшим математическим языком как y = \beta_0+\beta_1x_y_=_β_0+β_1_x.
Итак, следующая задача становится: как найти эти _β_0 и _β_1?
Чтобы рассчитать значения _β_0, _β_1, мы принимаем следующие правила: _β_0, _β_1 должны минимизировать сумму квадратов разности между рассчитанной кривой функции и наблюдаемым значением. Описывается математической формулой:
где у_{т.е.}yie_представляет в соответствии с y=\beta_0 + \beta_1x_y=_β_0+β_1_xРасчетное значение y_i_yi_является наблюдаемым истинным значением.
Таким образом, регрессионная модель выборки легко выводится:
Теперь нам нужно определить _β_0, _β_1, чтобы минимизировать функцию стоимости. Легко думать, что минимальное значение можно найти, взяв производную этой функции:
После составления этих двух уравнений и использования закона Крамера их легко решить:
По этой формуле соответствующие параметры могут быть решены только при подведении всех отсчетов.
Если мы обобщим на более общий случай, предположим, что имеется больше переменных модели _x_1,_x_2,⋯,xm(Примечание: x_1_x_1относится к выборке, _x_1 относится к переменной, связанной с моделью в выборке), которая может быть выражена в виде линейной функции следующим образом:
y(_x_1,⋯,xm;_β_0,⋯,_βm_)=_β_0+_β_1_x_1+⋯+βm__xm
Для n выборок это может быть выражено следующими линейными уравнениями:
Если выборочная матрица x_i^h_xih_ записывается как матрица A, матрица параметров записывается как вектор \beta_β_, а действительное значение записывается как вектор Y, приведенная выше система линейных уравнений может быть выражена как:
То есть A \beta = Y_Aβ_=Y
Для метода наименьших квадратов окончательное матричное представление может быть выражено как:
_мин_∣∣_Aβ_−_Y_∣∣2
Окончательное оптимальное решение:
β=(ATA)−1_ATY_
Лагерь искусственного интеллекта HUAWEI CLOUD 2021—— Боевой лагерь ИИ, который изучают сотрудники HUAWEI CLOUD, приходите и записывайтесь на бесплатное обучение~
Нажмите «Подписаться», чтобы впервые узнать о новых технологиях HUAWEI CLOUD~