Структура регрессии OLS для малых выборок

1 История наименьших квадратов

Будь то машинное обучение, эконометрика, математическая статистика, первый алгоритм, с которым сталкиваются многие люди, — это метод наименьших квадратов.

Это очень старый метод. Еще в начале 18 века идея метода наименьших квадратов появилась в области астрономии и навигации. Первая официальная публикация метода была сделана французским ученым Лежандром в 1806 году, а математик Гаусс, как говорят, открыл метод раньше, но официально он не использовался до 1809 года, когда он опубликовал расчет орбит небесных тел. двое также спорили о том, кто первым узнал.

В конце концов, Гаусс — король математики, и в 1829 году он впервые доказал, что в классе линейных несмещенных оценок МНК-оценка имеет наименьшую выборочную дисперсию. В его доказательстве члены ошибки в модели линейной регрессии предполагались независимыми и нормально распределенными, а позже Марков смягчил это предположение, потребовав только, чтобы члены ошибки были некоррелированными, гомоскедастичными и, как ожидается, равными нулю. Следовательно, теорема в конечном итоге была названаТеорема Гаусса-Маркова.

2 Структура регрессии МНК для небольшой выборки

Какова цель регрессии МНК? Короче говоря, после принятия процесса генерации данных $y=\beta' x+\varepsilon$ и собрать серию $(x,y)$ После данных мы можем сделать 3 вещи, которые также являются нашим путем изучения регрессии МНК:

получить точечные оценки коэффициентов;
Определить, насколько хорошо подходят данные?
Получите интервальную оценку коэффициента и выполните проверку гипотезы.

Во-первых, мы сначала используем данные, чтобы получить точечную оценку $\hat{\beta}$ , из которого также можно получить ряд свойств, а затем вычислив такие $R^2$ Подождите, пока ряд индикаторов покажет, насколько хорошо подходит, и, наконец, после получения оценки интервала, вы можете выполнить проверку гипотез на предварительных гипотезах о коэффициентах.

2.1 Балльная оценка и ее свойства

После использования регрессии МНК можно получить

$\hat\beta=(X'X)^{-1}X'y$

Это точечная оценка коэффициента, и вы можете видеть, какими свойствами он обладает.

Во-первых, это $y$ Линейная комбинация , обладает линейностью, и, кроме того, после наложения некоторых предположений ее условное математическое ожидание представляет собой несмещенную оценку коэффициентов, т.е. $\mathbb{E}(\hat\beta|X)=\beta$ , а его дисперсия гарантируется теоремой Гаусса-Маркова наименьшей, что является «СИНИМ» (лучшая линейная несмещенная оценка).

2.2 Качество подгонки

Для соответствия базовые показатели централизованы или децентрализованы. $R^2$ .

Для выбора модели, если вы используете $R^2$ В качестве критерия выбора модели очевидно, что чем больше независимых переменных добавляется, тем больше $R^2$ будет выше, поэтому необходимо использовать другие показатели. Например, AIC (информационный критерий Akaike), BIC (байесовский информационный критерий), корректировка $R^2$ который $\bar{R}^2$ И так далее, вы можете выбрать модель.

2.3 Интервальная оценка и проверка гипотез

Если предположить $\varepsilon|X\sim N(0,\sigma^2 I)$ (в $\sigma$ неизвестно), то $\hat{\beta}$ Он также соответствует нормальному распределению, поэтому можно получить его интервальную оценку. Но получение его интервальной оценки не является нашей конечной целью, наша конечная цель состоит в том, чтобы проверить, например, $R\beta=r$ (в $R$ за $J\times K$ матрица) выполняется ли такое предположение.

Из статистических знаний можно построить такую квадратичную форму

\dfrac{(R\hat\beta-r)'(\cdot)(R\hat\beta-r)}{\sigma^2}|X \sim \chi^2_J

Хотя можно доказать, что приведенная выше формула подчиняется $\chi^2$ раздача, но левая $\sigma^2$ Мы не знаем, поэтому мы не можем использовать приведенную выше формулу для построения статистики.

Одним из решений является использование $s^2=\dfrac{1}{N-K}e'e$ оценить $\sigma^2$ , можно показать, что эта оценка несмещена, т.е. $\mathbb{E}(s^2|X)=\sigma^2$ , и удовлетворить

\dfrac{(N-K)s^2}{\sigma^2}|X\sim \chi^2_{N-K}

s^2 \perp \!\!\!\!\!\!\! \perp \hat{\beta} |X

Следовательно, мы можем построить $F$ Статистика для проверки:

F\equiv \dfrac{(R\hat\beta-r)'(\cdot)(R\hat\beta-r)/J}{s^2}\sim F_{J,N-K}

Таким образом, мы можем совместно проверить коэффициент корреляции $J$ линейная гипотеза, просто запишите гипотезу как $R\beta=r$ в виде . Если нужно проверить только одну гипотезу, т. $J=1$ , то потому что $F_{1,q}\sim t^2_q$ , поэтому статистику можно преобразовать в $t$ распространение, напрямую $t$ Просто проверьте.