Регрессионное расчесывание МНК для небольшой выборки

Предыдущий«Структура для регрессии МНК для малых выборок»Объясняется основная структура регрессии МНК для малой выборки.Эта статья следует этой структуре, чтобы сделать всесторонний обзор регрессии МНК для малой выборки.

1 предположение

Здесь все гипотезы, которые могут быть использованы в регрессии МНК для небольшой выборки, собраны вместе для удобства просмотра. Конечно, каждый из следующих выводов использует не все допущения, а лишь некоторые из них, которые будут подробно объяснены, когда мы поговорим о каждом выводе позже.

• Допущение 1 Линейность:$y_i=x_i'\beta+\varepsilon_i$,в$\beta$представляет собой вектор неизвестных параметров, который объединяет все$N$Соединяя выборки вместе, это можно записать как$y=X\beta+\varepsilon$,в$X$да$N\times K$матрица;
• Допущение 2. Строго экзогенное:$\mathbb{E}(\varepsilon|X)=0$;
• Допущение 3. Несингулярность:$X'X$не единственное число;
• Допущение 4. Сферический член возмущения:$\mathbb{E}(\varepsilon|X)=\sigma^2I_n$;
• Допущение 5 Условно-нормальный термин возмущения $\varepsilon|X\sim \mathcal{N}(0,\sigma^2I_n)$;
• Допущение 6. Отсутствие приблизительной мультиколлинеарности:когда$n\to \infty$час,$X'X$наименьшее собственное значение$\lambda_\text{min}(X'X)\to\infty$Вероятность равна 1.

где предположение 3 эквивалентно$\text{rank}(X)=K$. Если предположить, что число 6 встречается только в отдельных данных, это исключает возможность приблизительной мультиколлинеарности. Кроме того, Гипотеза 4 утверждает, что член возмущения не имеет автокорреляции и является гомоскедастичным, Гипотеза 5 включает Гипотезу 4, а Гипотезу 5 нужно только вывести$\hat\beta$Необходимы выборочное распределение и связанные с ним проблемы.

2 $\beta$Точечная оценка и ее свойства

2.1 $\beta$точечная оценка

путем решения$\hat{\beta}=\arg\min \text{SSR}(\beta)$, легко добраться, когда предположение 3$\hat\beta=(X'X)^{-1}Xy$, что является точечной оценкой.

Обозначим остатки линейной регрессии как$e=y-X\hat\beta$.

В последующем выводе в основном используется точечная оценка$\hat\beta$с правдой$\beta$разности , используя предположение 1, имеем$\hat\beta-\beta=(X'X)^{-1}X'\varepsilon$.

2.2 $\hat\beta$природа

Во-первых,$\hat\beta$изусловное ожиданиеэквивалентно$\beta$, т. е. этобеспристрастное условие, используя предположение 4, мы можем получить$\mathbb{E}(\hat\beta-\beta|X)=0$. Конечно, безоговорочно и беспристрастно.

этоУсловная дисперсияХорошо рассчитанный, по определению и допущению 4,$\text{Var}(\hat\beta|X)=\sigma^2(X'X)^{-1}$. Если также выполняется предположение 6, то для любого$K\times 1$и удовлетворить$\tau'\tau=1$вектор$\tau$, когда$n\to \infty$час,$\tau'\text{Var}(\hat\beta|X)\tau\to 0$. Это означает, что пока нет приблизительной мультиколлинеарности, пока данных достаточно,$\hat\beta$Дисперсия будет приближаться к 0. Наоборот, если имеет место приблизительная мультиколлинеарность, дисперсию будет трудно восстановить путем сбора данных.

Можно показать, что во всех линейных несмещенных оценках$\hat\beta$имеет наименьшую дисперсию, т.Теорема Гаусса-Маркова. Это показывает, что для любой другой линейной несмещенной оценки$\hat b$,$\text{Var}(\hat b|X)-\text{Var}(\hat\beta|X)$Должна быть положительной полуопределенной матрицей.

для неизвестных параметров$\sigma^2$,Можно использоватьоценщик остаточной дисперсии$s^2=e'e/(N-K)$оценить его. Это также несмещенная оценка, т.е.$\mathbb{E}(s^2|X)=\sigma^2$.

3 $\hat\beta$Распределение выборки и проверка гипотез

3.1 $\hat\beta$Выборочное распределение

Из-за небольшого размера выборки предположения о распределении члена возмущения имеют решающее значение. Одного допущения 4 недостаточно, необходимо использовать более сильное допущение 5.

С предположением 5 мы можем получить$\hat\beta$Также подлежит условному нормальному распределению:

для любого$J\times K$неслучайная матрица$R$,имеют

3.2 Качество подгонки

Насколько хорошо модель линейной регрессии соответствует данным? Это может быть выражено в терминах качества подгонки. Следующая формулаДецентрализация$R^2$выражение:

Следующая формулацентрализованный$R^2$, он жерешающий фактор(Коэффициент детерминации):

фактически,$R^2$это$y$и$\hat y$Квадрат коэффициента корреляции между:$R^2=\hat\rho^2_{y\hat y}$.

3.3 Некоторые вспомогательные выводы и теоремы

Теорема 1 Квадратичная форма нормальной случайной величины $m$размерный случайный вектор$v\sim\mathcal{N}(0,I_m)$,$Q$да$m\times m$Неслучайная симметричная идемпотентная матрица ,$\text{rank}(Q)=q\le m$,но$v'Qv\sim\chi^2_q$.

Теорема 2 $q$размерный случайный вектор$Z\sim\mathcal{N}(0,V)$,в$V=\text{Var}(v)$да$q\times q$Симметричная невырожденная ковариационная матрица , затем$Z'V^{-1}Z\sim\chi^2_q$.

Из теоремы 1 можно получить$\dfrac{(N-K)s^2}{\sigma^2}\sim\chi^2_{N-K}$.

Кроме того,$\text{Cov}(\hat\beta, e|X)=0$,и$e$и$\hat\beta$следует совместному нормальному распределению, потому что

И по предположению 5,$\varepsilon$подчиняются условному нормальному распределению, поэтому приведенная выше формула имеет вид$\varepsilon$Линейная комбинация , также подчиняется$X$является условным совместным нормальным распределением. Для совместного нормального распределения некорреляция эквивалентна независимости, поэтому$e$и$\hat\beta$данезависимыйиз.

3.4 Проверка гипотез

3.4.1 $F$контрольная работа

мы можем как$R\beta=r$Проверка гипотезы выполняется на такой нулевой гипотезе, где$R$за$J\times K$матрица.

Если нулевая гипотеза верна, то

Из раздела 3.1 мы знаем, что

Снова используя теорему 2, мы можем получить

Из-за распространения$\chi^2_J$Это не зависит от$X$, поэтому безусловное распределение приведенной выше формулы также подчиняется$\chi^2_J$распределенный.

Но проблема в том$\sigma^2$неизвестна, поэтому приведенная выше формула не может быть рассчитана. Решение заключается в использовании$s^2$Подставьте его, поэтому после подстановки сделайте небольшую обработку (делите на$J$), мы можем получить другое распределение, т.$F$Статистика:

зачем подчиняться$F$распределяется? можно превратить из молекулы в$\chi^2_J$распределение, разделенное на$J$, знаменатель$\chi^2_{N-K}$распределение, разделенное на$N-K$, переменные в числителе и знаменателе$\hat\beta$и$e$Эти три условия не зависят друг от друга.

Помните, с другого ракурса$e$- остаток неограниченной регрессии, обозначаемый$\tilde e$быть ограниченным$R\beta=r$Остатки регрессии ниже, затем$F$Статистику можно записать как

3.4.2 $t$контрольная работа

когда$J=1$час,$R\hat\beta-r$и$\sigma^2R(X'X)^{-1}R'$становится скаляром, и его больше не нужно строить в квадратичной форме$\chi^2_1$распределения, но может напрямую построить форму нормального распределения:

Просто вернитесь к предыдущему разделу$F$Знаменатель статистики также имеет квадратный корень соответственно, мы можем получить$T$Статистика:

так что это может быть$t$контрольная работа.