Регрессия МНК для больших выборок IID

В этой статье будет обобщена регрессия МНК с малых выборок на большие выборки. Информацию о регрессии OLS для малой выборки см. в разделах «Основы регрессии OLS для малой выборки» и «Картирование регрессии OLS для малой выборки».

Хотя предположения, выводы и выводы в случае больших выборок отличаются от в случае малых выборок, общая идея остается той же:

• провеститочечная оценка, а затем изучить свойства оценщика;
• Постройте статистику, выведите их асимптотические распределения при больших выборках и выполнитегипотетический тест.

В этой статье рассматривается простейший случай в случае большой выборки:Независимые и одинаково распределенныеслучайная выборка из .

1 Обозначения и предположения

Поскольку может быть рассмотрена ситуация временных рядов, здесь принят индекс единичной выборки.$t$, больше не используется$i$. Помните$Q=\text{E}(x_t x_t')$,$V=\text{Var}(x_t\varepsilon_t)$, а остальные обозначения те же, что и в случае малой выборки.

• Допущение 1 Независимая и одинаково распределенная:$\{x_t',y_t\}'$,$t=1,\ldots,N$— наблюдаемая независимая и одинаково распределенная случайная выборка;
• Допущение 2 Линейность:$y_t=x_t'\beta+\varepsilon_t$, которую можно записать в матричной форме$y=X\beta+\varepsilon$;
• Допущение 3 Модель настроена правильно:$\text{E}(\varepsilon_t|x_t)=0$и$\text{E}(\varepsilon_t^2)=\sigma^2<\infty$;
• Допущение 4. Несингулярность.:$K\times K$матрица$Q$симметрична, конечна и неособа;
• Предположение 5:$K\times K$матрица$V$симметрична, конечна и положительно определена;
• Допущение 6. Условная гомоскедастичность:$\text{E}(\varepsilon_t^2|x_t)=\sigma^2$.

Из предположения 1 и предположения 3 можно сделать вывод$\text{E}(\varepsilon_t|X)=0$, что удовлетворяет строгой экзогенности. Также в силу гарантии предположения 3$V=\text{Var}(x_t\varepsilon_t)=\text{E}(x_t x_t' \varepsilon^2_t)$.

Можно видеть, что при больших выборках нет необходимости делать предположение о нормальном распределении члена возмущения. Независимое и одинаково распределенное предположение здесь также гарантирует, чтоЧлен возмущения не имеет автокорреляции, поэтому при последующем выводе необходимо только учитывать, выполняется ли предположение 6. Если предположение 6 выполняется, то предположение 5 может быть гарантировано предположением 4. Если предположение 6 не выполняется, имеет место условная гетероскедастичность, которую можно использовать$\text{E}(\varepsilon_t^4)<\infty$и$\text{E}(x_{tk}^4)<\infty$Моментное условие гипотезы 5 гарантируется совместно. При выводе последующих выводов, как правило, необходимо классифицировать и обсудить, выполняется ли гипотеза 6.

2 Некоторые теоремы

Теорема 1. Слабый закон больших чисел для случайных выборок IID.: предполагать$\{Z_t\}_{t=1}^n$является независимой и одинаково распределенной случайной выборкой,$\text{E}(Z_t)=\mu$и$\text{E}(\vert Z_t\vert)<\infty$,определение$\bar Z_n=n^{-1}\sum_{t=1}^{n}Z_t$, потом, когда$n\to \infty$когда есть$\bar{Z}_n \xrightarrow{p}\mu$.

Теорема 2. Многомерная центральная предельная теорема для случайных выборок IID.:как$\{Z_t\}_{t=1}^n$является независимой и одинаково распределенной случайной выборкой,$\text{E}(Z_t)=0$и$\text{Var}(Z_t)=V$является конечной, симметричной, положительно определенной матрицей. определение$\bar{Z}_n=n^{-1}\sum_{t=1}^{n} Z_t$, потом, когда$n\to\infty$когда есть$\sqrt{n}\bar{Z}_n\xrightarrow{d}\mathcal{N}(0,V)$

Теорема 3. Непрерывность сходимости по вероятности: Джодан$n\to\infty$час,$A_n\xrightarrow{p}A$,$B_n\xrightarrow{p}B$,и$g(\cdot)$и$f(\cdot)$являются непрерывными функциями, то

Теорема 4 Теорема Слуцкого:как$Z_n\xrightarrow{d}Z$,$a_n\xrightarrow{p}a$и$b_n\xrightarrow{p}b$,в$a$и$b$является константой, то когда$n\to\infty$иногда$a_n+b_nZ_n \xrightarrow{d}a+bZ$.

3 $\hat\beta$природа

$\beta$Точечная оценка такая же, как и в случае малой выборки:$\hat\beta=(X'X)^{-1}X'y$. В последующем выводе основное использование$\hat\beta$и$\beta$Разница,$\hat\beta-\beta=(X'X)^{-1}X'\varepsilon$.

Для удобства использования закона больших чисел и центральной предельной теоремы его можно переписать как$\hat\beta-\beta=(\dfrac{1}{N}X'X)^{-1}(\dfrac{1}{N}X'\varepsilon)$. Если матричная форма расширена, приведенная выше формула становится

в$\dfrac{1}{N}\sum_{t=1}^{N}x_t x_t'=\dfrac{1}{N}XX'$На самом деле это$Q$Образец прямоугольной формы , обозначаемый как$\hat Q$. По закону больших чисел,$\hat Q\xrightarrow{p}Q$, а операцию обращения матрицы можно рассматривать как непрерывную функцию, поэтому имеем$\hat {Q}^{-1}\xrightarrow{p}Q^{-1}$.

Также используя закон больших чисел и предположение 3, мы можем получить$\dfrac{1}{N}\sum_{t=1}^{N}x_t\varepsilon_t \xrightarrow{p} \text{E}(x_t\varepsilon_t)=0$. Тогда по теореме 3 мы видим, что$\hat\beta-\beta\xrightarrow{p}0$. это оценщик$\hat\beta$изпоследовательность.

4 $\hat\beta$Асимптотическое распределение и проверка гипотез

4.1 $\hat\beta$асимптотическое распределение

По центральной предельной теореме можно получить

следовательно

Дисперсия его асимптотического распределения также называется асимптотической дисперсией и обозначается как$\text{Avar}(\sqrt{N}\hat\beta)=Q^{-1}VQ^{-1}$.

Если гипотеза 6 выполняется, то есть при условной гомоскедастичности,$V=\sigma^2Q$, асимптотическое распределение принимает вид

4.2 Проверка гипотез

Проверить нулевую гипотезу$H_0: R\beta=r$,в$R$за$J\times K$матрица.

4.2.1 Условная гетероскедастичность

Если нулевая гипотеза верна, то$R(\hat\beta-\beta)=R\hat\beta-r$, а асимптотическое распределение слева уже известно, поэтому его можно построить

в формуле$Q$и$V$Нам еще нужно сделать расчет. Это видно из предыдущего$\hat Q\xrightarrow{p}Q$,за$V$, мы также можем оценить его в виде выборки:

в$D(e)=\text{diag}(e_1,\ldots,e_N)$.

можно доказать,$\hat V\xrightarrow{p}V$. Чтобы доказать, что только$e_t$написано как$e_t=\varepsilon_t-(\hat\beta-\beta)'x_t$потомки$\hat V$, и тогда поэлементный вывод может сходиться в соответствии с вероятностью.

Наконец, мы используем$\hat Q$и$\hat V$Замените, чтобы получить:

когда$J=1$час,$\chi^2_1$Знак корня представляет собой стандартное нормальное распределение, поэтому его можно построить напрямую.$t$Статистика:

Стоит отметить, что при больших выборках$t$статистический$t_{N-K}$Распределение становится стандартным нормальным распределением.

4.2.2 Условная гомоскедастичность

Если предположение 6 выполнено, то$V=\sigma^2 Q$, подставляя в предыдущий раздел, имеем

Как и в случае с малой выборкой, из-за неизвестного$\sigma^2$, статистика не может быть рассчитана напрямую. Поэтому то же самое можно использовать$s^2$заменять$\sigma^2$, которая также является последовательной оценкой, т. е.$s^2\xrightarrow{p}\sigma^2$. наконец-то доступно

когда$J=1$когда можно получить