Общие проблемы регрессии, линейная регрессия и правильная спецификация модели

1 Общая проблема регрессии

Вообще говоря, учебники по эконометрике начинаются с линейной регрессии, но здесь мы обсудим более общие проблемы регрессии перед линейной регрессией.

Давайте сначала определим, что такое регрессия:

Определение 1Функция регрессии:$\mathbb{E}(y|\mathbf{x})$это$y$правильно$\mathbf{x}$функция регрессии.

Давайте определим еще одну метрику, которая измеряет, насколько хорошо делаются прогнозы:

Определение 2Среднеквадратическая ошибка (MSE): Предположим, мы используем$g(\mathbf{x})$предсказывать$y$, то прогноз$g(\mathbf{x})$Среднеквадратическая ошибка$\text{MSE}(g)=\mathbb{E}[y-g(\mathbf{x})]^2$

Какова форма функции наилучшего прогноза? Следующая теорема показывает, что лучшая предикторная функция — это именно функция регрессии, условное математическое ожидание.

Теорема 1Оптимальное решение MSE:$\mathbb{E}(y|\mathbf{x})$является оптимальным решением следующей задачи:$\mathbb{E}(y|\mathbf{x}) = \arg\min_{g\in \mathbb{F}} \text{MSE}(g) = \arg\min_{g\in \mathbb{F}} \mathbb{E}[y-g(\mathbf{x})]^2$в$\mathbb{F}$есть пространство всех измеримых и интегрируемых с квадратом функций:$\mathbb{F}=\{ g:\mathbb{R}^{k+1}\to\mathbb{R} \Big| \int g^2(\mathbf{x})f_X(\mathbf{x})\,d\mathbf{x}<\infty\}$

В этой теореме непосредственное решение задачи о максимальном значении сложнее, и необходимо использовать вариационный метод, относительно просто доказать теорему конструктивным методом.$\text{MSE}(g)$Вы можете сделать декомпозицию. сделать$g_0(\mathbf{x})\equiv \mathbb{E}(y|\mathbf{x})$, то есть

Очевидно, что первый член является константой, только если второй член$0$который$g(\mathbf{x})=g_0(\mathbf{x})$час,$\text{MSE}(g)$Сведите к минимуму.

Давайте посмотрим на другую теорему о члене возмущения в регрессии:

Теорема 2Идентичность регрессии: дано$\mathbb{E}(y|\mathbf{x})$, всегда$y=\mathbb{E}(y|\mathbf{x})+\varepsilon$в$\varepsilon$- член возмущения регрессии, удовлетворяющий$\mathbb{E}(\varepsilon|\mathbf{x})=0$.

Следующий вопрос: как мы$g_0(\mathbf{x})$моделирование? В простейшем случае его можно аппроксимировать линейной функцией.

2 Линейная регрессия

Сначала введем понятие аффинной функции:

Определение 3Аффинные функции: помнить$\mathbf{x}=(1,x_1,\ldots,x_k)'$,$\beta=(\beta_0,\beta_1,\ldots,\beta_k)'$, то семейство аффинных функций определяется как$\mathbb{A}= \left\{g: \mathbb{R}^{k+1}\to\mathbb{R} \Big| g(\mathbf{x})=\mathbf{x}'\beta \right\}$

когда мы будем$g(x)$После того, как множество функций сужено с множества всех измеримых и суммируемых с квадратом функций на множество аффинных функций, задача превращается в решение оптимальных параметров$\beta^*$Для минимизации MSE этот параметр называется оптимальным коэффициентом аппроксимации методом наименьших квадратов.

Теорема 3Лучший линейный прогноз методом наименьших квадратов: предположения$E(y^2)<\infty$и матрица$\mathbb{E}(\mathbf{x}\mathbf{x}')$невырожденная, то задача оптимизации$\min_{g\in\mathbb{A}} \mathbb{E}[y-g(\mathbf{x})]^2=\min_{\beta\in\mathbb{R}^{k+1}} \mathbb{E}(y-\mathbf{x}'\beta)^2$Решение , то есть оптимальное линейное предсказание методом наименьших квадратов, равно$g^*(\mathbf{x})=\mathbf{x}'\beta^*$в$\beta^*=[\mathbb{E}(\mathbf{x}\mathbf{x}')]^{-1}\mathbb{E}(\mathbf{x}y)$

Доказательство очень простое, только для условия первого порядка$\dfrac{d\mathbb{E}(y-\mathbf{x}'\beta)^2}{d\beta}\bigg|_{\beta=\beta^*}=0$Ее можно решить, поскольку условием второго порядка является матрица Гессе$\dfrac{d^2\mathbb{E}(y-\mathbf{x}'\beta)^2}{d\beta d\beta'}=\mathbb{E}(\mathbf{x}\mathbf{x}')$существует$\mathbb{E}(\mathbf{x}\mathbf{x}')$Оно должно быть положительно определенным, если оно не является сингулярным.

Модель линейной регрессии формально определяется следующим образом:

Определение 4Модель линейной регрессии:$y=\mathbf{x}'\beta+u, \beta\in\mathbb{R}^{k+1}$в$u$— ошибка регрессионной модели.

Итак, модель линейной регрессии и предсказать оптимальную линейную наименьших квадратов Какая связь между ними?

Теорема 4Предполагая, что выполнены условия теоремы 3,$y=\mathbf{x}'\beta+u$, и разреши$\beta^*=[\mathbb{E}(\mathbf{x}\mathbf{x}')]^{-1}\mathbb{E}(\mathbf{x}y)$— оптимальный линейный коэффициент аппроксимации методом наименьших квадратов. но$\beta=\beta^*$Эквивалентно$\mathbb{E}(\mathbf{x}u)=0$.

Доказательство этой теоремы очень простое, и его нужно доказывать как с точки зрения необходимости, так и с точки зрения достаточности, поэтому оно не будет здесь расширяться.

Из теоремы следует, что пока условие ортогональности$\mathbb{E}(\mathbf{x}u)=0$Удовлетворение, то значение параметра модели линейной регрессии равно оптимальному коэффициенту линейной аппроксимации методом наименьших квадратов$\beta^*$, они эквивалентны.

3 Правильная настройка модели

Как правильно настроить среднюю модель?

Определение 5Правильная спецификация модели в условном среднем: модель линейной регрессии$y=\mathbf{x}'\beta+u, \beta\in\mathbb{R}^{k+1}$условное среднее$\mathbb{E}(y|\mathbf{x})$правильная установка , если параметр существует$\beta^o \in \mathbb{R}^{k+1}$сделать$\mathbb{E}(y|\mathbf{x})=\mathbf{x}'\beta$. С другой стороны, если для какого-либо$\beta\in \mathbb{R}^{k+1}$оба$\mathbb{E}(y|\mathbf{x})\neq \mathbf{x}'\beta$, модель линейной регрессии$\mathbb{E}(y|\mathbf{x})$неправильная установка.

Из этого определения видно, что правильным условием для модели линейной регрессии является наличие определенного параметра$\beta^o$сделать$\mathbb{E}(u|\mathbf{x})=0$. Другими словами, необходимые и достаточные условия для правильной настройки модели линейной регрессии таковы:$\mathbb{E}(u|\mathbf{x})=0$,в$u=y-\mathbf{x}'\beta^o$.

Следующая теорема утверждает, что, когда модель среднего установлена ​​правильно, член ошибки модели регрессии$u$с истинным членом возмущения регрессии$\varepsilon$Отношение:

Теорема 5Если модель линейной регрессии$y=\mathbf{x}'\beta+u$условное среднее$\mathbb{E}(y|\mathbf{x})$правильная настройка, то (1) Есть параметр$\beta^o$и случайная величина$\varepsilon$,имеют$y=\mathbf{x}'\beta^o+\varepsilon$,в$\mathbb{E}(\varepsilon|\mathbf{x})=0$; (2)$\beta^*=\beta^o$.

Из определения 5 (1) можно получить непосредственно, для (2) можно получить из (1)$\mathbb{E}(\varepsilon|\mathbf{x})=0$посадочная дистанция$\mathbb{E}(\mathbf{x}\varepsilon)=0$, а затем использовать теорему 4, чтобы доказать это.

Для простоты понимания в следующем примере используется пример, иллюстрирующий правильную и неправильную настройку модели:

Предположим, что процесс генерации данных (DGP)$y=1+\dfrac{1}{2}x_1+\dfrac{1}{4}(x_1^2-1)+\varepsilon$,в$x_1$и$\varepsilon$независимы друг от друга$\mathcal{N}(0,1)$Случайные переменные. Теперь, если мы используем модель линейной регрессии$y=\mathbf{x}'\beta+u$Аппроксимируйте этот DGP, где$\mathbf{x}=(1,x_1)'$.

После расчета мы можем решить оптимальное линейное приближение методом наименьших квадратов$\beta^*=(1,\dfrac{1}{2})'$,и$g^*(\mathbf{x})=1+\dfrac{1}{2}x_1$, то видно, что в нем нет нелинейной части. Если в регрессионной модели взять$\beta=\beta^*$, согласно теореме 4 имеем$\mathbb{E}(\mathbf{x}u)=0$, однако в это время$\mathbb{E}(u|\mathbf{x})=\dfrac{1}{4}(x_1^2-1)\neq 0$, то есть модель установлена ​​неправильно.

Модель установлена ​​неправильно, каковы последствия этого? Расчет показывает, что реальный ожидаемый предельный эффект равен$\dfrac{\mathbb{E}(y|\mathbf{x})}{dx_1}=\dfrac{1}{2}+\dfrac{1}{2}x_1$, но он не равен$\beta^*_1=\dfrac{1}{2}$. Другими словами, неправильная спецификация модели приведет к тому, что решение оптимального линейного приближения методом наименьших квадратов не будет соответствовать реальной ожидаемой предельной полезности.

использованная литература

• Хун Юнмяо, Продвинутая эконометрика, 2011 г.