QR-разложение и линейная регрессия

1 Унарная и множественная регрессия

Любая книга по эконометрике, статистике или машинному обучению начального уровня подробно расскажет о решении множественной линейной регрессии, поэтому я не буду повторяться здесь.

Приведем некоторые настройки, используемые в этой статье.$y$за$N$размерный вектор зависимых переменных, гипотетический$y=X\beta+\epsilon$, если независимая переменная$p$объемный, будет$X$оценивается как$N\times (p+1)$матрица, где первый столбец$x_{\cdot 0}=1_N$для всех$1$Термин перехвата , мы имеем оценку наименьших квадратов:

Если это одномерная регрессия и член пересечения отсутствует, запишите независимую переменную как$N$размерный вектор$x$,$y=x'\beta$середина$\beta$Оценка методом наименьших квадратов

Какая связь между ними? Если в многомерной регрессии$X$Векторы-столбцы ортогональны друг другу, т.е.$X'X$является диагональной матрицей, то можно сделать вывод, что оценочное значение каждого коэффициента равно$\hat\beta_j=\dfrac{x_{\cdot j}'y}{x_{\cdot j}'x_{\cdot j}}$.

Это дает нам подсказку, можем ли мы построить некоторые измерения, которые ортогональны друг другу?

2 Процесс Грама – Шмидта

Для расчета используем следующую процедуру$\hat\beta_p$:

1. $z_{\cdot 0}=x_{\cdot 0}=1_N$;
2. траверс$j = 1,\ldots,p$:использовать$x_{\cdot j}$правильно$l=0,\ldots, j-1$каждого$z_{\cdot l}$Выполните одномерную линейную регрессию без точки пересечения соответственно и получите коэффициенты соответственно$\hat\gamma_{lj}=\dfrac{z_{\cdot l}'x_{\cdot j}}{z_{\cdot l}'z_{\cdot l}}$, и, наконец, получить$z_{\cdot j}=x_{\cdot j}-\sum_{k=0}^{j=1}\hat\gamma_{kj}z_{\cdot k}$;
3. повторное использование$y$правильно$z_{\cdot p}$Выполните одномерную регрессию без члена перехвата, чтобы получить окончательный результат.$\hat\beta_p=\dfrac{z_{\cdot p}'y}{z_{\cdot p}'z_{\cdot p}}$.

так как$x_{\cdot p}$только в$z_{\cdot p}$появляется в и с$z_{\cdot 0},\ldots,z_{\cdot p-1}$ортогональны, поэтому получаются приведенные выше результаты. как$\epsilon\sim N(0,\sigma^2 I_N)$, то предполагаемая дисперсия может быть записана как

Обратите внимание, что каждое измерение может использоваться как$p$измерение, следовательно, каждый$\hat\beta_j$можно вывести таким образом.

3 QR-разложение

если добавлено$\hat\gamma_{jj}=0$,в$j=0,\ldots,p$, поставить все$\hat\gamma_{ij}$расстановка$(p+1)\times (p+1)$изверхний треугольникматрица$\Gamma$при запоминании$Z=(z_{\cdot 0}, z_{\cdot 1},\ldots, z_{\cdot p})$, то есть

построить еще один$(p+1)\times (p+1)$диагональная матрица$D$, диагональные элементы$D_{ii}=\Vert z_{\cdot i}\Vert$,Сейчас$Z'Z=D^2$, вставьте в середину приведенной выше формулы$D^{-1}D=I_{p+1}$, то есть

Помните$Q=ZD^{-1}$,$R=D\Gamma$, что является матрицей$X$изQR-разложение:$X=QR$.

так как$Z$Векторы-столбцы ортогональны друг другу, поэтому$Q'Q=D^{-1}Z'ZD=I_{p+1}$,и$R$Это также верхняя треугольная матрица. Используя разложение QR, мы можем записать оценку методом наименьших квадратов как

и имеет установленное значение

так как$R$— верхняя треугольная матрица, а последняя строка$(0,\ldots,0,\Vert z_{\cdot p}\Vert)$,следовательно$R^{-1}$также является верхнетреугольной матрицей, а последняя строка$(0,\ldots,0,1/\Vert z_{\cdot p}\Vert)$. Повторное использование$Q=(z_{\cdot 0}/\Vert z_{\cdot 0}\Vert, z_{\cdot 1}/\Vert z_{\cdot 1}\Vert,\ldots, z_{\cdot p}/\Vert z_{\cdot p}\Vert)$, мы можем получить$R^{-1}Q'$последний акт$z_{\cdot p}'/\Vert z_{\cdot p}\Vert^2$, так что есть

Это также согласуется с результатами, полученными в разделе 2.

использованная литература

• Hastie, Trevor, Robert Tibshirani, and Jerome Friedman. The elements of statistical learning: data mining, inference, and prediction. Springer Science & Business Media, 2009.