1 Унарная и множественная регрессия
Любая книга по эконометрике, статистике или машинному обучению начального уровня подробно расскажет о решении множественной линейной регрессии, поэтому я не буду повторяться здесь.
Приведем некоторые настройки, используемые в этой статье.yзаNразмерный вектор зависимых переменных, гипотетическийy=Xβ+ϵ, если независимая переменнаяpобъемный, будетXоценивается какN×(p+1)матрица, где первый столбецx⋅0=1Nдля всех1Термин перехвата , мы имеем оценку наименьших квадратов:
β^=(X'X)−1X'y
Если это одномерная регрессия и член пересечения отсутствует, запишите независимую переменную какNразмерный векторx,y=x'βсерединаβОценка методом наименьших квадратов
β^=x'xx'y
Какая связь между ними? Если в многомерной регрессииXВекторы-столбцы ортогональны друг другу, т.е.X'Xявляется диагональной матрицей, то можно сделать вывод, что оценочное значение каждого коэффициента равноβ^j=x⋅j'x⋅jx⋅j'y.
Это дает нам подсказку, можем ли мы построить некоторые измерения, которые ортогональны друг другу?
2 Процесс Грама – Шмидта
Для расчета используем следующую процедуруβ^p:
-
z⋅0=x⋅0=1N;
- траверсj=1,…,p:использоватьx⋅jправильноl=0,…,j−1каждогоz⋅lВыполните одномерную линейную регрессию без точки пересечения соответственно и получите коэффициенты соответственноγ^lj=z⋅l'z⋅lz⋅l'x⋅j, и, наконец, получитьz⋅j=x⋅j−∑k=0j=1γ^kjz⋅k;
- повторное использованиеyправильноz⋅pВыполните одномерную регрессию без члена перехвата, чтобы получить окончательный результат.β^p=z⋅p'z⋅pz⋅p'y.
так какx⋅pтолько вz⋅pпоявляется в и сz⋅0,…,z⋅p−1ортогональны, поэтому получаются приведенные выше результаты. какϵ∼N(0,о2IN), то предполагаемая дисперсия может быть записана как
Var(β^p)=z⋅p'z⋅pz⋅p'Var(y)z⋅p'z⋅pz⋅p=z⋅p'z⋅pо2
Обратите внимание, что каждое измерение может использоваться какpизмерение, следовательно, каждыйβ^jможно вывести таким образом.
3 QR-разложение
если добавленоγ^jj=0,вj=0,…,p, поставить всеγ^ijрасстановка(p+1)×(p+1)изверхний треугольникматрицаΓпри запоминанииZ=(z⋅0,z⋅1,…,z⋅p), то есть
X=ZΓ
построить еще один(p+1)×(p+1)диагональная матрицаD, диагональные элементыDii=∥z⋅i∥,СейчасZ'Z=D2, вставьте в середину приведенной выше формулыD−1D=Ip+1, то есть
X=ZΓ=ZD−1DΓ
ПомнитеQ=ZD−1,R=DΓ, что является матрицейXизQR-разложение:X=QR.
так какZВекторы-столбцы ортогональны друг другу, поэтомуQ'Q=D−1Z'ZD=Ip+1,иRЭто также верхняя треугольная матрица. Используя разложение QR, мы можем записать оценку методом наименьших квадратов как
β^=R−1Q'y
и имеет установленное значение
y^=QQ'y
так какR— верхняя треугольная матрица, а последняя строка(0,…,0,∥z⋅p∥),следовательноR−1также является верхнетреугольной матрицей, а последняя строка(0,…,0,1/∥z⋅p∥). Повторное использованиеQ=(z⋅0/∥z⋅0∥,z⋅1/∥z⋅1∥,…,z⋅p/∥z⋅p∥), мы можем получитьR−1Q'последний актz⋅p'/∥z⋅p∥2, так что есть
β^p=z⋅p'y/∥z⋅p∥2
Это также согласуется с результатами, полученными в разделе 2.
использованная литература
- Hastie, Trevor, Robert Tibshirani, and Jerome Friedman. The elements of statistical learning: data mining, inference, and prediction. Springer Science & Business Media, 2009.