Введение

Сингулярное значение является очень важным понятием в матрице, которое обычно получается разложением по сингулярным значениям.Разложение по сингулярным значениям является важным методом разложения матриц в линейной алгебре и теории матриц.Это очень важно в статистике и обработке сигналов.Важность.

Прежде чем понять сингулярные значения, давайте сначала рассмотрим концепцию собственных значений.

матрица подобия

В линейной алгебре матрицы подобия — это матрицы, которые имеют подобные отношения. Пусть A и B — матрицы n-го порядка, если существует обратимая матрица P n-го порядка такая, что P^-1AP=B, то матрица A аналогична B, обозначаемой как A~B.

диагональная матрица

Диагональная матрица — это матрица, все элементы которой вне главной диагонали равны 0, часто записывается как diag(a1, a2,...,an). Диагональные матрицы можно рассматривать как самый простой вид матриц.Стоит отметить, что элементы на диагонали могут быть 0 или другие значения.Диагональная матрица с равными элементами на диагонали называетсяМатрица количества; диагональная матрица со всеми единицами на диагонали называетсяединичная матрица. Операции над диагональными матрицами включают в себя операции сложения, разности, умножения чисел и произведения над диагональными матрицами того же порядка, и в результате получается диагональная матрица.

Диагонализуемая матрица

Диагонализуемые матрицы - важный класс матриц в линейной алгебре и теории матриц. Если квадратная матрица A подобна диагональной матрице, то есть если существует обратимая матрица P такая, что P⁻¹AP — диагональная матрица, тогда она называется диагонализируемой.

собственные значения

Пусть A — матрица n-го порядка, если существуют константа λ и n-мерный ненулевой вектор x такие, что Ax=λx, то λ — собственное значение матрицы A, а x — собственный вектор матрицы A, принадлежащий собственное значение λ.

Набор собственных векторов матрицы — это набор ортонормированных векторов.

То есть собственный вектор подвергается линейному преобразованию A, которое только удлиняет или укорачивает вектор без изменения его направления.

Линейное преобразование обычно можно полностью описать своими собственными значениями и собственными векторами. Собственное пространство — это набор собственных векторов с одинаковым собственным значением.

собственное разложение

Собственное разложение, также известное как спектральное разложение, представляет собой метод разложения матрицы на произведение матрицы, представленной ее собственными значениями и собственными векторами. Обратите внимание, что собственное разложение можно применять только к диагонализируемым матрицам.

сделатьAпредставляет собой квадратную матрицу размера N × N с N линейно независимыми собственными векторами q_i(i=1,...,N). так,Aможно разложить на:А= QΛQ^-1

где Q — квадратная матрица размера N × N, i-й столбец которой — собственный вектор матрицы A. Если все собственные векторы A представлены x1, x2 ... xm, то Q можно выразить как:$\влево[x_1,x_2,…,x_m\вправо]$, где x — n-мерный ненулевой вектор.

Λ — диагональная матрица, элементы которой на диагонали — соответствующие собственные значения, т. е.Λ_ii=λ_i. это$\left[\begin{matrix}λ_1 … 0\\… … …\\0 … λ_m \end{matrix}\right]$

Здесь следует отметить, что для собственного разложения можно использовать только диагонализируемые матрицы. Например$\left[\begin{matrix}11\\01 \end{matrix}\right]$Его нельзя диагонализовать, поэтому его нельзя разложить на собственные.

так какА= QΛQ^-1, видно, что A разлагается на три матрицы, то есть на три отображения.

Если теперь у нас есть вектор x, мы можем сделать следующие выводы:

$Ах=QΛQ^{-1}х$

Q — ортогональная матрица, а обратная ортогональная матрица равна ее транспонированной, поэтому$Q^{-1}$ = $Q^T$.$Q^T$Преобразование x является ортогональным преобразованием, которое представляет x с новой системой координат, которая является системой координат, образованной всеми ортогональными собственными векторами A. такой какxВсе собственные векторы A представлены как:

$х=а_1х_1+а_2х_2+…+а_мх_м$

Тогда с помощью первого преобразования мы можемxВыражается как$[a_1 a_2 ... a_m]^T$.

$QΛQ^{-1}x=QΛ\left[\begin{matrix}x_1^T\\x_2^T\\…\\…\\x_m^T \end{matrix}\right](a_1x_1+a_2x_2+a_3x_3+ …+a_mx_m)=QΛ\left[\begin{matrix}a_1\\a_2\\…\\a_m \end{matrix}\right]$

Затем, при представлении новой системы координат, новая координата вектора заменяется диагональной матрицей в середине, и в результате вектор растягивается или сжимается в каждом направлении оси:

$QΛ\left[\begin{matrix}a_1\\a_2\\…\\a_m \end{matrix}\right]=Q\left[\begin{matrix}λ_1 … 0\\… … …\\0 … λ_m \end{matrix}\right]\left[\begin{matrix}a_1\\a_2\\…\\a_m \end{matrix}\right]=Q\left[\begin{matrix}λ_1a_1\\λ_2a_2\\ …\\λ_ma_m \end{matrix}\right]$

Если A неполного ранга, то это означает, что на диагонали диагональной матрицы 0 элементов, что приведет к деградации размерности, из-за чего отображаемый вектор попадет в подпространство m-мерного пространства.

Последнее преобразование состоит в том, что Q преобразует растянутый или сжатый вектор, так как Q и$Q^{-1}$являются взаимно обратными матрицами, поэтому Q-преобразование$Q^{-1}$Обратное преобразование преобразования.

Геометрический смысл собственных значений

Матрица, умноженная на вектор-столбец, эквивалентна линейной комбинации векторов-столбцов матрицы. Вектор-строка, умноженный на матрицу, эквивалентен линейной комбинации векторов-строк матрицы.

Таким образом, после умножения вектора на матрицу это эквивалентно геометрическому преобразованию вектора.

Как упоминалось ранее, Λ — диагональная матрица, а элементы на диагонали — соответствующие собственные значения, т. е.Λ_ii=λ_i. это$\left[\begin{matrix}λ_1 … 0\\… … …\\0 … λ_m \end{matrix}\right]$

Эти собственные значения представляют собой величину преобразования каждого направления преобразования при линейном преобразовании вектора.

Единственное значение

Если A — матрица порядка m * n, q=min(m,n), арифметический квадратный корень из q неотрицательных собственных значений A*A называется сингулярным значением A.

Разложение по сингулярным значениям SVD

Разложение по собственным значениям может легко извлечь характеристики матрицы, но предпосылка состоит в том, что матрица является квадратной матрицей. Если это неквадратная матрица, вам нужно использовать разложение по сингулярным числам. Сначала посмотрите на определение разложения по сингулярным числам:

$А=UΣV^T$

где A — матрица размера m * n, которая должна быть разложена целью, U — квадратная матрица размера n * n, а Σ — матрица размера n * m, все недиагональные элементы которой равны нулю.$V^T$является транспонированием V, которое также является матрицей n * n.

Сингулярные числа аналогичны собственным значениям, они также располагаются от большего к меньшему в матрице Σ, и редукция сингулярных значений происходит особенно быстро,Во многих случаях сумма верхних 10% или даже 1% сингулярных значений составляет более 99% суммы всех сингулярных значений.. То есть мы также можем аппроксимировать матрицу сингулярными значениями с большим первым r. r — число, намного меньшее m, n, так что матрицу можно сжать.

С помощью разложения по сингулярным числам мы можем аппроксимировать замену исходной матрицы меньшим количеством данных.

Эта статья была включена вwww.flydean.com

Самая популярная интерпретация, самая глубокая галантерея, самые краткие уроки и множество трюков, о которых вы не знаете, ждут вас!

Добро пожаловать, чтобы обратить внимание на мой официальный аккаунт: «Программируйте эти вещи», разбирайтесь в технологиях, лучше поймите себя!