Разложение по собственным значениям и разложение по сингулярным значениям

Собственные значения и собственные векторы:

Собственный вектор: это вектор, который сохраняет то же направление после преобразования.

Вообще говоря, есть два способа понять преобразование матрицы.Один из них состоит в том, чтобы увидеть преобразованные базисные векторы в столбцах матрицы для представления:

Второй — оторваться от фиксированной системы координат и понять ее в терминах собственных значений и собственных векторов:

Решение для собственных значений и собственных векторов

Алгебраический смысл собственных векторов: преобразовать умножение матриц в операцию умножения чисел;
Геометрический смысл собственных векторов таков: собственные векторы только расширяются и сжимаются преобразованием квадратной матрицы A, сохраняя при этом направление собственных векторов неизменным.

где λ можно преобразовать из постоянных значений в матричную форму $\begin{vmatrix} λ&0&0 \\ 0 & λ &0 \\ 0 & 0 &λ \end{vmatrix}\\$ Таким образом, формула становится: $A\begin{vmatrix} λ&0&0 \\ 0 & λ &0 \\ 0 & 0 &λ \end{vmatrix}\ \vec v = 0$ Подставить конкретные примеры $\begin{vmatrix} 3-λ&1&4 \\ 1 & 5-λ &9 \\ 2 & 6 &5-λ \end{vmatrix}\ \vec v = 0$

Когда v — нулевой вектор, уравнение должно выполняться, но нам нужно найти ненулевое решение для v. Предположим, это желтая линия на следующем рисунке:

когда A-λ Когда определитель равен 0, пространство сжимается в прямую линию

Предположение $A=\begin{vmatrix} 3&0 \\ 1&2 \end{vmatrix}$ Итак, шаги решения:

Собственные векторы можно получить, подставив λ в формулу.

Собственные базы и диагональные матрицы

Теперь рассмотрим случай, когда базисные векторы и собственные векторы точно совпадают:

Такая матрица называется диагональной матрицей, а значения диагонали являются собственными значениями: $\begin{vmatrix} 3&0&0 \\ 0 & 2 &0 \\ 0 & 0 &5 \end{vmatrix}\$

Эта матрица имеет то преимущество, что ее очень легко вычислить:

Вообще говоря, диагональную матрицу трудно представить в реальной ситуации, поэтому нам нужно построить такую матрицу, предполагая, что матрица имеет много собственных векторов, которые могут образовывать собственное пространство. Затем используйте базовую матрицу преобразования

Для этой новой собственной матрицы диагональ является собственным значением, и она должна быть диагональной матрицей.

Разложение по собственному значению

Разложение по собственным значениям может получить собственные значения и собственные векторы, Собственные значения указывают, насколько важна функция, а собственные векторы указывают, что это за функция.

При извлечении признаков машинного обучения это означает, что направление собственного вектора, соответствующее наибольшему собственному значению, содержит наибольшее количество информации.Если некоторые собственные значения малы, это означает, что количество информации в этих направлениях невелико и может использоваться для размерности сокращение.Это удаление данных, соответствующих направлению малого собственного значения, и сохранение только данных, соответствующих направлению большого собственного значения.После этого количество данных уменьшается, но количество полезной информации не меняется На этой идее основано уменьшение размерности PCA.

Единственное значение

Собственные значения и разложение по собственным значениям предназначены для квадратных матриц.В реальном мире большинство матриц, которые мы видим, не являются квадратными матрицами.Например, каждые данные имеют точки M, и в общей сложности собирается N данных, таким образом, формируется N * Матрица M, как мы можем извлечь ее функции, такие как квадратная матрица, и важность функций.

Разложение по сингулярным числам предназначено для этого. Сингулярное значение эквивалентно собственному значению в квадратной матрице, а разложение по сингулярному значению эквивалентно разложению по собственному значению в квадратной матрице.

Разложение по сингулярным значениям SVD

Вектор-столбцы матрицы U (левая сингулярная матрица) равны u1, u2 ( MM^T собственные векторы);

Σ - все 0, кроме элементов на главной диагонали, и каждый элемент на главной диагонали называется сингулярным значением.

Вектор-столбцы матрицы V (правая сингулярная матрица) равны v1, v2 ( M^TM собственные векторы).

V представляет собой стандартный ортонормированный базис исходной области, U представляет собой стандартный ортонормированный базис ко-области, преобразованной M, а Σ представляет отношение между вектором в V и соответствующим вектором в u, то есть ковариацию, расположенную в Элементы на диагонали называются сингулярными значениями.