Numpy09: линейная алгебра

NumPy

Линейная алгебра

Numpy определяетmatrixтип, используйте этоmatrixТипы создают матричные объекты, а их операции сложения, вычитания, умножения и деления по умолчанию рассчитываются в матричном режиме, поэтому их использование очень похоже на Matlab. Но так как оба существуют в NumPyndarrayиmatrixобъект, поэтому пользователи могут легко спутать их. Это нарушает принцип Python «явное лучше, чем неявное», поэтому официально не рекомендуется для использования в программах.matrix. Здесь мы все еще используемndarrayпредставлять.

Матричное и векторное произведение

Определение матрицы, добавление матрицы, умножение матрицы и транспонирование матрицы точно такие же, как и у двумерного массива, и не будут описываться снова, но умножение матрицы имеет разные представления.

  • numpy.dot(a, b[, out])Вычисляет произведение двух матриц или их внутреннее произведение, если это одномерный массив.

【пример 1】

import numpy as np

x = np.array([1, 2, 3, 4, 5])
y = np.array([2, 3, 4, 5, 6])
z = np.dot(x, y)
print(z)  # 70

x = np.array([[1, 2, 3], [3, 4, 5], [6, 7, 8]])
print(x)
# [[1 2 3]
#  [3 4 5]
#  [6 7 8]]

y = np.array([[5, 4, 2], [1, 7, 9], [0, 4, 5]])
print(y)
# [[5 4 2]
#  [1 7 9]
#  [0 4 5]]

z = np.dot(x, y)
print(z)
# [[  7  30  35]
#  [ 19  60  67]
#  [ 37 105 115]]

z = np.dot(y, x)
print(z)
# [[ 29  40  51]
#  [ 76  93 110]
#  [ 42  51  60]]

Примечание. Размерность в линейной алгебре отличается от размерности массива.Например, n-мерный вектор-строка, упомянутый в линейной алгебре, является одномерным массивом в Numpy, а n-мерный вектор-столбец в линейной алгебре равен одномерный массив в Numpy.Двумерный массив формы (n, 1).


Собственные значения матрицы и собственные векторы

  • numpy.linalg.eig(a)Вычислите собственные значения и собственные векторы квадратной матрицы.
  • numpy.linalg.eigvals(a)Вычислите собственные значения квадратной матрицы.

[Пример 1] Найдите собственные векторы квадратной матрицы

import numpy as np

# 创建一个对角矩阵!
x = np.diag((1, 2, 3))  
print(x)
# [[1 0 0]
#  [0 2 0]
#  [0 0 3]]

print(np.linalg.eigvals(x))
# [1. 2. 3.]

a, b = np.linalg.eig(x)  
# 特征值保存在a中,特征向量保存在b中
print(a)
# [1. 2. 3.]
print(b)
# [[1. 0. 0.]
#  [0. 1. 0.]
#  [0. 0. 1.]]

# 检验特征值与特征向量是否正确
for i in range(3): 
    if np.allclose(a[i] * b[:, i], np.dot(x, b[:, i])):
        print('Right')
    else:
        print('Error')
# Right
# Right
# Right

[Пример 2] Определите, является ли симметричная матрица положительно определенной матрицей (все ли собственные значения положительны).

import numpy as np

A = np.arange(16).reshape(4, 4)
print(A)
# [[ 0  1  2  3]
#  [ 4  5  6  7]
#  [ 8  9 10 11]
#  [12 13 14 15]]

A = A + A.T  # 将方阵转换成对称阵
print(A)
# [[ 0  5 10 15]
#  [ 5 10 15 20]
#  [10 15 20 25]
#  [15 20 25 30]]

B = np.linalg.eigvals(A)  # 求A的特征值
print(B)
# [ 6.74165739e+01 -7.41657387e+00  1.82694656e-15 -1.72637110e-15]

# 判断是不是所有的特征值都大于0,用到了all函数,显然对称阵A不是正定的
if np.all(B > 0):
    print('Yes')
else:
    print('No')
# No

разложение матрицы

сингулярное разложение

Принцип сингулярного разложения:Разложение по сингулярным числам (SVD) и его приложения

  • u, s, v = numpy.linalg.svd(a, full_matrices=True, compute_uv=True, hermitian=False)сингулярное разложение
    • aявляется матрицей вида (M,N)
    • full_matricesЗначение — False или True, значение по умолчанию — True, затемuРазмер (М, М),vРазмер (N,N). в противном случаеuРазмер (M, K),vРазмер равен (K,N), K=min(M,N).
    • compute_uvЗначение — False или True, а значение по умолчанию — True, что указывает на то, что вычислениеu,s,v. False оценивает толькоs.
    • Всего есть три возвращаемых значенияu,s,v,uРазмер (М,М),sРазмер (M,N),vразмер (N,N),a = u*s*v.
    • вsэто матрицаaсингулярное разложение .sза исключением того, что диагональные элементы не0, все остальные элементы0, а диагональные элементы расположены в порядке убывания.sимеютnЕдиничные значения, обычно расположенные в конце, ближе к 0, поэтому зарезервированы только большие значения.rединственное значение.

Примечание: возвращено в Numpyvявляется так называемым сингулярным разложениемa=u*s*v'серединаvтранспозиция .

【пример 1】

import numpy as np

A = np.array([[4, 11, 14], [8, 7, -2]])
print(A)
# [[ 4 11 14]
#  [ 8  7 -2]]

u, s, vh = np.linalg.svd(A, full_matrices=False)
print(u.shape)  # (2, 2)
print(u)
# [[-0.9486833  -0.31622777]
#  [-0.31622777  0.9486833 ]]

print(s.shape)  # (2,)
print(np.diag(s))
# [[18.97366596  0.        ]
#  [ 0.          9.48683298]]

print(vh.shape)  # (2, 3)
print(vh)
# [[-0.33333333 -0.66666667 -0.66666667]
#  [ 0.66666667  0.33333333 -0.66666667]]

a = np.dot(u, np.diag(s))
a = np.dot(a, vh)
print(a)
# [[ 4. 11. 14.]
#  [ 8.  7. -2.]]

【Пример 2】

import numpy as np

A = np.array([[1, 1], [1, -2], [2, 1]])
print(A)
# [[ 1  1]
#  [ 1 -2]
#  [ 2  1]]

u, s, vh = np.linalg.svd(A, full_matrices=False)
print(u.shape)  # (3, 2)
print(u)
# [[-5.34522484e-01 -1.11022302e-16]
#  [ 2.67261242e-01 -9.48683298e-01]
#  [-8.01783726e-01 -3.16227766e-01]]

print(s.shape)  # (2,)
print(np.diag(s))
# [[2.64575131 0.        ]
#  [0.         2.23606798]]

print(vh.shape)  # (2, 2)
print(vh)
# [[-0.70710678 -0.70710678]
#  [-0.70710678  0.70710678]]

a = np.dot(u, np.diag(s))
a = np.dot(a, vh)
print(a)
# [[ 1.  1.]
#  [ 1. -2.]
#  [ 2.  1.]]

QR-разложение

  • q,r = numpy.linalg.qr(a, mode='reduced')Вычислительная матрицаaQR-разложение .
    • aпредставляет собой (M, N)-матрицу, подлежащую разложению.
    • mode = reduced: возвращает матрицу, в которой векторы-столбцы (M, N) ортогональны друг другу.q, и треугольная матрица (N, N)r(Уменьшенное QR-разложение).
    • mode = complete: возвращает ортогональную матрицу (M, M)q, и треугольная матрица (M, N)r(Полная QR-декомпозиция).

【пример 1】

import numpy as np

A = np.array([[2, -2, 3], [1, 1, 1], [1, 3, -1]])
print(A)
# [[ 2 -2  3]
#  [ 1  1  1]
#  [ 1  3 -1]]

q, r = np.linalg.qr(A)
print(q.shape)  # (3, 3)
print(q)
# [[-0.81649658  0.53452248  0.21821789]
#  [-0.40824829 -0.26726124 -0.87287156]
#  [-0.40824829 -0.80178373  0.43643578]]

print(r.shape)  # (3, 3)
print(r)
# [[-2.44948974  0.         -2.44948974]
#  [ 0.         -3.74165739  2.13808994]
#  [ 0.          0.         -0.65465367]]

print(np.dot(q, r))
# [[ 2. -2.  3.]
#  [ 1.  1.  1.]
#  [ 1.  3. -1.]]

a = np.allclose(np.dot(q.T, q), np.eye(3))
print(a)  # True

【Пример 2】

import numpy as np

A = np.array([[1, 1], [1, -2], [2, 1]])
print(A)
# [[ 1  1]
#  [ 1 -2]
#  [ 2  1]]

q, r = np.linalg.qr(A, mode='complete')
print(q.shape)  # (3, 3)
print(q)
# [[-0.40824829  0.34503278 -0.84515425]
#  [-0.40824829 -0.89708523 -0.16903085]
#  [-0.81649658  0.27602622  0.50709255]]

print(r.shape)  # (3, 2)
print(r)
# [[-2.44948974 -0.40824829]
#  [ 0.          2.41522946]
#  [ 0.          0.        ]]

print(np.dot(q, r))
# [[ 1.  1.]
#  [ 1. -2.]
#  [ 2.  1.]]

a = np.allclose(np.dot(q, q.T), np.eye(3))
print(a)  # True

【Пример 3】

import numpy as np

A = np.array([[1, 1], [1, -2], [2, 1]])
print(A)
# [[ 1  1]
#  [ 1 -2]
#  [ 2  1]]

q, r = np.linalg.qr(A)
print(q.shape)  # (3, 2)
print(q)
# [[-0.40824829  0.34503278]
#  [-0.40824829 -0.89708523]
#  [-0.81649658  0.27602622]]

print(r.shape)  # (2, 2)
print(r)
# [[-2.44948974 -0.40824829]
#  [ 0.          2.41522946]]

print(np.dot(q, r))
# [[ 1.  1.]
#  [ 1. -2.]
#  [ 2.  1.]]

a = np.allclose(np.dot(q.T, q), np.eye(2))
print(a)  # True   (说明q为正交矩阵)

разложение Холецкого

  • L = numpy.linalg.cholesky(a)Возвращает положительно определенную матрицуaРазложение Холецкогоa = L*L.TLэто нижний треугольник.

【пример 1】

import numpy as np

A = np.array([[1, 1, 1, 1], [1, 3, 3, 3],
              [1, 3, 5, 5], [1, 3, 5, 7]])
print(A)
# [[1 1 1 1]
#  [1 3 3 3]
#  [1 3 5 5]
#  [1 3 5 7]]

print(np.linalg.eigvals(A))
# [13.13707118  1.6199144   0.51978306  0.72323135]

L = np.linalg.cholesky(A)
print(L)
# [[1.         0.         0.         0.        ]
#  [1.         1.41421356 0.         0.        ]
#  [1.         1.41421356 1.41421356 0.        ]
#  [1.         1.41421356 1.41421356 1.41421356]]

print(np.dot(L, L.T))
# [[1. 1. 1. 1.]
#  [1. 3. 3. 3.]
#  [1. 3. 5. 5.]
#  [1. 3. 5. 7.]]

Нормы и другие цифры

норма матрицы

  • numpy.linalg.norm(x, ord=None, axis=None, keepdims=False)Вычислите норму вектора или матрицы.

в соответствии сordРазные параметры рассчитывают разные нормы:

[Пример 1] Найдите норму вектора.

import numpy as np

x = np.array([1, 2, 3, 4])

print(np.linalg.norm(x, ord=1)) 
# 10.0
print(np.sum(np.abs(x)))  
# 10

print(np.linalg.norm(x, ord=2))  
# 5.477225575051661
print(np.sum(np.abs(x) ** 2) ** 0.5)  
# 5.477225575051661

print(np.linalg.norm(x, ord=-np.inf))  
# 1.0
print(np.min(np.abs(x)))  
# 1

print(np.linalg.norm(x, ord=np.inf))  
# 4.0
print(np.max(np.abs(x)))  
# 4

[Пример 2] Найдите норму матрицы

import numpy as np

A = np.array([[1, 2, 3, 4], [2, 3, 5, 8],
              [1, 3, 5, 7], [3, 4, 7, 11]])

print(A)
# [[ 1  2  3  4]
#  [ 2  3  5  8]
#  [ 1  3  5  7]
#  [ 3  4  7 11]]

print(np.linalg.norm(A, ord=1))  # 30.0
print(np.max(np.sum(A, axis=0)))  # 30

print(np.linalg.norm(A, ord=2))  
# 20.24345358700576
print(np.max(np.linalg.svd(A, compute_uv=False)))  
# 20.24345358700576

print(np.linalg.norm(A, ord=np.inf))  # 25.0
print(np.max(np.sum(A, axis=1)))  # 25

print(np.linalg.norm(A, ord='fro'))  
# 20.273134932713294
print(np.sqrt(np.trace(np.dot(A.T, A))))  
# 20.273134932713294

Определитель квадратной матрицы

  • numpy.linalg.det(a)Вычислите определитель.

[Пример] Вычислить определитель.

import numpy as np

x = np.array([[1, 2], [3, 4]])
print(x)
# [[1 2]
#  [3 4]]

print(np.linalg.det(x))
# -2.0000000000000004

Ранг матрицы

  • numpy.linalg.matrix_rank(M, tol=None, hermitian=False)Возвращает ранг матрицы.

[Пример] Вычислить ранг матрицы.

import numpy as np

I = np.eye(3)  # 先创建一个单位阵
print(I)
# [[1. 0. 0.]
#  [0. 1. 0.]
#  [0. 0. 1.]]

r = np.linalg.matrix_rank(I)
print(r)  # 3

I[1, 1] = 0  # 将该元素置为0
print(I)
# [[1. 0. 0.]
#  [0. 0. 0.]
#  [0. 0. 1.]]

r = np.linalg.matrix_rank(I)  # 此时秩变成2
print(r)  # 2

след матрицы

  • numpy.trace(a, offset=0, axis1=0, axis2=1, dtype=None, out=None)След квадратной матрицы представляет собой сумму элементов главной диагонали.

[Пример] Вычислить след квадратной матрицы.

import numpy as np

x = np.array([[1, 2, 3], [3, 4, 5], [6, 7, 8]])
print(x)
# [[1 2 3]
#  [3 4 5]
#  [6 7 8]]

y = np.array([[5, 4, 2], [1, 7, 9], [0, 4, 5]])
print(y)
# [[5 4 2]
#  [1 7 9]
#  [0 4 5]]

print(np.trace(x))  # A的迹等于A.T的迹
# 13
print(np.trace(np.transpose(x)))
# 13

print(np.trace(x + y))  # 和的迹 等于 迹的和
# 30
print(np.trace(x) + np.trace(y))
# 30

Решение уравнений и обратных матриц

обратная матрица

Пусть A будет матрицей порядка n в числовом поле, если существует другая матрица B порядка n в том же числовом поле, такая что:AB=BA=E(E — единичная матрица), то мы называем B обратной матрицей A, а A — обратимой матрицей.

  • numpy.linalg.inv(a)Вычислительная матрицаaОбратная матрица (необходимые и достаточные условия обращения матриц:det(a) != 0,илиaполный ранг).

[Пример] Вычисление обратной матрицы.

import numpy as np

A = np.array([[1, -2, 1], [0, 2, -1], [1, 1, -2]])
print(A)
# [[ 1 -2  1]
#  [ 0  2 -1]
#  [ 1  1 -2]]

# 求A的行列式,不为零则存在逆矩阵
A_det = np.linalg.det(A)  
print(A_det)
# -2.9999999999999996

A_inverse = np.linalg.inv(A)  # 求A的逆矩阵
print(A_inverse)
# [[ 1.00000000e+00  1.00000000e+00 -1.11022302e-16]
#  [ 3.33333333e-01  1.00000000e+00 -3.33333333e-01]
#  [ 6.66666667e-01  1.00000000e+00 -6.66666667e-01]]

x = np.allclose(np.dot(A, A_inverse), np.eye(3))
print(x)  # True
x = np.allclose(np.dot(A_inverse, A), np.eye(3))
print(x)  # True

A_companion = A_inverse * A_det  # 求A的伴随矩阵
print(A_companion)
# [[-3.00000000e+00 -3.00000000e+00  3.33066907e-16]
#  [-1.00000000e+00 -3.00000000e+00  1.00000000e+00]
#  [-2.00000000e+00 -3.00000000e+00  2.00000000e+00]]

Решите систему линейных уравнений

  • numpy.linalg.solve(a, b)Решите системы линейных уравнений или матричных уравнений.

[Пример] Решение линейного матричного уравнения

#  x + 2y +  z = 7
# 2x -  y + 3z = 7
# 3x +  y + 2z =18

import numpy as np

A = np.array([[1, 2, 1], [2, -1, 3], [3, 1, 2]])
b = np.array([7, 7, 18])
x = np.linalg.solve(A, b)
print(x)  # [ 7.  1. -2.]

x = np.linalg.inv(A).dot(b)
print(x)  # [ 7.  1. -2.]

y = np.allclose(np.dot(A, x), b)
print(y)  # True

использованная литература

Использованная литература:Обучение команды сообщества DataWhale