Что такое норма?
Мы знаем, что определение расстояния — это широкое понятие, поскольку оно удовлетворяет неотрицательному, рефлексивному и треугольному неравенству, его можно назвать расстоянием. Норма — это расширенное понятие расстояния, которое определяет алгоритм умножения в большей степени, чем расстояние. Иногда для простоты понимания мы можем понимать норму как расстояние.
Математически норма включает норму вектора и норму матрицы.Норма вектора представляет величину вектора в векторном пространстве, а норма матрицы представляет собой величину изменения, вызванного матрицей. Нестрогое объяснение состоит в том, что соответствующий векторной норме вектор в векторном пространстве имеет размер.Как измерить размер измеряется нормой.Для измерения размера могут использоваться разные нормы, так же как и метры и футы могут измерять расстояние и расстояние; для матричной нормы, изучив линейную алгебру, мы знаем, что оперируя A X=B , вектор X можно изменить на B, а норма матрицы измеряет величину этого изменения.
Вот краткое введение в определения и значения следующих векторных норм.
1. Л-П норма
Как и определение расстояния Минковского, норма LP - это не норма, а набор норм, определяемый следующим образом:
L p = ∑ 1 n Икс p я - -- - √ p , x = (x 1 ,x 2 ,⋯ ,x n )
В соответствии с изменением P норма также имеет разные изменения.Классическая диаграмма изменения нормы P выглядит следующим образом:
На приведенном выше рисунке показано изменение графика, состоящего из точек, расстояние (норма) которых от начала координат в трехмерном пространстве равно 1, когда p изменяется от бесконечности до 0. Взяв в качестве примера общую норму L-2 (p = 2), нормой в это время также является евклидово расстояние, а точка в пространстве, евклидово расстояние которой до начала координат равно 1, составляет сферу.
На самом деле в 0 При ≤ p
2. L0 норма
Когда P = 0, это норма L0.Как видно из вышеизложенного, норма L0 не является реальной нормой, она в основном используется для измерения количества ненулевых элементов в векторе. Определение L-0, которое можно получить, используя приведенное выше определение LP, таково:
||x||=∑ 1 n x 0 i − −− − √ 0 , x= (x 1 ,x 2 ,⋯ ,x n )
Вот небольшая проблема. Мы знаем, что нулевая степень ненулевых элементов равна 1, но нулевая степень нуля и нулевая степень ненулевых чисел - все это призраки. Очень трудно объяснить смысл L0, поэтому при нормальных обстоятельствах все используют:
||х||0=# ( я | Икс я ≠ 0 )
вектор представления Количество ненулевых элементов в x.
Для нормы L0 задача оптимизации такова:
m in| | x| | 0
s.t. Ax=b
В практических приложениях, поскольку сама норма L0 не имеет хорошего математического представления, сложно дать формальное представление вышеуказанной проблемы, поэтому она считается NP-трудной задачей. Так что на практике задача оптимизации L0 будет упрощена до оптимизации под L1 или L2.
3. L1 норма
Норма L1 — это норма, которую мы часто видим, и ее определение выглядит следующим образом:
||х||1 =∑ я |х я |
вектор представления Сумма абсолютных значений ненулевых элементов в x.
У нормы L1 много названий, таких как знакомое манхэттенское расстояние, минимальная абсолютная ошибка и т. д. Используйте норму L1 для измерения разницы между двумя векторами, например суммы абсолютной разницы:
S AD (x 1 , x 2 ) = ∑ я | Икс 1 я - Икс 2 я |
Для нормы L1 задача ее оптимизации выглядит следующим образом:
m in| | x| | 1
s .t. Ax= b
Из-за естественной природы нормы L1 решение, оптимизированное для L1, является разреженным решением, поэтому норма L1 также называется оператором разреженного правила. Через L1 может быть достигнута разреженность признаков, а некоторые признаки без информации могут быть удалены.Например, при классификации увлечений пользователя фильмами у пользователя есть 100 признаков, а для классификации могут быть полезны только дюжина признаков.Большинство признаков, таких как как рост, вес и т. д. могут быть бесполезны и могут быть отфильтрованы с помощью нормы L1.
4. L2 норма
Норма L2 является нашей наиболее распространенной и часто используемой нормой Евклидово расстояние, наиболее часто используемая мера, является нормой L2, которая определяется следующим образом:
| | х | | 2 = ∑ i x 2 i − −− −− √
Представляет квадрат суммы элементов вектора, а затем возводится в квадрат.
Как и норма L1, L2 также может измерять разницу между двумя векторами, например, сумму квадратов разницы:
S SD(x 1 ,x 2 )=∑ i (x 1 i −x 2 i ) 2
Для нормы L2 задача ее оптимизации выглядит следующим образом:
m in| | x| | 2
s .t. Ax= b
Норма L2 обычно используется в качестве члена регуляризации для целевой функции оптимизации, что предотвращает слишком сложную модель для соответствия обучающему набору и вызывает переоснащение, тем самым улучшая способность модели к обобщению.
5. L-∞ норма
Когда Р=
∞, т. е. L-
∞ норма, которая в основном используется для измерения максимального значения элементов вектора. L можно получить, используя приведенное выше определение LP.
∞ определяется как:
||x||∞ =∑ 1 n x ∞ i − −− −− √ ∞ , x= (x 1 ,x 2 ,⋯ ,x n )
Как и L0, в обычных условиях все используют:
| | х | | ∞ = т ах(| х i | )
Представлять Л ∞