Перезагрузка Основы машинного обучения — Нормы

"Это второй день моего участия в ноябрьском испытании обновлений, ознакомьтесь с подробностями события:Вызов последнего обновления 2021 г."

На самом деле норма появляется в задачах регуляризации и кластеризации KNN, поэтому я хочу поговорить о том, что такое норма, и надеюсь, что следующий контент поможет вам понять норму.

норма

Иногда для простоты понимания норму можно понимать как расстояние. Однако норма является расширенным понятием расстояния, и норма определяется дополнительным алгоритмом умножения, чем расстояние.

Важность нормы в машинном обучении

Проблемы распознавания образов машинного обучения обычно существуют в евклидовом пространстве, поэтому, что такое евклидово пространство, в евклидовом пространстве мы измеряем взаимосвязь между векторами, может быть расстоянием. Мы знаем, что определение расстояния — это широкое понятие, поскольку оно удовлетворяет неотрицательному, рефлексивному и треугольному неравенству, его можно назвать расстоянием. Эти условия вынуждают нашу задачу находиться в евклидовом пространстве.

Существует также норма, которая является величиной, описывающей размер вектора. Вектор здесь отличается от вектора, который мы изучаем в физике. Он просто понимается как нечто, представленное набором чисел. В машинном обучении высоко- размерные данные представлены вектором.

屏幕快照 2021-11-02 下午2.50.01.png Как показано выше Предположим, у нас есть вектор $v_1(4,3)$ Вычислив его норму l2, которая является евклидовым расстоянием $\sqrt{4^2 + 3^2} = 5$ за $v_2(-1,1)$ Его евклидово расстояние равно $\sqrt{(-1)^2 + (1)^2} = 2$

за $v_1$ и $v_2$ l1 норма этого $|4| + |3| = 7$ и $|-1| + |1| = 2$

屏幕快照 2021-11-02 下午3.00.39.png

На приведенном выше рисунке верхний левый рисунок — это график, образованный всеми точками с l1 нормой 1, то есть точки на оранжевой линии — это все точки с нормой 1, а верхний средний рисунок образован l2 точками с нормой 1. изображение, представляющее собой круг. когда $l_{\infty}$ Точки, образованные нормой 1, образуют квадрат, который постепенно увеличивается от l2, а график, соответствующий норме 1, постепенно приближается к квадрату из окружности, а норма является общим выражением.

l_p = (\sum_{i=1}^k |x_i|^p)^{\frac{1}{p}}

l1 норма

||x||_1 = |x_1| + |x_2| + \cdots + |x_k|

l2 норма

||x||_1 = \sqrt{ |x_1|^2 + |x_2|^2 + \cdots + |x_k|^2}