Обычно каждый алгоритм в машинном обучении имеет целевую функцию, и процесс решения алгоритма представляет собой процесс оптимизации этой целевой функции. В задачах классификации или регрессии в качестве целевой функции обычно используется функция потерь (функция стоимости). Функция потерь используется для оценки степени, в которой прогнозируемое значение модели отличается от фактического значения.Чем лучше функция потерь, тем лучше производительность модели. В разных алгоритмах используются разные функции потерь. Функция потерь делится на функцию потерь эмпирического риска и функцию потерь структурного риска. Функция потерь от эмпирического риска относится к разнице между прогнозируемыми результатами и фактическими результатами, а функция потерь от структурного риска относится к функции потерь от эмпирического риска плюс обычный член. Обычно выражается следующим образом:
Есть пять распространенных ошибок потери:
- Потеря шарнира: в основном используется в машинах опорных векторов (SVM);
- Cross Entropy Loss (Cross Entropy Loss, Softmax Loss): используется в логистической регрессии и классификации Softmax;
- Квадратные потери: в основном методом наименьших квадратов (МНК);
- Экспоненциальные потери: в основном используется в алгоритме обучения ансамбля Adaboost;
- Другие потери (например, потеря 0-1, потеря абсолютного значения)
1.0-1 функция потери и функция потери абсолютного значения
2.log функция логарифмических потерь, Softmax Loss
Функция потерь логистической регрессии является логарифмической функцией потерь, При выводе логистической регрессии предполагается, что образец подчиняется распределению Бернулли (0-1), а затем получает функцию правдоподобия, которая удовлетворяет распределению, а затем использует логарифмический экстремумы. Логистическая регрессия не ищет максимальное значение функции логарифмического правдоподобия, а рассматривает максимизацию как идею, а затем выводит свою функцию риска как минимизированную отрицательную функцию правдоподобия. С точки зрения функции потерь она становится функцией логарифмических потерь. Стандартная форма функции потерь журнала:
При оценке максимального правдоподобия обычно сначала берется логарифм, затем находится производная, а затем находится точка экстремума, что удобно для вычисления оценки максимального правдоподобия. Функция потерь L(Y,P(Y|X)) относится к выборке X в случае классификации Y, так что вероятность P(Y|X) достигает максимального значения (используя известное распределение выборки, находя максимальное вероятность приводит к этому значению параметра распределения)
3. Квадратичная функция потерь
Метод наименьших квадратов — это метод линейной регрессии, который превращает проблему регрессии в проблему выпуклой оптимизации. Основной принцип метода наименьших квадратов: наилучшая кривая должна минимизировать сумму расстояний от всех точек до линии регрессии. Евклидово расстояние обычно используется для измерения расстояния. Функция потерь для квадрата потерь: