Резюме функции потерь Loss (точная версия)

глубокое обучение

содержание

Роль функции потери потерь

Сравнение потери функции потерь и точности

Потеря в задаче регрессии в основном включает

Роль функции потери потерь

  • функция потерьиспользуется для оценки моделиПредполагаемая стоимостьиреальная стоимостьВ другой степени, когда модель обучения глубокого обучения предназначена для вычисления функции потерь, обновляйте параметры модели, тем самым уменьшая ошибку оптимизации, пока значение функции потерь не упадет до целевого значения или не достигнет времени обучения.
  • Функции потерь, используемые в разных моделях, обычно различаются. Чем лучше задана функция потерь, тем выше производительность модели в целом.
  • Функция потерь может быть настроена

Сравнение потери функции потерь и точности

  • В задачах классификации степень точности более интуитивна и интерпретируема; для задач регрессии точность недоступна, можно использовать только потери
  • Коэффициент точности не дифференцируем и не может быть напрямую использован для обучения сети, в то время как алгоритм обратного распространения требует, чтобы функция потерь была дифференцируемой.
  • Потеря функции потерь дифференцируема, градиент может быть рассчитан, а параметры могут быть обновлены с использованием обратного распространения.

Потеря в задаче регрессии в основном включает

  • среднеквадратическая ошибка (MSE): MSE представляет собой сумму квадратов разницы между прогнозируемым значением и целевым значением, а затем усредняется

  • Норма L2: потеря L2 представляет собой квадрат суммы разницы между прогнозируемым значением и целевым значением, а затем возводит ее в квадрат, а L2 представляет собой евклидово расстояние.

  • И MSE, и L2 имеют одинаковый тренд кривой. Разница в том, что один для среднего np.mean(), а другой для более квадратного np.sqrt()

Код tensorflow и keras отражает:

#tensorflow

tf.losses.mean_squared_error(
    labels,
    predictions,
    weights=1.0,
    scope=None,
    loss_collection=tf.GraphKeys.LOSSES,
    reduction=Reduction.SUM_BY_NONZERO_WEIGHTS
)
tf.metrics.mean_squared_error(
    labels,
    predictions,
    weights=None,
    metrics_collections=None,
    updates_collections=None,
    name=None
)


#keras

mean_squared_error(y_true, y_pred)
  • Средняя абсолютная ошибка означает абсолютную ошибку (MAE): MAE представляет собой абсолютное значение разницы между прогнозируемым значением и целевым значением, а затем усредняет

  • Норма L1: L1 представляет абсолютное значение разницы между прогнозируемым значением и целевым значением, L1 также называется манхэттенским расстоянием.

Разница между MAE и L1 заключается в том, что один находит среднее значение np.mean(), а другой не находит np.sum(). Тренд двух кривых абсолютно одинаков.

  • Код tensorflow и keras отражает:
#tensorflow
tf.metrics.mean_absolute_error(
    labels,
    predictions,
    weights=None,
    metrics_collections=None,
    updates_collections=None,
    name=None
)

#keras
mean_absolute_error(y_true, y_pred)
  • Сравнение MSE, MAE:

Потеря MAE более устойчива к выбросам, но ее разрывная производная делает процесс поиска оптимального решения неэффективным; потеря MSE чувствительна к выбросам, но более стабильна и точна в процессе оптимизации.

  • Другие доступные ссылки на функции потерь:

zhuanlan.zhihu.com/p/58883095

Дополнительные знания

средняя абсолютная ошибка MAE (mean absolute error) и среднеквадратической ошибки RMSE (root mean squared error) — это два наиболее часто используемых показателя для измерения точности переменных, а также две важные шкалы для оценки моделей в машинном обучении.

1. Определения

средняя абсолютная ошибка MAE (mean absolute error) является средним значением абсолютных ошибок, которое на самом деле является более общей формой среднего значения ошибок.

å¨è¿éæå¥å¾çæè¿°илиå¨è¿éæå¥å¾çæè¿°

Среднеквадратическая ошибка RMSE (root mean squared error), также известен какRMSD, также измеряет средний размер ошибки, который представляет собой квадратный корень из среднего квадрата разницы между прогнозируемым значением и фактическим наблюдением.

å¨è¿éæå¥å¾çæè¿°илиå¨è¿éæå¥å¾çæè¿°

 

2. Сравните

На среднеквадратичную ошибку, RMSE, больше влияют выбросы.

3. Применение

Когда мы имеем дело с большими наборами данных, мы не можем проверить каждое значение, чтобы узнать, есть ли один или несколько выбросов, или все ошибки систематически выше.

Решение. Соотношение MAE и RMSE может помочь нам понять, есть ли более крупные, но менее распространенные ошибки.

 

Использованная литература:

【1】zhuanlan.zhihu.com/p/58883095

【2】blog.csdn.net/u014421797/...

【3】blog.CSDN.net/QQ_14845119…

【4】blog.CSDN.net/Nanhuai приготовь ах...

 

 

Категории