Машинное обучение — Основы — Точность, отзыв, чувствительность, специфичность, точность, FNR, FPR, TPR

алгоритм

Это 10-й день моего участия в августовском испытании обновлений. Узнайте подробности события:Испытание августовского обновления

В этой статье представлены основные значения двухклассовых показателей оценки производительности Precision, Recall, Sensitivity, Specificity, Accuracy, FNR, FPR, TNR, TPR, F1 Score, Balanced F Score в машинном обучении, приведены формулы и конкретные примеры, а также приведены краткий анализ.

основное определение

Метрики оценки результат прогноза
положительный образец отрицательный образец
действительный
состояние		 положительный образец TP FN
отрицательный образец FP TN

Ссылка на конкретное значение и пониманиеМашинное обучение — Основы — TP, FN, FP, TN.

Пример использования

Образец информации

номер образца 1 2 3 4 5 6 7 8 9 10
реальная категория P P P P P P P N N N
> прогноз-1
номер образца 1 2 3 4 5 6 7 8 9 10
категория прогноза P P P N N N N N N N
Метрики оценки TP 3 TN 3 FP 0 FN 4

прогноз-2

номер образца 1 2 3 4 5 6 7 8 9 10
категория прогноза P P N N P P P P N N
Метрики оценки TP 5 TN 2 FP 1 FN 2

Предсказать-3

номер образца 1 2 3 4 5 6 7 8 9 10
категория прогноза P P P P P P P P P P
Метрики оценки TP 7 TN 0 FP 3 FN 0

Precision

переводится как:精确率,查准率.

Значение: Предскажите правильную пропорцию всех положительных образцов:

Precision=TPTP+FPPrecision=\frac{TP}{TP+FP}

Вариант использования прогнозирования Точность:

Precisionпредсказывать1=TPTP+FP=33+0=1Precision_{prediction1}=\frac{TP}{TP+FP}=\frac{3}{3+0}=1
Precisionпредсказывать2=TPTP+FP=55+1≈0.83Precision_{prediction2}=\frac{TP}{TP+FP}=\frac{5}{5+1}\примерно 0,83
Precisionпредсказывать3=TPTP+FP=77+3=0.7Precision_{predict3}=\frac{TP}{TP+FP}=\frac{7}{7+3}=0,7

Можно видеть, что все положительные образцы, оцениваемые по прогнозу 1, верны, поэтому этот прогноз имеет самую высокую точность.

Можно понять, что точность - это доверительная вероятность того, что модель оценивает положительный образец, Чем выше вероятность, тем надежнее положительный образец, оцененный моделью.

FDR (скорость ложного обнаружения)

переводится как:过杀率(工业缺陷). Значение: Отражает долю отрицательных проб в пробах, оцененных детектором как положительные пробы:

FDR=FPTP+FP=1−PrecisionFDR=\frac{FP}{TP+FP}=1-Precision

Вариант использования прогнозирования FA:

FDRпредсказывать1=FPTP+FP=03+0=0FDR_{прогноз 1}=\frac{FP}{TP+FP}=\frac{0}{3+0}=0
FDRпредсказывать2=FPTP+FP=15+1≈0.17FDR_{forecast2}=\frac{FP}{TP+FP}=\frac{1}{5+1}\ приблизительно0,17
FDRпредсказывать3=FPTP+FP=37+3=0.3FDR_{прогноз 3}=\frac{FP}{TP+FP}=\frac{3}{7+3}=0,3

Отзыв / Чувствительность / TPR (истинно положительный показатель)

переводится как:召回率,查全率,敏感性,真正率.

Значение: доля всех положительных образцов, которые были правильно предсказаны, ко всем фактически положительным образцам:

Recall=Sensitivity=TPR=TPTP+FNRecall=Sensitivity=TPR=\frac{TP}{TP+FN}

Прогнозируемый вариант использования Отзыв / Чувствительность / TPR:

Recallпредсказывать1=TPTP+FN=33+4≈0.43Recall_{predict1}=\frac{TP}{TP+FN}=\frac{3}{3+4}\ приблизительно0,43
Recallпредсказывать2=TPTP+FN=55+2≈0.71Recall_{Predict2}=\frac{TP}{TP+FN}=\frac{5}{5+2}\ приблизительно0,71
Recallпредсказывать3=TPTP+FN=77+0=1Recall_{Predict 3}=\frac{TP}{TP+FN}=\frac{7}{7+0}=1

Отзыв и точность рассматриваются с разных точек зрения.Мы не обращаем внимания на модель, чтобы определить, достаточно ли точны положительные образцы, и фокусируемся на доле положительных образцов, выбранных моделью, по отношению ко всем положительным образцам.

Таким образом, простейшая стратегия оценки всех образцов как положительных может обеспечить уровень отзыва 100%, потому что положительные образцы, найденные этой моделью, очень «полные».

Специфичность / TNR (истинно отрицательный показатель)

переводится как:特异度,真负率. Значение: доля всех правильно предсказанных отрицательных выборок по отношению ко всем фактическим отрицательным выборкам:

Specificity=TNR=TNTN+FPSpecificity=TNR=\frac{TN}{TN+FP}

Прогнозирование специфики вариантов использования / TNR:

Specificityпредсказывать1=TNTN+FP=33+0=1Specificity_{prediction1}=\frac{TN}{TN+FP}=\frac{3}{3+0}=1
Specificityпредсказывать2=TNTN+FP=22+1≈0.67Специфичность_{прогноз2}=\frac{TN}{TN+FP}=\frac{2}{2+1}\приблизительно0,67
Specificityпредсказывать3=TNTN+FP=00+3=0Специфика_{прогноз 3}=\frac{TN}{TN+FP}=\frac{0}{0+3}=0

Подобно воспоминанию, он описывает ситуацию на другой стороне.

FPR (ложноположительный показатель)

переводится как:假正率,误检率,虚警概率. Значение: количество отрицательных образцов, которые, по прогнозам, будут ошибочно приняты за положительные образцы, составляет долю всех фактических отрицательных образцов:

FPR=FPFP+TNFPR=\frac{FP}{FP+TN}

Прогнозирование варианта использования FPR:

FPRпредсказывать1=FPFP+TN=00+3=0FPR_{Predict1}=\frac{FP}{FP+TN}=\frac{0}{0+3}=0
FPRпредсказывать2=FPFP+TN=11+2≈0.33FPR_{forecast2}=\frac{FP}{FP+TN}=\frac{1}{1+2}\ приблизительно0,33
FPRпредсказывать3=FPFP+TN=33+0=1FPR_{прогноз 3}=\frac{FP}{FP+TN}=\frac{3}{3+0}=1

FNR (ложноотрицательный показатель)

переводится как:假负率,漏警概率,漏检率. Значение: количество положительных образцов, предсказывающих недоразумение, является долей фактических всех положительных образцов:

FNR=FNFN+TP=1−RecallFNR=\frac{FN}{FN+TP}=1-Recall

Прогнозирование варианта использования FNR:

FNRпредсказывать1=FNFN+TP=44+3≈0.57FNR_{predict1}=\frac{FN}{FN+TP}=\frac{4}{4+3}\ приблизительно0,57
FNRпредсказывать2=FNFN+TP=22+5≈0.29FNR_{прогноз2}=\frac{FN}{FN+TP}=\frac{2}{2+5}\ приблизительно0,29
FNRпредсказывать3=FNFN+TP=00+7=0FNR_{predict3}=\frac{FN}{FN+TP}=\frac{0}{0+7}=0

Accuracy

переводится как:正确率Значение: отношение количества правильно предсказанных выборок к общему количеству выборок во всех экспериментах.

Accuracy=TP+TNTP+FP+TN+FNAccuracy=\frac{TP+TN}{TP+FP+TN+FN}

Вариант использования прогноза Точность:

Accuracyпредсказывать1=TP+TNTP+FP+TN+FN=3+33+0+3+4=0.6Accuracy_{Predict1}=\frac{TP+TN}{TP+FP+TN+FN}=\frac{3+3}{3+0+3+4}=0,6
Accuracyпредсказывать2=TP+TNTP+FP+TN+FN=5+25+1+2+2=0.7Accuracy_{prediction2}=\frac{TP+TN}{TP+FP+TN+FN}=\frac{5+2}{5+1+2+2}=0,7
Accuracyпредсказывать3=TP+TNTP+FP+TN+FN=7+07+3+0+0=0.7Accuracy_{прогноз 3}=\frac{TP+TN}{TP+FP+TN+FN}=\frac{7+0}{7+3+0+0}=0,7

На самом деле существует определенная правильная классификация модели на положительные и отрицательные образцы, а модель 3 использовала только стратегию «все образцы должны быть положительными», а не только самый высокий правильный показатель. проблема, но распределение данных не сбалансировано.

В выборке много положительных выборок, и модель для предсказания 3 успешно предсказывает большинство положительных выборок в данных, поэтому стратегия отличается высокой точностью.

Error Rate

переводится как:错误率Значение: Доля количества выборок с неправильными предсказаниями во всех экспериментах в общем количестве выборок.

Error_Rate=FP+FNTP+FP+TN+FN=1−AccuracyError\_Rate=\frac{FP+FN}{TP+FP+TN+FN}=1-Accuracy

Вариант использования прогноза Точность:

Error_Rateпредсказывать1=FP+FNTP+FP+TN+FN=0+43+0+3+4=0.4Ошибка\_Rate_{Predict1}=\frac{FP+FN}{TP+FP+TN+FN}=\frac{0+4}{3+0+3+4}=0,4
Error_Rateпредсказывать2=FP+FNTP+FP+TN+FN=1+25+1+2+2=0.3Ошибка\_Rate_{прогноз 2}=\frac{FP+FN}{TP+FP+TN+FN}=\frac{1+2}{5+1+2+2}=0,3
Error_Rateпредсказывать3=FP+FNTP+FP+TN+FN=3+07+3+0+0=0.3Ошибка\_Rate_{Прогноз 3}=\frac{FP+FN}{TP+FP+TN+FN}=\frac{3+0}{7+3+0+0}=0,3

F1 Score / Balanced F Score

переводится как:F1 分数 / 平衡F分数Значение: оценка F1 учитывает точность и полноту модели классификации и определяется как среднее гармоническое точности и полноты модели.

F1Score=2×Precision×RecallPrecision+RecallF_1 Score=2\times\frac{Precision\times Recall}{Precision+ Recall}

Прогнозируемый сценарий использования F1 Score:

F1Scoreпредсказывать1=2×Precisionпредсказывать1×Recallпредсказывать1Precisionпредсказывать1+Recallпредсказывать1=2×1×371+37=0.6F_1 Score_{predict1}=2\times\frac{Precision_{predict1}\times Recall_{predict1}}{Precision_{predict1}+ Recall_{predict1}}=2\times\frac{1\times \ frac{3}{ 7}}{1+ \фракция{3}{7}}= 0,6
F1Scoreпредсказывать2=2×Precisionпредсказывать2×Recallпредсказывать2Precisionпредсказывать2+Recallпредсказывать2=2×56×5756+57≈0.77F_1 Score_{predict2}=2\times\frac{Precision_{predict2}\times Recall_{predict2}}{Precision_{predict2} + Recall_{predict2}}=2\times\frac{\frac{5} {6} \ раз \frac{5}{7}}{\frac{5}{6} + \frac{5}{7}}\ приблизительно 0,77
F1Scoreпредсказывать3=2×Precisionпредсказывать3×Recallпредсказывать3Precisionпредсказывать3+Recallпредсказывать3=2×0.7×10.7+1≈0.82F_1 Score_{predict3}=2\times\frac{Precision_{predict3}\times Recall_{predict3}}{Precision_{predict3}+ Recall_{predict3}}=2\times\frac{0,7 \times 1} {0,7 + 1 }\приблизительно 0,82
Категории