основное введение
Кривая ROC Кривая рабочих характеристик приемника
Значение AUC Площадь под кривой (площадь под значением кривой), которая представляет собой площадь под кривой ROC и ограничена осью координат.
Эти два индикатора обычно используются в качестве меры для измерения двух классификаторов.Почему существует этот тестовый индикатор, исходит из мышления двух классификаторов. Если у нас есть 99% вероятность 1 и 1% вероятность 0, то если мы запишем результат как 1 без обработки, мы также можем получить точность 99%, и этот классификатор не дает мне никаких указаний. Видно, что показатель точности (точности) ничего не объясняет.
Вслед за показателем точности показатель производительности бинарного классификатора претерпел ряд улучшений и изменений. Сегодня я хочу представить метод измерения, который используется чаще: ROC-кривая и значение AUC. Но начинать надо с самого примитивного пути.
Показатели производительности классического бинарного классификатора
Давайте вспомним, как люди оценили идею бинарного классификатора, когда она впервые появилась.
Точность и отзыв
Мы составим сетку всех возможных значений бинарного классификатора следующим образом:
некоторые из,
- TP — True Positive (истина, TP) — положительный образец, предсказанный моделью как положительный (исходный положительный прогноз положительный)
- TN — True Negative (истинно отрицательный, TN) — отрицательный образец, предсказанный моделью как отрицательный (исходный отрицательный прогноз отрицательный)
- FP — Ложноположительный (False Positive, FP) отрицательный образец, предсказанный моделью как положительный (исходный отрицательный прогноз положительный)
- FN — False Negative (ложноотрицательный, FN) — положительный образец, предсказанный моделью как отрицательный (исходный положительный прогноз отрицательный)
Мы знаем из физического смысла этих значений: TP+FP +FN+TN = общее количество выборок
Когда уровень точности не работает должным образом, мы адаптируемся к нашим собственным потребностям и учитываем общую производительность классификатора. На данный момент мы можем условно разделить задачи на два типа: точные и полные задачи.
определить проблему, то есть он должен быть точным. Например, выбирая арбузы, лучше пропустить много хороших дынь, но и выбрать те с наибольшей уверенностью, чтобы доля хороших дынь среди выбранных дынь была высокой. Целью оптимизации в задаче точного определения является правильная пропорция прогнозируемых значений.
Проверить все вопросы, то есть он должен быть полным. Например, выбирая арбузы, я скорее выберу кучу плохих дынь, чем попытаюсь собрать все хорошие дыни в полном вагоне дынь. Количество хороших дынь, выбранных таким образом, составляет более высокую долю хороших дынь в исходной машине. Цель оптимизации задачи отзыва состоит в том, чтобы предсказать и максимально покрыть положительные значения фактических значений.
Итак, у нас есть два параметраТочность (точность или аккуратность)иОтзыв (скорость отзыва или скорость отзыва), соответствующие целям оптимизации этих двух задач, соответственно формулы имеют вид:
Если мы внимательно обдумаем эти две формулы, мы обнаружим, что точность — это отношение правильно предсказанных положительных значений ко всем положительным предсказаниям, а полнота — это отношение правильно предсказанных положительных значений ко всем фактическим положительным значениям.
F-1 score
Точность и полнота соответствуют проблеме точности и проблеме полноты соответственно, но часто эти две проблемы нельзя улучшить одновременно, поэтому они очень смещены в сторону обработки реальных сложных задач, поэтому мы вводим оценку F1, чтобы примерно помочь нам решить практические проблемы.
Он использует математический метод смешивания:
здесьPот имениPrecision,Rот имениRecall, а оценка F1, которую мы обычно используем, представляет собой случай a=1 (суффикс F равен 1), что немного похоже на расчет значения сопротивления параллельно, и окончательный полный метод расчета F- 1 балл это:
Семейный портрет индекса производительности
Для того, чтобы облегчить ваше понимание, я объединил эти классические метрики на одном графике для всеобщего обозрения:
ROC-кривая
Вступая в тему, давайте взглянем на сегодняшнее ключевое содержание, эти два показателя.
значение:
Кривая ROC Кривая рабочей характеристики приемника
Это название на самом деле непросто понять, давайте взглянем на эту картинку:
Пример кривой ROC
Это изображение представляет собой кривую ROC. Горизонтальная ось изображения — это значение доли ложных срабатываний (не значение FP), то есть отношение количества фактических отрицательных ошибок и ошибок предсказания к общему отрицательному значению; вертикальная ось изображения — доля истинных положительных результатов. значение (не значение TP), также это отношение количества положительных значений, которые на самом деле являются положительными и правильно предсказанными, к общему количеству положительных значений. Формула выглядит следующим образом:
Значения FP, TP, N и P относятся к таблице выше.
Давайте посмотрим на «четыре точки и одну линию» на кривой ROC.
- Первая точка (0,1) — это FPR=0, TPR=1, что означает FN (ложноотрицательный результат)=0 и FP (ложноположительный результат)=0. Это идеальный классификатор, который правильно классифицирует все образцы.
- Аналогичным образом можно проанализировать вторую точку (1,0), т. е. FPR=1, TPR=0, чтобы обнаружить, что это худший классификатор, поскольку он успешно избегает всех правильных ответов.
- Третья точка, (0,0), то есть FPR=TPR=0, то есть FP (ложноположительный результат)=TP (истинный положительный результат)=0, можно обнаружить, что классификатор предсказывает, что все образцы являются отрицательными образцами. (отрицательный).
- В четвертой точке (1,1) классификатор фактически предсказывает, что все образцы положительны.
Для кривой ROC мы можем понять это так. Для задачи двух классов каждая точка кривой представляет собой порог, и классификатор дает каждой выборке оценку. Если оценка больше порога, мы рассматриваем ее как положительный образец, и если он меньше порога, мы рассматриваем его как отрицательный образец.
Возьмите пример на картинке
На приведенном выше графике кривой ROC мы берем случайную точку, например (0,5, 0,7), тогда это означает, что когда классификатор FP / N = 0,5, фактическое значение отрицательное, и мой прогноз неверен. составляет 0,5 от общего фактического отрицательного количества. Это предложение кажется полным.На самом деле показатель точности прогнозирования для отрицательных значений составляет 1-0,5=0,5, а TP/P=0,7.Точно так же показатель точности прогнозирования для положительных значений составляет 0,7. Следовательно, каждая точка на ROC-кривой представляет собой набор тестовых данных для точности предсказания положительных и отрицательных значений.
Некоторые свойства кривой ROC
(свойство 1) Если кривая ROC учащегося A полностью покрывает кривую другого учащегося B, то производительность A должна быть лучше, чем у B. В противном случае, если две кривые пересекаются, разумно думать, что кривая ROC ближе к верхний левый угол, То есть, чем больше значение AUC, тем выше производительность всего классификатора.
С приведенным выше основанием это предложение легко понять.
Каждая точка на кривой ROC представляет собой отдельное рассмотрение точности прогнозирования для положительных и отрицательных значений в этом наборе тестов. Если кривая ROC A полностью покрывает B, она будет такой, как показано на следующем рисунке:
Сплошная линия на этом рисунке полностью окружает пунктирную линию.Посмотрим, что для любой точки сплошной линии мы следуем черной линии, то есть в случае одинаковой отрицательной точности прогноза, положительный прогноз черной точки правильная скорость выше, чем красная точка. А по красной линии, то есть когда правильная скорость предсказания равна положительному значению, мы будем знать, что скорость FP черной точки меньше, чем у синей точки. Мы знаем, что показатель точности отрицательного предсказания = 1-скорость FP, поэтому показатель точности отрицательного предсказания черных точек выше, чем у синих точек. Таким образом, сплошная линия работает лучше, чем пунктирная, независимо от положительных или отрицательных значений.
А для не полностью завернутого, например вот этого:
Затем мы должны рассмотреть предпочтение этого параметра в реальной ситуации, но обычно мы рассматриваем область, заключенную в ROC, то есть значение AUC. Какое значение AUC больше, какой бы классификатор ни был хорош.
(природа 2) при значении AUC равном 0,5 можно считать, что классификатор не работает. Когда AUC меньше 0,5, реальная ситуация практически не проявляется, что не соответствует реальной ситуации.
Это также легко понять, потому что, когда значение AUC равно 0,5, мы можем в основном рассматривать этот двоичный классификатор как случайный классификатор. С точки зрения непрофессионала, эффект от подбрасывания монеты такой же, поэтому он не имеет никакого эффекта. Если он меньше 0,5, лучше подбросить монетку, а реальная ситуация встречается редко.
значение AUC
Значение AUC Area Under Curve (площадь под кривой), которая представляет собой площадь, ограниченную осью координат под кривой ROC.
Мы можем легко видеть, что AUC на самом деле является интегралом кривой ROC, но это не интуитивно и не может быть понято перцептивно.На самом деле, AUC имеет физический смысл. AUC относится к возможности того, что при случайных положительных выборках и отрицательных выборках вероятность положительной выборки, выводимой классификатором, больше, чем вероятность отрицательной выборки, выводимой классификатором.
Я увидел очень интересную эмоциональную реализацию на Чжиху:
Это фактическая формула расчета AUC.
Напишите в конце:
Единицей всех значений здесь является Score, а не вероятность, но для удобства всеобщего понимания вместо этого я буду использовать вероятность. В моем поверхностном познании я еще не нашел проблем, надеюсь, каждый сможет посмотреть на эту проблему со строгой точки зрения.
Справочный каталог:
Чжоу Чжихуа — «Машинное обучение», январь 2016 г., 1-е издание.
Зная вопрос «Как понимать auc в машинном обучении и статистике? 》@小小秋:Ууху. Call.com/question/39…
Знайте вопрос «Каковы преимущества и недостатки коэффициента точности, коэффициента отзыва, значения F1, ROC и AUC? ":Ууху. Call.com/question/30…