Эта статья возникла из личного публичного аккаунта:TechFlow, оригинальность это не просто, прошу внимания
СегодняДокумент 18 по темам машинного обученияВ этой статье давайте рассмотрим несколько других метрик, которые очень важны в области машинного обучения.
матрица путаницы
В предыдущей статье, прежде чем мы ввели понятия полноты и точности, мы сначала говорили оТП, ФП, ФН и ФПэти значения. Давайте еще раз кратко повторим, мы не можем запоминать эти показатели наизусть, иначе легко ошибиться, легко запутаться. Нам нужно начать с английского, чтобы понять, где T означает true, что можно понять какправильный прогноз, F означает ложь, т.е.ошибка предсказания. А Р и Н представляют положительное и отрицательное, то есть инь и янь, или 0 и 1, то есть две разные категории.
Поскольку есть две категории, очевидно, что наши индикаторы нацелены на сцену с двумя категориями, которая также является наиболее распространенной сценой в машинном обучении.
По сути, матрица путаницы заключается в отображении этих четырех значений в виде таблицы, в которой нам удобно наблюдать за результатами для анализа.
Возьмем пример:
Предполагая, что матрица путаницы результатов прогнозирования определенной модели подобна этой, мы можем легко проанализировать данные, показанные выше, мыОшибка предсказания в основном возникает в 49-м квадрате., то есть ложноотрицательные. То есть модель предсказывает большое количество положительных образцов как отрицательные, указывая на то, что порог модели установлен слишком высоко.Мы можем попытаться уменьшить порог, чтобы улучшить отзыв.
И наоборот, если имеется слишком много ложноположительных образцов, порог модели слишком низок, и прогнозируется, что большое количество отрицательных образцов будут положительными. Если мы хотим улучшить эффект модели, мы можем рассмотреть возможность увеличения порога классификации модели.
ТотЧто делать, если есть много ложных срабатываний и ложных отрицательных результатов?
Есть также много случаев этого, как правило, из-за моделине полностью сходится, либо модель недостаточно мощная. Например, слишком много функций, и многие скрытые сведения в функциях нельзя узнать. В настоящее время вы можете рассмотреть возможность использования более сложной модели, такой как нейронная сеть, или более мощной модели, такой как XGboost. Если сама модель достаточно сложна, то, возможно,Недостаточно образцов во время обучения, возможности модели не могут быть реализованы в полной мере. В настоящее время вы можете рассмотреть возможность добавления некоторых образцов.
Поняв концепцию и цель матрицы путаницы, мы можем более подробно рассмотреть ROC.
ROC
РПЦ на английском этоreceiver operating characteristic curve, что переводится как кривая рабочих характеристик приемника, концепция, перенесенная из дисциплины систем сигнализации. Честно говоря, я мало что знаю о сигнальных системах и не совсем понимаю, что это значит, но в машинном обучении это кривая, отражающая TPR и FPR.
Отметьте ключевые моменты,TPR и FPR и кривые. TRP здесь - это истинно положительный показатель, который является истинно положительным показателем, а FPR здесь - это ложноположительный показатель.
Так называемая истинная положительная скорость — это скорость отзыва, котораяДоля всех положительных образцов, которые мы предсказали быть положительными.
FPR - это, естественно, False Positive Rate, то есть ложноположительный уровень,Доля всех отрицательных образцов, предсказанных как положительные. Знаменатель, очевидно, равен FP, а числитель равен FP + TN.
яРекомендуется, чтобы вы не понимали TPR как отзыв, хотя это действительно отзыв, но если вы запомните его как отзыв, это увеличит стоимость памяти. Легче записывать горизонтальную и вертикальную оси как FPR и TPR.
Таким образом, кривая ROC представляет собой кривую с горизонтальной осью, являющейся FPR, и вертикальной осью, являющейся TPR, что, вероятно, является следующим.
AUC
Как только вы поймете ROC, AUC станет простым. Поскольку AUC полностью происходит от ROC, его английский языкArea under curve, что является площадью кривой на кривой ROC.
Итак, как рассчитывается этот ROC?
Давайте возьмем пример, предположим, что теперь у нас есть ряд прогнозов:
Перечислим матрицу путаницы для этой модели:
Подставим FPR и TPR, получим, что TPR равен 3/(3+2)=0,6, а соответствующий FPR равен 1/(1+4)=0,2.
Подставляем эту точку на ROC-кривую, можем получить:
Вроде бы так и есть, но все равно как-то странно,Это не похоже на кривую. Это связано с тем, что результат, предсказанный нашей моделью, напрямую принимает значение 01. Для некоторых жестких классификаторов, таких как SVM и байесовский, 0 равен 0, а 1 равен 1. Мы получаем такой линейный график. Но если это какой-то мягкий классификатор, который делит результаты в соответствии с порогом, например LR, GBDT и т. д., то мы получаем значение с плавающей запятой, мы получим разные результаты, регулируя порог, и это будет больше похоже на кривая.
Мы также используем образец только что в качестве примера:
На этот раз результатом является значение с плавающей запятой, и результат другой. Поскольку результат прогнозирования представляет собой значение с плавающей запятой, мыУстановка разных пороговых значений приведет к разным матрицам путаницы..
Например, если мы установим порог равным 0,5, результирующая матрица путаницы будет выглядеть следующим образом:
Рассчитанные таким образом TPR и FPR составляют 0,8 и 0,4 соответственно. Если мы еще больше ослабим порог, мы сможем улучшить отзыв, то есть увеличить TPR, но в то же время увеличится и FPR. Например, если мы ослабим порог до 0,2, мы сможем идентифицировать все положительные примеры, но опять же FPR повысится:
Результат, рассчитанный по приведенной выше матрице путаницы, равен 1,0 для TPR и 0,6 для FPR. То есть мыВыбор разных порогов приведет к разным значениям TPR и FPR.. Если выборка небольшая, нарисованный ROC может бытьЗубчатый:
Когда количество выборок будет достаточно большим, пилообразный станет более гладким и более гладким Мы можем использовать некоторые методы сглаживания, чтобы получить относительно гладкую кривую, которая становится картинкой выше:
Глубокое понимание
Теперь мы разобрались с концепцией AUC, которая представляет собой площадь графика, заключенную в ROC-кривую. И каждая точка на кривой ROC — это точка, рассчитанная по разным порогам.
Давайте объединим изображение AUC и приведенный выше пример, чтобы глубже понять эту концепцию.Для кривой AUC мы находим, что этоМонотонно возрастающийиз. Другими словами, чем больше FPR, тем больше соответствующий TPR. Это более интуитивно понятно, потому чтоЧем больше FPR, тем больше выборок мы предсказали как положительные примеры, поэтому, очевидно, тем больше TPR.. Другими словами, чем больше положительных образцов мы вспоминаем, тем больше пропорция.
Когда FPR=1, TPR также равен 1, что указывает на то, что мы предсказали все образцы как положительные примеры. Очевидно, что в этом случае все положительные примеры предсказываются правильно, и TPR, естественно, равен 1. Посмотрим на другую крайнюю точку, то есть на точку, где FPR равен 0.
FPR, равный 0, указывает, что частота ложноотрицательных результатов равна 0, то есть отрицательные выборки не предсказываются неправильно, что означает, что количество выборок, предсказанных моделью как положительные выборки, очень мало. Следовательно, чем выше TPR, соответствующий точке FPR, тем лучше эффект модели.
После того, как мы поймем концепцию AUC, мы неизбежно зададимся вопросом, что представляет собой значение AUC и какие результаты оно может отражать?
Давайте посмотрим на картинку ниже:
Площадь, обведенная зеленой линией на рисунке ниже, значительно больше, чем розовая линия, то есть AUC1 > AUC2. Из этого рисунка видно, что чем больше AUC, тем больше площадь, ограниченная кривой. Если мы выберем точку от 0 до 1 в качестве вертикальной линии, мы можем получить тот же FPR. Как правило, чем больше AUC , соответствующий TPR также больше (есть контрпример, см. рисунок ниже).
Чем больше TPR, тем больше положительных выборок модель может правильно предсказать, когда такое же количество отрицательных выборок классифицируется неправильно, что отражает способность модели различать положительные и отрицательные выборки..
Зачем сравнивать AUC, а не устанавливать порог для сравнения TPR?
Потому что иногда ситуация с моделью сложнее, например, на следующем рисунке:
Фиолетовая модель работает значительно лучше до точки p, а розовая модель лучше после точки p. еслиОсновываясь на ситуации с одной точкой, нам трудно отразить общую способность модели.. Таким образом, AUC можно использовать для измерения модели.ОбщийСпособность различать положительные и отрицательные образцы.
Наконец, давайте подумаем над вопросом, какова наихудшая AUC? Будет ли 0?
Неправильно, АУКВ худшем случае 0,5. Потому что если это случайное угадывание положительного и отрицательного примеров, то количество угадываемых нами правильных положительных примеров всегда должно составлять 0,5 от текущего количества угадываний, В этом случае TPR и FPR всегда равны, то есть то, что мы Draw — прямая линия, как на следующем рисунке:
Что делать, если рассчитанная AUC меньше 0,5? Объясните, что модель можетИзучил отрицательную корреляцию между выборками и признаками, мы можем попробовать поменять местами две категории 0 и 1, и рассчитанный AUC должен стать больше 0,5.
Суммировать
В предыдущей статье мы говорили, что при использовании машинного обучения мыбольше внимания уделяйте положительным примерам. Например, в таких сценариях, как прогноз рейтинга кликов по рекламе, ранжирование в поиске, рекомендации и т. д., мы уделяем больше внимания частоте действий пользователя по клику и точности прогноза и меньше заботимся о том, является ли прогноз точным, если есть нет щелчка. В этих сценариях для нас не особенно важно измерять точность или полноту, особенно в сценариях, связанных с сортировкой и корректировкой размещения, мыУделите больше внимания тому, может ли модель дать высококачественному контенту высокий прогнозный балл., чтобы он мог занять первое место, позволяя пользователям увидеть его первым. В настоящее время AUC часто лучше описывает возможности модели.
Таким образом, по сравнению с точностью, правильностью и полнотой в реальных сценариях промышленного применения мы можемИспользуйте AUC немного больше. Конечно, это не означает, что другие понятия не важны, что в основном определяется сценарием применения. Поскольку сценарий подачи заявки определяет, что использование AUC очень широкое, когда мы подаем заявку на должность, возможность спросить о AUC очень высока, особенно при проверке основных способностей кандидатов. Если спросят,Недостаточно понять, что это значит, нам также необходимо освоить его сценарии применения, его причины и последствия и даже уметь думать о некоторых проблемах, о которых раньше не задумывались.
Я надеюсь, что каждый может что-то получить, оригинальность не так проста, будь дерзкимСтавь лайк и делай репост, давайте усердно работать, чтобы стать лучшей версией себя.