Это первый день моего участия в ноябрьском испытании обновлений, подробности о мероприятии:Вызов последнего обновления 2021 г.

1. Точность и скорость отзыва

Точность и полнота — две метрики, широко используемые в поиске информации и статистической классификации для оценки качества результатов.Правильная ставкаОн относится к пропорции количества правильно классифицированных положительных образцов к количеству образцов, определенных классификатором как положительные образцы. Коэффициент точности представляет собой статистику для некоторых выборок, ориентированную на статистику данных, определенных классификатором как положительные. В общем, правильный показатель — это количество извлеченных записей, которые являются правильными, и может рассматриваться как мера точности (процент кортежей, помеченных как положительные, которые на самом деле являются положительными).отзыватьОн относится к отношению количества правильно классифицированных положительных образцов к количеству истинно положительных образцов. Скорость отзыва также является статистикой для некоторых образцов, ориентированной на статистику реальных положительных образцов. Отзыв — это количество всех правильных записей, а его мера полноты (процент положительных кортежей, помеченных как положительные) — чувствительность.

Значение F1=2∗(правильная частота∗скорость отзыва)/(правильная частота+частота отзыва). Это оценочный индекс, который объединяет два вышеуказанных показателя и используется для всестороннего отражения общего индекса.

Все значения этих показателей находятся в диапазоне от 0 до 1. Чем ближе значение к 1, тем лучше эффект.

Пример 1:

В пруду водится 1400 карпов, 300 креветок и 300 мягкотелых черепах. Теперь о ловле карпа. Закинув большую сеть, они поймали 700 карпов, 200 креветок и 100 мягкотелых черепах. Тогда эти показатели следующие:

Пример 2:

В пруду водится 1400 карпов, 300 креветок и 300 мягкотелых черепах. Теперь о ловле карпа. Закиньте большую сеть и поймайте всю рыбу, креветок и черепах:

Мы надеемся, что чем выше точность результата поиска, тем лучше, и чем выше отзыв, тем лучше, но на самом деле в некоторых случаях они противоречат друг другу. Например, в крайних случаях мы ищем только один результат, и он точный, тогда точность равна 100%, но отзыв очень низкий; и если мы возвращаем все результаты, например, отзыв равен 100%, но точность будет очень низкой. Поэтому в разных случаях вам нужно судить самостоятельно, хотите ли вы, чтобы Точность была выше или Отзыв был выше.

2. Комплексный индекс оценки

Иногда возникают конфликты между показателями показателя точности и показателя отзыва, поэтому их необходимо рассматривать комплексно.Наиболее распространенным методом является F-Measure (также известный как F-Score):

F1-Score

F1-Score может хорошо оценить модель, которая в основном используется для задач бинарной классификации.Формула расчета выглядит следующим образом: