8 Оптимизация с использованием однозначных показателей оценки

Так называемыйметрика оценки с одним числомИх много, точность классификации — одна из них: после того, как вы запустите классификатор на наборе для разработки (или наборе тестов), он вернет одно значение данных, представляющее долю правильно классифицированных выборок. Согласно этой метрике, если классификатор А имеет точность 97%, а классификатор Б — 90%, то мы можем считать, что классификатор А лучше.

В отличие,Точность(Точность, также переводится как точность) иотзывать(Recall, также переводится как показатель отзыва) не является оценочной метрикой с одним значением, поскольку дает два значения для оценки вашего классификатора. Многозначные метрики оценки усложняют сравнение плюсов и минусов алгоритмов, если предположить, что ваш алгоритм ведет себя следующим образом:

Точность классификатора кошек относится к доле выборок, которые, по прогнозам, являются кошками в обучающем наборе (или тестовом наборе), а фактической категорией является кошка. Скорость отзыва относится к доле образцов, которые правильно предсказаны как кошки на всех изображениях фактической категории кошек в обучающем наборе (или тестовом наборе). Часто существует компромисс между точностью и полнотой.

Сравнивая значения в таблице выше, ни один из классификаторов не имеет явного преимущества, поэтому это не заставляет вас делать немедленный выбор.

Ваша команда часто будет пробовать множество алгоритмических архитектур, параметров модели, выбора функций или других идей при разработке. Использование однозначной оценочной метрики (например, точности) позволяет ранжировать все модели по их производительности по этой метрике и быстро определять, какая модель работает лучше всего.

Если вы считаете, что точность и полнота имеют решающее значение, вы можете обратиться к практикам других людей и объединить эти два значения в одно значение. Возьмем, например, среднее из двух, или вы можете рассчитать «оценку F1», которая представляет собой модифицированный расчет среднего, который работает лучше, чем простое среднее.

Если вы хотите узнать больше о счете F1, вы можете обратиться кhttps://en.wikipedia.org/wiki/F1_score

Поэтому, когда вы выбираете между несколькими классификаторами, использование однозначной оценочной метрики поможет вам быстрее принимать решения. Это может дать четкое ранжирование производительности классификатора, помогая тем самым прояснить последующее направление обработки команды.

В качестве последнего примера предположим, что вы отслеживаете точность своего классификатора кошек на четырех ключевых рынках «США», «Индия», «Китай» и «Другие регионы» и получаете четыре показателя. Взяв среднее или средневзвешенное значение этих четырех метрик, вы получите однозначную метрику.Взятие среднего или средневзвешенного значения — один из наиболее распространенных способов объединения нескольких показателей в один. Оставайтесь с нами для главы 9: Метрики оптимизации и метрики удовлетворенности Обучающие читы по машинному обучению Выпущены главы Главы 1-4 Глава 5 Глава 6 Глава 7 Пожалуйста, зарегистрируйтесь здесь для получения последней главы английской версииhttp://www.mlyearning.org/ Для того, чтобы все желающие как можно скорее получили доступ к китайской версии обучающих читов по машинному обучению, мы организовали работу по переводу в кратчайшие сроки. Пожалуйста, несите меня, если есть какие-либо ошибки. Содержание перевода все еще находится в стадии постоянного улучшения. Если у вас есть какие-либо комментарии и предложения, пожалуйста, оставьте нам сообщение. Добро пожаловать, чтобы отсканировать код и подписаться на нашу официальную учетную запись! Спасибо!