9 Показатели оптимизации и показатели удовлетворенности

Еще один метод объединения нескольких метрик оценки будет упомянут ниже. Предполагая, что вы заботитесь как о точности, так и о времени работы вашего алгоритма обучения, выберите один из следующих трех классификаторов:

Кажется неестественным получать единую метрику, помещая точность и время выполнения в одну формулу, например:

Accuracy - 0.5 * RunningTime

У вас может быть альтернатива: сначала определите «приемлемое» время выполнения, обычно менее 100 мс. Затем точность классификатора максимизируется в пределах ограниченного диапазона времени выполнения. Время работы здесь — это «метрика удовлетворенности» — метрика, с которой ваш классификатор должен работать «достаточно хорошо», что означает, что он должен занимать не более 100 мс, а точность — это «метрика оптимизации».

Если учесть N различных критериев, таких как размер двоичного файла модели (это особенно важно для мобильных приложений, поскольку пользователи не хотят загружать большие приложения), время выполнения и точность. Вы можете рассмотреть возможность установки метрик «удовлетворения» N-1, т. е. потребовать, чтобы они соответствовали определенному значению, а следующим шагом является определение метрики «оптимизации». Например, установите приемлемые пороговые значения для размера двоичного файла и времени выполнения и попытайтесь оптимизировать показатели точности на основе этих ограничений.

В качестве последнего примера предположим, что вы разрабатываете аппаратное устройство, которое может разбудить систему на основе определенного «слова пробуждения», заданного пользователем, аналогично слову прослушивания «Alexa» для Amazon Echo и «Alexa» для Apple. Siri Hey Siri», Android слушает «Окей, Google», а приложение Baidu слушает «Hello Baidu». ложноотрицательный уровень — пользователь произносит слово пробуждения, но система не просыпается должным образом. Разумной целью оптимизации для этой системы является минимизация количества ложноотрицательных результатов (показатель оптимизации) при соблюдении ограничения не более одного ложного срабатывания каждые 24 часа (показатель удовлетворенности).

Как только показатели вашей команды будут согласованы и оптимизированы, они смогут добиться более быстрого прогресса. Оставайтесь с нами для главы 10: Ускорение итерации с помощью Dev Sets и Metrics Обучающие читы по машинному обучению Выпущены главыГлавы 1-4 Глава 5 Глава 6 Глава 7 Глава 8 Пожалуйста, зарегистрируйтесь здесь для получения последней главы английской версииhttp://www.mlyearning.org/ Для того, чтобы все желающие как можно скорее получили доступ к китайской версии обучающих читов по машинному обучению, мы организовали работу по переводу в кратчайшие сроки. Пожалуйста, несите меня, если есть какие-либо ошибки. Содержание перевода все еще находится в стадии постоянного улучшения. Если у вас есть какие-либо комментарии и предложения, пожалуйста, оставьте нам сообщение. Добро пожаловать, чтобы отсканировать код и подписаться на нашу официальную учетную запись! Спасибо!