Часто задаваемые вопросы о методах оценки модельного эффекта

анализ данных

Это 12-й день моего участия в августовском испытании обновлений. Узнайте подробности события:Испытание августовского обновления

Метод оценки модельного эффекта

Разделены на проблемы прогнозирования и проблемы классификации

  1. Каковы обычно используемые методы оценки для прогнозирования проблем?
    MSE (среднеквадратическая ошибка) [Mean Squared Error]:РазнообразиеСтепень - меньше - тем точнее модель
    Ожидаемое значение (оценка параметра - истинное значение параметра)²

    MSE = Σ(расчетное значение - истинное значение)²/N

    RMSE (среднеквадратичная ошибка): Арифметический квадратный корень из среднеквадратичной ошибки

    MAE (средняя абсолютная ошибка): Среднее значение абсолютной ошибки Фактическая ошибка предсказанного значения

  2. Каковы обычно используемые методы оценки для задач бинарной классификации? Проблемы классификации: двухклассовые и многоклассовые проблемы
    Задача двух классов:

image.png

  1. Объясните точность и полноту — важные показатели оценки для бинарной классификации

    Точность: Точность - количество положительных и фактических положительных случаев / количество положительных случаев - TP/(TP+FP)

    Уровень отзыва: Уровень отзыва — количество положительных примеров, которые оцениваются как положительные примеры, и фактическое количество положительных примеров/количество фактически всех положительных примеров — TP/(TP+FN)

N (отрицательный отрицательный образец) P (положительный положительный образец)
F (ошибка ложного предсказания) FN - Предсказание было N, но предсказание было неверным FP - Предсказание было P, но предсказание было неверным
T (Истина предсказывает правильность) TN - предсказание равно N, предсказание верно TP- Результат прогноза P, результат прогноза правильный

Кривая PR — график для визуализации точности и полноты модели — исправление одной метрики и улучшение другой.

image.png

  1. Кратко объясните правильную скорость и объясните разницу между правильной скоростью и точностью

    Правильная скорость: оценка правильного числа - (TP + TN) / (TP + TN + FP + FN) - с учетом как положительных, так и отрицательных прогнозов выборки.

    Чаще используется точность

  2. Объясните точность и напоминание кратким языком или с примерами

    Полиция ловит воров: сосредоточьтесь на ворах - образцы воров как положительные примеры

    Точность: процент пойманных воров

    Уровень отзыва: процент всех пойманных воров.

    ROC-кривая: Частота отзыва — FPR (частота ложных срабатываний): TP/TP+FN
    Коэффициент точности - TPR (истинный положительный показатель): TP/TP+FP

image.png

  1. Краткое введение в понятия ROC и AUC и взаимосвязь между ними
    Кривая ROC должна проходить через две точки (0, 0) и (1, 1), и на этом основании максимизировать площадь, охватываемую кривой - AUC

    AUC — показатель эффективности модели бинарной классификации.

  2. Каковы методы оценки для задач множественной классификации?

    1. Проблема с несколькими классами - проблема с двумя классами - в качестве положительного примера используется наиболее интересующая классификация, а в качестве отрицательного - кривая PR.
    2. Матрица путаницы - 22 Матрица, соответствующая прогнозируемому значению и фактическому результату, расширяется - nn матрица - количество n категорий
      Диагональ - правильный результат

image.png

В задаче мультиклассификации - если вы уделяете особое внимание определенной классификации - конвертируйте в две классификации - если вы ориентируетесь на общий классификационный эффект модели - описание правильной скорости

Бинарная классификация: частный случай многоклассовых задач

Категории