В процессе подгонки данных с помощью алгоритмов машинного обучения мы часто не можем получить удовлетворительные результаты в начале. Например, значение AUC недостаточно велико. В это время нам необходимо настроить модель. В каком направлении осуществляется настройка? Существует ли методика настройки, которой нужно следовать? Ответ, конечно, да, и два индикатора смещения и дисперсии могут играть роль в настройке.
Bias
Давайте сначала рассмотрим пример. Предположим, лаборатория собрала данные о весе и размере мышей. Мы можем построить модель для прогнозирования веса мышей, введя размер мышей. Часть диаграммы рассеяния данных выглядит следующим образом. Перед обучением мы все равно разделяем данные на две части, красные точки — обучающая выборка, а зеленые точки — тестовая выборка:
Затем мы подбираем данные обучения с двумя моделями, Первая модель использует линейный алгоритм следующим образом:
Можно видеть, что линейная модель не очень хорошо описывает реальные данные.Мы обычно используем MSE (среднеквадратическую ошибку) для количественной оценки этой подгоночной способности, то есть среднее квадрата разницы между прогнозируемым значением и фактическим ценность.
Затем мы обучаем вторую, более сложную модель со следующей кривой:
Вторая модель идеально подходит для обучающих данных, то есть при использовании этой модели для прогнозирования обучающих данных полученное прогнозируемое значение равно фактическому значению.
На данный момент нетрудно понять, когда мы даем определение смещения:
Метрика смещения измеряет разницу между алгоритмом машинного обучения и реальными данными на этапе обучения.
Как видно из приведенного выше примера, смещение модели 2 намного ниже, чем у модели 1.
Variance
После обучения модели нам также необходимо использовать тестовый набор для оценки модели.На следующем рисунке показан результат оценки модели 1. Мы используем синюю пунктирную линию, чтобы указать разницу между прогнозируемым значением и фактической ситуацией в тесте. результат (вы также можете использовать MSE для измерения):
Точно так же результаты оценки модели 2 следующие:
В отличие от смещения, эффект прогнозирования модели 1 намного лучше, чем у модели 2, что показывает, что способность прогнозирования модели 2 нестабильна. Мы также пытаемся определить дисперсию:
Дисперсия указывает степень отклонения между эффектами предсказания между различными наборами тестов.Чем больше степень отклонения, тем больше дисперсия, и наоборот.
Очевидно, что дисперсия модели 2 больше, для разных наборов тестов точность предсказания модели 1 очень близка, можно сказать, что дисперсия модели 1 меньше.
Bias & Variance
Изображение ниже взято изБлог Скотта Фортманн-Роу, это может хорошо описать направление нашей настройки в машинном обучении. Верхний левый угол - самая идеальная модель, которая является конечной целью. Если вы не можете этого сделать, вы должны работать в направлении High Bias + Low Variance в нижний левый угол. .
На приведенном выше рисунке ситуация в правом верхнем углу также называетсяПереобучение, что означает, что ваша модель работает очень хорошо во время обучения, но очень плохо во время тестирования. Модель 2 выше — это типичная ситуация переобучения. Должно быть переоснащениеПодгонка, что означает, что ваша модель не может хорошо охарактеризовать выборочные данные. В то же время переоснащение обычно соответствует использованию более сложной модели, а недообучение обычно соответствует более простой модели. Много раз, когда мы говорим о настройке модели, мы на самом деле имеем в виду:
Нахождение баланса между простыми и сложными моделями.
Как это сделать? Вот несколько эмпирических методов:
- Как бороться с высокой дисперсией
- Уменьшите количество функций
- Используйте более простую модель
- Расширьте свой набор обучающих данных
- Используйте регуляризацию
- Добавьте случайные факторы, такие как бэггинг и методы бустинга.
- Как бороться с проблемами с большим уклоном
- Увеличьте количество функций
- использовать более сложные модели
- удалить регуляризацию
Ссылаться на:
Machine Learning Fundamentals: Bias and Variance
Статьи по Теме: