Выбор и оценка моделей машинного обучения

Выбор и оценка моделей машинного обучения

ошибка(Ошибка): это разница между прогнозируемым выходным значением модели и его истинным значением.

тренироваться(Обучение): процесс обучения на известных образцах данных для получения модели.

ошибка обучения(Ошибка обучения): ошибка, когда модель действует на тренировочном наборе.

обобщение(Обобщение): Расширение от частного и единичного к общему, то есть от частного к общему, называется обобщением. Для моделей машинного обучения обобщение относится к модели, действующей на новых выборочных данных (необучающих наборах).

ошибка обобщения(Ошибка обобщения): ошибка, когда модель действует на новых выборочных данных.

Недообучение и переоснащение

Вместимость модели(Вместимость модели): относится к его способности соответствовать различным моделям.

переоснащение(Переоснащение): модель, которая хорошо работает на тренировочном наборе, но плохо работает на новых выборках. Модель слишком хорошо усваивает особенности обучающей выборки, в результате чего некоторые неуниверсальные законы принимаются и отражаются моделью, так что она хорошо работает на обучающей выборке, но плохо работает на новой модели. Наоборот, это называется недообучением, то есть модель плохо усваивает общие свойства обучающей выборки, и модель плохо работает при воздействии на обучающую выборку.

выбор модели

выбор модели(Выбор модели): для конкретной задачи обычно есть несколько моделей на выбор, и для одной и той же модели будет несколько наборов параметров.Вы можете проанализировать и оценить ошибку обобщения модели и выбрать ту, у которой наименьшая ошибка обобщения Модель.

Обратитесь к картинке выше:

Синяя пунктирная линия представляет ошибку обучения, которая сначала уменьшается, а затем постепенно приближается к 0, указывая на то, что ошибка обучения становится все меньше и меньше.

Сплошная красная линия представляет собой ошибку обобщения, которая сначала уменьшается, а затем начинает увеличиваться.

Затем мы выбираем модель и выбираем положение черной пунктирной линии.Здесь ошибка обобщения наименьшая, ошибка обучения также относительно мала, а переобучение относительно мало.Вот оптимальный выбор для модели.

Идеи оценки модели

С помощью экспериментальной проверки оценивается ошибка обобщения модели и выбирается модель с наименьшей ошибкой обобщения. Весь набор данных для проверки неизвестен, и тестовый набор используется для проверки обобщения, а ошибка тестирования является приближением ошибки обобщения.

Уведомление:

• Тестовый и тренировочный наборы максимально взаимоисключающие.
• Тестовый набор и обучающий набор независимы и одинаково распределены.

отложить

Удержание: известный набор данных разделен на две взаимоисключающие части, одна из которых используется для обучения модели, а другая используется для проверки модели и оценки ее ошибки как оценки ошибки обобщения.

• Разделение двух наборов данных должно максимально поддерживать согласованность распределения данных, чтобы избежать введения искусственной систематической ошибки из-за процесса разделения данных.
• Существуют различные формы сегментации данных, которые приведут к различным обучающим наборам и делениям тестового набора.Результаты метода единого оттока часто условны, а его стабильность плоха.Обычно выполняется несколько случайных делений и повторные экспериментальные оценки, чтобы получить среднее значение как результат оценки.
• Набор данных разделен на две части, настройка масштаба каждой части будет влиять на результаты оценки, соотношение теста и обучения обычно составляет 7:3, 8:2 и т. д.

Чтобы сохранить одинаковые пропорции классов выборок, используется стратифицированная выборка.

перекрестная проверка

Перекрестная проверка: разделите набор данных на k взаимоисключающих подмножеств данных одинакового размера. Данные подмножества обеспечивают максимально возможную согласованность распределения данных (стратифицированная выборка) и каждый раз выбирают набор данных в качестве теста. остальные используются в качестве обучающих наборов, которые можно обучить и протестировать k раз, чтобы получить среднее значение оценки. Также называется k-кратной перекрестной проверкой. Повторение p раз равно p раз k-кратной перекрестной проверке.

оставить один

Leave-One-Out (LOO): это особая форма k-кратной перекрестной проверки.Набор данных делится на два, один из которых используется в качестве тестового набора, а остальные записи используются в качестве тренировочный набор Обучайте модель. Обученная модель близка к модели, обученной с использованием всего набора данных, и результаты ее оценки более точны. Недостатком является то, что, когда набор данных большой, количество времени обучения и масштаб вычислений велики.

самопомощь

Начальная загрузка: это метод выборки, который генерирует выборки, и его суть — случайная выборка с заменой. То есть из известного набора данных случайным образом выбирается запись, затем запись помещается в тестовый набор и возвращается в исходный набор данных, а следующая выборка продолжается до тех пор, пока количество данных в тестовом наборе не будет соответствовать заданному. требования.

Примеры использования методов оценки моделей

Отложить метод:

• Прост и удобен в реализации и может в определенной степени оценивать ошибку обобщения.
• Разделение тестовых и тренировочных наборов для предотвращения переобучения
• После разделения результаты оценки весьма условны.
• После разделения данных остается меньше данных для обучения и тестирования.

Метод перекрестной проверки (метод исключения одного):

• k можно установить в соответствии с реальной ситуацией, в полной мере используя все сэмплы
• Несколько подразделений, результаты оценки относительно стабильны
• Расчет громоздкий и требует k обучения и оценки

Метод самопомощи:

• Когда размер выборки невелик, с помощью метода самопомощи можно создать несколько наборов образцов самопомощи, и около 36,8% тестовых образцов
• Нет требований к теоретическому распределению населения.
• Выборка без замены вносит дополнительную погрешность

На выбор несколько методов:

• Когда количество известных наборов данных достаточно, обычноПропуск или k-кратная перекрестная проверка
• Когда известно, что объем данных невелик и трудно эффективно разделить обучающий набор/тестовый набор, используйтесамопомощь
• Когда известно, что набор данных невелик, а обучающий/тестовый набор можно эффективно разделить, используйтеоставить один