«Это 16-й день моего участия в ноябрьском испытании обновлений. Подробную информацию об этом событии см.:Вызов последнего обновления 2021 г."

После того, как модель алгоритма глубокого обучения создана, прогнозируемые результаты часто кажутся слишком подходящими и подходящими, В этом случае нам необходимо выполнить некоторую обработку данных, чтобы сделать окончательный результат правильным.

Насколько хорошо работает алгоритм машинного обучения, зависит от того, может ли алгоритм уменьшить ошибку обучения и сократить разрыв между ошибкой обучения и ошибкой теста.

Переоснащение и недообучение, несомненно, сильно влияют на ошибку обучения.

Для оптимизации алгоритмов машинного обучения и глубокого обучения обработка переобучения и недообучения имеет решающее значение.

Обработка переобучения

1. Правильно настроить вместимость модели

Когда модель обучения более сложна, нам нужно увеличить количество тренировочных наборов.Если увеличение слишком велико, это вызовет переоснащение, потому что сложность тренировочной модели превысила требования задачи, и тогда нам нужно соответствующим образом уменьшить емкость.

2. Изменить количество входных функций

Ошибка обучения и ошибка обобщения увеличиваются с увеличением сложности модели, мы можем соответствующим образом уменьшить сложность модели, то есть уменьшить функции вручную. Также могут использоваться специальные алгоритмы, такие как алгоритмы уменьшения размерности PCA.

3. Регуляризация

Регуляризация относится к изменению алгоритма обучения таким образом, чтобы он уменьшал ошибку обобщения, а не обучение. Мы оговариваем, что существует определенное предпочтение для некоторых решений признаков, веса некоторых признаков будут выше, а веса некоторых признаков будут ниже, чтобы уменьшить ошибку обобщения. Это снижает эффект переобучения.

4. Интегрированный ученик

Разные алгоритмы имеют разные предпочтения для различных функций. Совместное использование этих алгоритмов полезно для дополнения друг друга в одной и той же задаче, что приводит к лучшим результатам. Объедините несколько моделей алгоритмов вместе, чтобы уменьшить переоснащение одной модели алгоритма.

Обращение с недооснащением

1. Увеличьте количество функций

Слишком мало функций, чтобы хорошо соответствовать тренировочному набору, что приводит к увеличению ошибки обучения и ошибки обобщения Мы можем соответствующим образом увеличить ввод функций, чтобы соответствовать тренировочному набору и уменьшить влияние недообучения.

2. Увеличить сложность модели алгоритма

Сложность модели слишком низкая, например, линейные функции, квадратичные функции и девятые функции, чтобы соответствовать эффекту реальной квадратичной функции.Линейная функция не может описать кривизну реальной функции, поэтому произойдет недообучение, и девятая функция будет соответствовать, является наибольшим, потому что он имеет много параметров и может предсказать бесконечное количество точек обучающей выборки. Следовательно, сложность модели алгоритма должна быть соответствующим образом увеличена при недообучении.

3. Уменьшить коэффициент регуляризации

Если модель алгоритма использует коэффициент регуляризации, а модель в это время недообучается, нам необходимо уменьшить коэффициент регуляризации Поскольку регуляризация используется для предотвращения переоснащения, но когда модель недостаточно приспособлена, необходимо уменьшить систему регуляризации, чтобы сделать ее подходящей.

Регуляризация

Два алгоритма регуляризации

Роль регуляризации

Алгоритм регуляризации отсева

Прекратить обучение досрочно

Смещение и дисперсия

Устранение высокой дисперсии и высокой предвзятости

Чтобы разрешить высокую дисперсию:

1. Получите больше обучающих примеров — устраните высокую дисперсию

2. Попробуйте уменьшить количество функций, чтобы решить проблему высокой дисперсии.

3. Попробуйте увеличить степень регуляризации λ — для решения задач с высокой дисперсией.

Для устранения высокого смещения:

1. Постарайтесь получить больше возможностей — исправьте высокое смещение 2. Попробуйте увеличить полиномиальные функции - решить проблему с высоким отклонением 3. Попробуйте уменьшить степень регуляризации λ — решить проблему высокого отклонения