Эндрю Нг Машинное обучение-6-Советы по машинному обучению

Продюсер: Ю Эр Хат
Автор: Питер
Редактор: Питер

Эндрю Нг Машинное обучение-6-Советы по машинному обучению

В этой статье записаны предложения г-на Ву Энда по машинному обучению, в том числе:

Рекомендации по применению машинного обучения
Оценить предположения
Выбор модели и перекрестная проверка
Диагностика дисперсии и смещения
Проблемы регуляризации и переобучения

Регуляризация и Bias_Variance

Основы регуляризации

Методы регуляризации в основном предназначены для решения проблемы переобучения.Переоснащение относится к: У него хорошая способность оценивать выборочные данные, но плохая способность прогнозирования для новых данных.

Первая модель — это линейная модель, которая недостаточно приспособлена и плохо подходит для нашего тренировочного набора.
Третья модель представляет собой квадратичную модель, в которой слишком много внимания уделяется подбору исходных данных и теряется сущность алгоритма: предсказание новых данных.
Модель посередине кажется наиболее подходящей.

каштан

Предположим, нам нужно подобрать многочлен на рисунке ниже, требуя члена регуляризации

когда $\lambda$ Когда возникает большое, высокое смещение, предполагая, что $h_\theta(x)$ это прямая линия
когда $\lambda$ Когда он мал и около 0, возникает высокая дисперсия.

Если это полиномиальная подгонка, то чем выше степень x, тем лучше эффект подгонки, но соответствующая способность предсказания может быть хуже.Обработка переобучения:

Отбросьте некоторые функции, которые нельзя правильно предсказать. Это может быть ручной выбор того, какие функции сохранить, или использовать какой-либо алгоритм выбора модели, например.PCA
Регуляризация. Сохраните все функции, но уменьшите размер параметров (magnitude)

Добавить параметр регуляризации

в модели $h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_3+\theta_4x_4$ , в основном проблема переобучения, вызванная терминами высокого порядка:

Добавление параметров регуляризации может предотвратить проблемы переобучения, когда $\lambda$ параметр регуляризацииRegularization Parameter:

$J(\theta)=\frac{1}{2m}\sum^m_{i=1}(h_{\theta}(x^{(i)})-y^{(i)})^2+\lambda \sum^n_{j=1}\theta^2_{j}$

Attention: Вообще нет $\theta_0$ наказывать; добавление параметра регуляризации на самом деле $\theta$ наказывать. Сравнение между регуляризованной моделью и исходной моделью:

если $\lambda$ слишком велик, все параметры минимизируются, и модель становится $h_\theta(x)=\theta_0$ , что приводит к переоснащению

параметр $\lambda$ выбор

Используйте обучающий набор для обучения нескольких регуляризованных моделей разной степени
Ошибка перекрестной проверки, рассчитанная для набора перекрестной проверки с несколькими моделями
Выберите, чтобы получить ошибку перекрестной проверкиминимуммодель
Используйте модель, выбранную на шаге 3, для расчета ошибки обобщения на тестовом наборе.

Кривые обучения

Используйте кривую обучения, чтобы определить, находится ли алгоритм обучения в проблеме смещения или дисперсии.

Кривая обучения состоит в том, чтобыошибка тренировочного набораиошибка набора перекрестной проверкив видеКоличество образцов обучающей выборки $m$ График, построенный как функция

$J_{train}(\theta) = \frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^2$

$J_{cv}{(\theta)} = \frac{1}{2m_{cv}}\sum_\limits{i=1}^{m}(h_{\theta}(x^{(i)}_{cv})-y^{(i)}_{cv})^2$

Связь между обучающей выборкой m и функцией стоимости J

Результат можно увидеть на рисунке 1 ниже.

Чем меньше выборок, тем меньше ошибка обучающего набора и тем больше ошибка набора перекрестной проверки.
По мере постепенного увеличения выборки разница между ними постепенно уменьшается.

Примечание. В случае высокого смещения и недостаточной подгонки увеличение количества выборок не влияет.

В случае высокой дисперсии увеличение числа может улучшить производительность алгоритма.

Суммировать

Получите больше обучающих выборок — устраните высокую дисперсию
Попробуйте уменьшить количество функций, чтобы решить проблему высокой дисперсии.
попытайтесь получить больше функций - устраните высокое смещение
Попробуйте добавить полиномиальные функции, чтобы устранить высокое смещение
Попробуйте уменьшить степень регуляризации λ, чтобы устранить высокое смещение.
Попробуйте увеличить регуляризацию λ, чтобы справиться с высокой дисперсией.

Дисперсия и смещение нейронных сетей

Нейронные сети меньшего размера с меньшим количеством параметров склонны к большому смещению и недостаточной подгонке;

Большие нейронные сети со многими параметрами склонны к высокой дисперсии и переобучению.

Обычно выбор более крупной нейронной сети и использование регуляризации будет работать лучше, чем использование более мелкой нейронной сети.

Точность и отзыв

	Предполагаемая стоимость
		Positive	Negtive
реальная стоимость	True	TP	FN
	False	FP	TN

точностьprecision: Фактические и прогнозируемые значения положительны одновременно / Все прогнозируемые значения положительны $P=\frac{TP}{TP+FP}$ отзыватьrecall: Фактические и прогнозные значения положительны / Все фактические значения положительны $R = \frac{TP}{TP+FN}$

Отзыв и точность - противоречивые величины, если один высокий, другой должен быть низким.Схема зависимости выглядит следующим образом:

Обычно используется баланс между отзывом и точностью. $F_1$ Представление коэффициента $F_1=\frac{2PR}{P+R}$

Эндрю Нг Машинное обучение-6-Советы по машинному обучению