Это второй день моего участия в ноябрьском испытании обновлений, подробности о мероприятии:Вызов последнего обновления 2021 г.
индивидуальность и интеграция
Объединение результатов нескольких отдельных учащихся — повышение точности и обобщение результатов прогнозирования.
Голосование, чтобы сделать выводы
При ансамблевом обучении - господа гармоничны, но разные - способность к обобщению меньше 50%, а результаты прогнозирования имеют определенные отличия
Гарантия конвергенции для ансамблевых индивидуальных учащихся:
H(x) - выход, f(x) истинная метка выборки x, ε ошибка обобщения отдельного обучаемого, k вероятность прогнозируемого результата, T количество отдельных обучаемых
H(x) ≠ f(x) - вероятность того, что результат обучения ансамбля не соответствует истинному результату
Поскольку результат ≤ правой части, чем больше правая часть T/(1-2ε)², тем меньше общее значение. Отсюда делаются два основных вывода:
- Скорость сходимости увеличивается экспоненциально с увеличением числа отдельных учащихся T
- Отдельные интеграторы с ε=0,5 не влияют на сходимость - значение 0 - ε>0,5 или ε
AdaBoost
T отдельных учащихся и соответствующие веса - найдите взвешенную сумму
Возможность минимизировать функцию потерь
Поскольку f(x), H(x) равны 1 или -1, то возможны только два случая, когда f(x)H(x) - 1/-1.
Когда f(x) = H(x) - либо 1, либо -1 - результат равен e^-1
Когда f(x) ≠ H(x) - результат равен e^1
Доля надежды на то, что результат правильный, намного больше, чем на то, что результат неправильный, то есть скорректируйте вес h (x) в приведенной выше формуле.
Оптимизация AdaBoost
Алгоритм решения прямого распределения - итеративное решение - в каждом раунде изучается только один ученик и соответствующие веса, цель оптимизации t-го раунда
получить оптимальное α, h
Ожидание преобразуется в накопление частоты, поскольку среднее значение также может быть преобразовано в значение, умноженное на частоту появления значения и
f(x) и h(x) могут принимать только значения {-1, 1}
Спросите его минимальное значение - найдите частную производную - получите соответствующий вес