GBDT является членом ансамблевого обучения.Если вы хотите понять повышение градиента, вы должны сначала понять, что такое повышающее дерево.Чтобы понять повышающее дерево, вы должны понять, что такое повышающий метод.
Сам метод улучшения принимает аддитивную модель (линейную комбинацию базисных функций) и прямой пошаговый алгоритм, Начиная со слабого алгоритма обучения, он неоднократно учится получать серию слабых учеников, а затем получает сильных учеников, комбинируя слабые ученики. Когда каждый слабый ученик представляет собой дерево ТЕЛЕГИ, это усиленное дерево. Квадрат ошибки обычно используется в качестве функции потерь для задач регрессии, экспоненциальная функция потерь используется для задач классификации, а общая функция потерь используется для общих задач.
1. Дерево вознесения
Дерево генерируется на каждом шаге, текущий учащийся непрерывно оптимизируется, значение, полученное оптимизированным учащимся, используется для вычисления остатка с исходными данными метки, а остаток используется в качестве начальных данных следующего дерева для подбора. Дерево — это дерево регрессии CART, потому что целью каждой итерации является невязка, которая является непрерывным значением.
Так зачем использовать отрицательные градиенты? Для задачи регрессии, где функция потерь представляет собой квадрат ошибки, мы можем просто оптимизировать ее, но для общей функции потерь отрицательный градиент функции потерь используется для подбора приблизительного значения потерь в этом раунде, а аппроксимация в качестве задачи регрессии используется метод наискорейшего спуска Эффект аппроксимации невязки.
Чтобы проиллюстрировать это чуть более сложным примером, в предыдущем примере есть только одна функция, которую нелегко понять. Максимальная глубина должна быть 3, а деревьев 5.
Начальное значение, f0(x)=1,475
Первое дерево:
Подробный процесс ответа: (Слава Богу)Tickets.WeChat.QQ.com/Yes/Понимание C2, но слово YF U…