Интенсивная лекция по интегрированному алгоритму обучения: метод бустинга и AdaBoost, GBDT

В области машинного обучения глубокое обучение ($\text {Deep Learning}$) в основном преобладают нейронные сети, а неглубокое обучение ($\text {Shallow Learning}$) по-прежнему является областью модели дерева. С одной стороны, хотя глубокое обучение эффективно в больших масштабах, оно плохо работает в малых масштабах; с другой стороны, алгоритмы ансамблевого дерева ($\text {RF}$,$\text {GBDT}$,$\text {XGBoost}$и т. д.) из-за его высокой интерпретации модели, низкой сложности в настройке параметров, высокой скорости работы и почти отсутствия необходимости в разработке признаков, он полностью подавляет глубокое обучение на малых и средних наборах данных, и это трудно для «разнородных данных». (такие как контроль рисков), данные, такие как возраст, доход, город в сцене), модель дерева ансамбля работает лучше, чем глубокое обучение, даже на крупномасштабных наборах данных. В практических приложениях крупные предприятия, такие как Facebook и Alibaba, используют комбинацию LR.$\text {GBDT}$В качестве технической поддержки для важных предприятий, таких как оценка рейтинга кликов и рекомендации по рекламе, а также$\text {XGBoost}$В последние годы он неоднократно процветал в конкурсе алгоритмов Kaggle.

Эта статья знакомит с ансамблевым обучением$\text {Boosting}$метод и члены его семьи$\text {AdaBoost}$,$\text {GBDT}$, если вы мало знаете об основном алгоритме дерева решений, я рекомендую прочитать другой мой пост в блоге:Модель дерева решений:$\text {ID3}$,$\text {C4.5}$,$\text {CART}$Введение алгоритма

интегрированное обучение

• Целью традиционного машинного обучения является обучение «сильного ученика» (дерева решений, нейронной сети и т. д.) с максимально возможной точностью прогнозирования, но на практике найти оптимального «сильного ученика» сложно, поэтому «обучение ансамблем "предлагается. «Ансамблевое обучение» предполагает, что для нескольких «слабых учеников» с низкой точностью предсказания (требующей лишь немного более высокой точности предсказания, чем случайное угадывание), если эти несколько «слабых учеников» объединены соответствующим образом, то его можно повысить до «сильный ученик», чтобы получить более высокую точность предсказания. Основываясь на этой идее, в 1990 году Шапир впервые построил алгоритм полиномиального уровня и сделал положительное доказательство этой проблемы. Это оригинальный алгоритм повышения. Позже «обучение ансамбля» стало очень зрелым и широко используемым методом машинного обучения. , в его семейство входят RF, GBDT, XGboost и многие другие превосходные алгоритмы.

• На сегодняшний день существует три основных типа ансамблевого обучения:$\text {Bagging}$(Мешковый метод),$\text {Boosting}$(метод подъема),$\text {Stacking}$(метод укладки), в этой статье объясняется$\text {Boosting}$методы и связанные с ними алгоритмы ($\text {AdaBoost}$,$\text {GBDT}$).

$\text {Boosting}$метод

• отличается от$\text {Bagging}$в параллели,$\text {Boosting}$Это серия в виде лестницы. Она начинается с первого базового учащегося, и каждый последующий базовый учащийся будет корректировать распределение веса выборок в соответствии с правильностью и ошибкой предсказания предыдущего базового учащегося для каждой выборки. В то же время, в соответствии с самим базовым учеником. Чтобы получить ряд базовых учеников с разными весами, несколько учеников взвешиваются и объединяются для получения окончательного ученика. Конкретные шаги заключаются в следующем:

• 1. Сначала он заставляет каждую выборку иметь одинаковое значение веса (1/n, используется для расчета частоты ошибок или коэффициента точности, это значение веса не будет меняться в некоторых алгоритмах классификации) и строит слабый классификатор.

• 2. Измените распределение веса выборки: увеличьте вес неправильного образца, уменьшите вес правильного образца, измените вес классификатора: рассчитайте правильный показатель классификатора, чем выше правильный показатель, тем больше его весовое значение;

• 3. Построить новый слабый классификатор по выборочным данным после изменения распределения веса.

• 4. Повторяйте шаги 2 и 3 до тех пор, пока не будет достигнуто заданное количество учащихся или заданная точность предсказания.

• Интуитивное понимание:

  • $\text {Boosting}$Каждый шаг всегда больше ориентирован на неправильно классифицированные образцы, что упрощает их правильную классификацию на следующем этапе;
  • $\text {Boosting}$Вес классификатора с более высокой степенью точности больше, так что лучший классификатор после окончательной линейной комбинации имеет большее право голоса, в отличие от классификатора.$\text {Bagging}$Каждый классификатор в методе имеет одинаковый вес.

$\text {AdaBoost}$(адаптивное улучшение)

• $\text {AdaBoost(Adaptive Boosting)}$да$\text {Boosting}$Алгоритмы начального уровня в методах. Оригинальный алгоритм Adaboost использовался для решения задач бинарной классификации, поэтому для обучающей выборки

• в$x_{i} \in \mathcal{X} \subseteq \mathbb{R}^{n}, y_{i} \in \mathcal{Y}=\{-1,+1\}$, сначала инициализируйте веса тренировочного набора

• В зависимости от веса каждого раунда тренировочного набора$D_{m}$, выборка данных обучающего набора, чтобы получить$T_{m}$, а затем согласно$T_{m}$Тренируйтесь, чтобы получить базового ученика для каждого раунда$h_{m }$. Базовый учащийся может быть получен расчетным путем$h_{m}$Ошибка$\epsilon_{m}$, по ошибке базового обучаемого рассчитывается весовой коэффициент базового обучаемого в конечном обучаемом.

• Обновите веса тренировочного набора

• в$Z_{m}$нормировочный коэффициент

• тем самым гарантируя$D_{m+1}$является распределением вероятностей. наконец построен в соответствии с$M$базовые учащиеся, чтобы получить окончательного учащегося:

• Следующие диаграммы используются для интуитивного понимания$\text {AdaBoost}$:

• 1. Слева в начале все точки данных имеют одинаковый вес (положительные и отрицательные знаки имеют одинаковый размер), и первый базовый обучаемый делит выборку данных на две части. Как видно, три точки данных, отмеченные положительным знаком, неправильно классифицированы, поэтому мы придаем этим трем точкам больший вес. В то же время учащемуся присваивается весовое значение в соответствии с показателем точности классификации.

• 2. На среднем рисунке, второй базовый обучаемый, вы можете видеть, что веса трех (+) баллов, которые не были правильно классифицированы предыдущим обучающимся, увеличились.В это время второй базовый обучаемый меняет распределение веса в соответствии После обучения получается вторая классификационная модель, поскольку ее классификация неправильно идентифицирует точки, отмеченные тремя (-) знаками, в следующей классификации точкам, отмеченным тремя (-) знаками, присваивается больший вес. В то же время учащемуся присваивается весовое значение в соответствии с показателем точности классификации.

• 3. На правом рисунке третий базовый ученик повторите те же шаги.

• 4. Наконец, взвешенная линейная комбинация первых трех базовых обучаемых будет использоваться в качестве окончательного сильного обучаемого, который будет работать лучше, чем любой из предыдущих слабых классификаторов.

$\text {GBDT}$(дерево с градиентным усилением)

Алгоритм прямого шага и повышение градиента

• $\text {GBDT(Gradient Boosting Decision Tree)}$И другие типы моделей повышенного дерева основаны на «алгоритме прямого шага». Пошаговый алгоритм вперед можно понять следующим образом: Предположим, мы хотим использовать дерево решений для прогнозирования возраста человека.В начале инициализация модели напрямую даст прогнозируемое значение$f_{0}(x)$, Обратите внимание, что это прогнозируемое значение не нужно обучать с помощью дерева решений, и оно не обязательно является точным (например, начальный прогноз модели в начале составляет 0 лет, или относительно разумное значение дается в соответствии с возрастной состав населения). Затем обучите первое дерево решений на основе прогноза, данного на предыдущем шаге модели, В это время выходом модели является прогнозируемое значение инициализации модели плюс выходное значение первого дерева решений, а затем продолжаем добавлять второе дерево решений дерево, чтобы второе дерево решений могло минимизировать общие потери на основе ранее построенной модели, и продолжаем этот процесс до тех пор, пока количество построенных деревьев решений не будет удовлетворять требованиям или общие потери не будут меньше порога.

• Текущий пошаговый алгоритм переходит к$m$шаг, функция предсказания может быть выражена как:

  $$f_{m}(x)=f_{m-1}(x)+\beta_{m} T\left(x ; \Theta_{m}\right)$$

• в$f_{m-1}(x)$первый$m-1$функция предсказания шага, и$T\left(x ; \Theta_{m}\right)$это первое, что нам нужно построить$m$Древо решений,$\beta_{m}$Представляет скорость обучения (также называемую размером шага). из-за предыдущего$m-1$Дерево решений обучено, параметры зафиксированы.$\beta_{m}$, то в$m$шаг, нам нужно только обучить$m$параметры дерева$\Theta_{m}$чтобы минимизировать текущие общие потери:

• в$N$представляет собой общее количество образцов,$L$представляет собой функцию потерь. После того, как алгоритм прямого шага ясен, давайте рассмотрим, как минимизировать функцию потерь в машинном обучении.
• Предположим, что существует функция потерь$J(\theta)$, когда нам нужно установить этот параметр в$\theta$При нахождении минимального значения функции потерь просто отрегулируйте параметры в соответствии с отрицательным направлением градиента функции потерь.$\theta$То есть, потому что направление градиента — это направление, которое заставляет функцию расти быстрее всего, а противоположное направление градиента, то есть отрицательное направление градиента, заставит функцию уменьшаться быстрее всего.$\rho$Время,$\theta$Способ обновления следующий:

• Тогда так же, в алгоритме переднего этапа, общая потеря потери должна быть$J=\sum_{i} L\left(y_{i}, f_{m-1}\left(x_{i}\right)\right)$меньше, надо$f_{m-1}(x)$вывод, и$f_{m-1}(x)$направлен на$N$выборки, поэтому частная производная вычисляется для каждого предсказанного значения выборки:

• здесь$\rho$и только что упомянул$\beta_{m}$Эффект тот же, количество раз$\rho=1$. во-первых$m$Для дерева решений его подгонка больше не является исходными данными.$\left(x_{i}, y_{i}\right)$итоговое значение$y_{i}$, но с отрицательным градиентом, потому что это заставляет общую функцию потерь падать быстрее всего. Итак, для первого$m$Дерево решений, образец набора данных, который необходимо подобрать, обновляется до:

• Таким образом, он повторяется до определенного шага, функция потерь достаточно мала, и, наконец,$\text {GBDT}$Прогнозируемое значение вывода представляет собой сумму всех предыдущих деревьев, оно будет очень близким$y$ценность.

$\text {GBDT}$алгоритм регрессии

• Для задач регрессии мы берем в качестве примера функцию квадратичной ошибки, чтобы представить метод обработки GBDT. Функция потери квадратичной ошибки:

• во-первых$m-1$дерево решений, каждый образец$i$Функция потерь:$J=L\left(y_{i}, f_{m-1}\left(x_{i}\right)\right)$, что примерно соответствует прогнозируемому значению$f_{m-1}\left(x_{i}\right)$Градиент (частная производная) равен:

• Затем соответствующий отрицательный градиент:

$y_{i}-f_{m-1}\left(x_{i}\right)$Это остаток, который должен соответствовать текущему дереву решений.Поэтому для форсированной древовидной модели задачи регрессии каждое дерево решений должно соответствовать только остатку остатка.

Уведомление:$f_{m-1}\left(x\right)$не первый$m-1$Дерево решений, но в первом$m-1$Функция предсказания этого шага дерева решений, то же верно$f_{m-1}\left(x_{i}\right)$Указывает, что функция предсказания находится в выборке$x_i$по прогнозируемому значению. первое$m-1$Дерево решений соответствует только отрицательным градиентам, а функция предсказания$f_{m-1}\left(x\right)$представляет собой отрицательный градиент подгонки плюс предсказанное значение предыдущего дерева.

• Поток метода GBDT для задачи регрессии:

  • Вход: обучающий набор данных$T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}, x_{i} \in \mathcal{X} \subseteq \mathbf{R}^{\mathrm{n}}, \mathbf{y}_{\mathbf{i}} \in \mathcal{Y} \subseteq \mathbf{R} \quad$и скорость обучения$\beta_{m}$(также называется размером шага)

  • вывод: усиленное дерево$f_{M}(x)$

  1. инициализация$f_{0}(x)=\frac{1}{N} \sum_{i}^{N} y_{i}$

  2. Древо решений$m=1,2, \cdots, M$

     (a) Рассчитайте невязку для каждого образца i:

     $$r_{m i}=y_{i}-f_{m-1}\left(x_{i}\right), i=1,2, \cdots, N$$

     (b) Сопоставьте невязку r_{m i}, чтобы изучить дерево регрессии и получить площадь листового узла m-го дерева$R_{m j}, j=1,2, \cdots, J$. Примечание. Деревья решений ($\text {CART}$Дерево регрессии) также разбито по квадрату ошибки в качестве функции потерь.

     (c) Противоположный листовой узел$j=1,2, \cdots, J$, чтобы вычислить оптимальное выходное значение:

     $$c_{m j}=\arg \min _{c} \sum_{x_{i} \in R_{m j}} L\left(y_{i}, f_{m-1}\left(x_{i}\right)+c\right)$$

     Этот шаг заключается в расчете того, как присвоить значения образцам в области листового узла, чтобы минимизировать потери модели.Поэтому этот шаг необходимо рассчитать в соответствии с функцией потерь текущего дерева решений и функцией потерь дерева регрессии \text {CART} является Квадрат ошибки ошибки, поэтому результат расчета на этом шаге:

     $$c_{m j}=\frac{1}{N_{m j}} \sum_{x_{i} \in R_{m j}} r_{m i}$$

     То есть среднее значение остатков каждой области конечного узла.

     (d) Обновление дерева решений$f_{m}(x)=f_{m-1}(x)+\beta_{m} \sum_{j=1}^{J} c_{m j} I\left(x \in R_{m j}\right)$.

  3. Наконец, мы получаем дерево повышения градиента для задачи регрессии:

     $$f_{M}(x)=\sum_{m=1}^{M} \beta_{m} \sum_{j=1}^{J} c_{m j} I\left(x \in R_{m j}\right)$$

     Примечание. Диапазон \beta_{m} равен (0,1), и его функция такая же, как скорость обучения (также называемая размером шага) в алгоритме градиентного спуска, который может заставить функцию потерь сходиться к меньшему значению. , поэтому это может быть корректировка \beta_{m}, а меньшая скорость обучения заставит модель обучать больше деревьев решений, что сделает модель более стабильной и не будет переобучать, поэтому \beta_{m} в GBDT также можно использовать как Параметр регуляризации.

$\text {GBDT}$алгоритм бинарной классификации

• так как$\text {GBDT}$Базовое дерево решений использует дерево регрессии CART с квадратом ошибки в качестве критерия разбиения, а выход его листовых узлов представляет собой весь диапазон действительных чисел.Поэтому при классификации мы можем обратиться к алгоритму логистической регрессии для вложения на основе выражений линейной регрессии.$Sigmoid$Функция (функция логистической регрессии), позволяющая GBDT решать проблемы классификации. Давайте сначала обсудим$\text {GBDT}$обработка бинарной классификацией.

• Мы можем определить функцию потерь бинарного GBDT как:

• в$\hat{y}$Является$Sigmoid$функция, которую мы используем для представления вероятности того, что дерево решений предскажет класс выборки как 1$P(y=1 \mid x)$;$y$является фактическим значением (0 и 1) класса выборки.

• Тогда для первого$m-1$дерево решений, функция потерь$J=\sum_{i} L\left(y_{i}, f_{m-1}\left(x_{i}\right)\right)$, его градиент по отношению к прогнозируемому значению выборки рассчитывается как:

  $$\begin{aligned} \frac{\partial J}{\partial f_{m-1}\left(x_{i}\right)} &=\frac{\partial L\left(y_{i}, f_{m-1}\left(x_{i}\right)\right)}{\partial f_{m-1}\left(x_{i}\right)} \\ &=\frac{\partial\left[-y_{i} \log \frac{1}{1+e^{-f_{m-1}\left(x_{i}\right)}}-\left(1-y_{i}\right) \log \left(1-\frac{1}{\left.1+e^{-f_{m-1}\left(x_{i}\right)}\right)}\right)\right.}{\partial f_{m-1}\left(x_{i}\right)} \\ &=\frac{\partial\left[y_{i} \log \left(1+e^{-f_{m-1}\left(x_{i}\right)}\right)+\left(1-y_{i}\right)\left[f_{m-1}\left(x_{i}\right)+\log \left(1+e^{-f_{m-1}\left(x_{i}\right)}\right)\right]\right]}{\partial f_{m-1}\left(x_{i}\right)} \\ &=\frac{\partial\left[\left(1-y_{i}\right) f_{m-1}\left(x_{i}\right)+\log \left(1+e^{-f_{m-1}\left(x_{i}\right)}\right)\right]}{\partial f_{m-1}\left(x_{i}\right)} \\ &=\frac{1}{1+e^{-f_{m-1}\left(x_{i}\right)}}-y_{i} \\ &=\hat{y_{i}}-y_{i} \end{aligned}$$

• Вычисленный результат представляет собой разницу между прогнозируемым значением вероятности категории дерева решений и фактическим значением категории, тогда отрицательный градиент равен:

• Следовательно, для GBDT, занимающегося проблемами бинарной классификации, каждое дерево решений соответствует разнице между фактическим значением категории и прогнозируемым значением вероятности категории. Процесс метода GBDT для задачи двух классов выглядит следующим образом:

  • Вход: обучающий набор данных$\quad T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}, x_{i} \in \mathcal{X} \subseteq \mathbf{R}^{\mathrm{n}}, \mathbf{y}_{\mathbf{i}} \in\{\mathbf{0}, \mathbf{1}\} \quad$и скорость обучения$\beta_{m}$
  • вывод: усиленное дерево$f_{M}(x)$

  1. инициализация$f_{0}(x)=\log \frac{p_{1}}{1-p_{1}}$, в$p_{1}$Представляет долю выборки, где y=1.

  2. правильно$m=1,2, \cdots, M$

     (a) Вычислите отрицательный градиент для каждого образца i:

     $$r_{m i}=y_{i}-\hat{y}_{i}, i=1,2, \cdots, N$$

     в$\hat{y}_{i}=\frac{1}{1+e^{-f_{m-1}\left(x_{i}\right)}}$, представляющий вероятность того, что y_{i}=1.

     (b) Сопоставьте отрицательный градиент r_{m i}, чтобы изучить дерево регрессии и получить площадь листового узла m-го дерева$R_{m j}, j=1,2, \cdots, J$. Обратите внимание, что этот шаг также разделяет узлы в соответствии с квадратом ошибки ошибки.

     (c) Противоположный листовой узел$j=1,2, \cdots, J$, рассчитать:

     $$c_{m j}=\arg \min _{c} \sum_{x_{i} \in R_{m j}} L\left(y_{i}, f_{m-1}\left(x_{i}\right)+c\right)$$

     (г) Обновление$f_{m}(x)=f_{m-1}(x)+\beta_{m} \sum_{j=1}^{J} c_{m j} I\left(x \in R_{m j}\right)$

  3. Наконец, получается бинарное дерево бустинга градиента:

     $$f_{M}(x)=\sum_{m=1}^{M} \beta_{m} \sum_{j=1}^{J} c_{m j} I\left(x \in R_{m j}\right)$$

  4. Наконец, логистическая функция также вложена в окончательную функцию прогнозирования, чтобы можно было представить прогнозируемое значение вероятности:

     $$P(y=1 \mid x)=\frac{1}{1+e^{-f_M(x)}}$$

$\text {GBDT}$Множественные алгоритмы классификации

• $\text {GBDT}$В задаче бинарной классификации используется метод вложения «функции логистической регрессии» в исходную модель дерева регрессии, в то время как$\text {GBDT}$В задаче с несколькими классами «полиномиальная логистическая регрессия» ($\text {Softmax Regression}$), ниже приводится краткое введение в полиномиальную логистическую регрессию.

• «Полиномиальная логистическая регрессия» ($\text {Softmax Regression}$) можно рассматривать как логистическую регрессию ($\text {Logistic Regression}$), и наоборот, логистическую регрессию также можно рассматривать как частный случай полиномиальной логистической регрессии. существует$\text {Logistic Regression}$Что нужно решить, так это две вероятности:$P(y=1 \mid x ; \theta)$и$P(y=0 \mid x ; \theta)$; пока в$\text {Softmax Regression}$У лейтенанта уже будет не две вероятности, а$k$вероятность,$k$Указывает количество категорий.$\text {Softmax Regression}$Функция предсказания для:

  $$\begin{array}{c} h_{\theta}(x) =P\left(Y=y_{i} \mid x\right)= {\left[\begin{array}{c} P(Y=1 \mid x ; \theta) \\ P(Y=2 \mid x ; \theta) \\ \cdot \\ \cdot \\ \cdot \\ P(Y=k \mid x ; \theta) \end{array}\right]} =\frac{1}{\sum_{j=1}^{k} e^{\theta_{j}^{T} x}}\left[\begin{array}{c} e^{\theta_{1}^{T} x} \\ e^{\theta_{2}^{T} x} \\ \cdot \\ \cdot \\ \cdot \\ e^{\theta_{k}^{T} x} \end{array}\right] \end{array}$$

• в,$\theta_{1}^T, \theta_{2}^T, \ldots, \theta_{k}^T$за$k$параметры (векторы) для каждой модели и, наконец, умноженные на$\frac{1}{\sum_{j=1}^{k} e^{\theta_{j}^{T} x_{i}}}$состоит в том, чтобы сделать вероятность каждого класса в$[0,1]$интервал, а сумма вероятностей равна 1.$\text {Softmax Regression}$данные будут введены$x_{i}$относятся к категории$j$Вероятность:

• Приведенную выше формулу можно визуально проанализировать с помощью следующего рисунка:

  
  

• Вообще говоря,$\text {Softmax Regression}$Он имеет характеристики избыточности параметров, которая вот-вот$\theta_{1}^T, \theta_{2}^T, \ldots, \theta_{k}^T$Результат прогноза остается неизменным после добавления и вычитания вектора одновременно, потому что$P(Y=1 \mid x)+P(Y=2 \mid x)+\ldots+P(Y=k \mid x)=1$,так$P(Y=1 \mid x)=1-P(Y=2 \mid x)-\ldots-P(Y=k \mid x)$. Предположим из вектора параметров$\theta_{j}^{T}$вычесть вектор$\psi$, то каждый$\theta_{j}^{T}$стал$\theta_{j}^{T}-\psi(j=1,2, \ldots, k)$. В этот момент функция прогнозирования принимает вид:

  $$\begin{aligned} P\left(Y=y_{j} \mid x ; \theta\right) &=\frac{e^{\theta_{j}^{T} x}}{\sum_{i=1}^{k} e_{i}^{T_{i} x}} \\ &=\frac{e^{\left(\theta_{j}^{T}-\psi\right) x}}{\sum_{i=1}^{k} e^{\left(\theta_{i}^{T}-\psi\right) x}} \\ &=\frac{e^{\theta_{j}^{T} x} \times e^{-\psi x}}{\sum_{i=1}^{k} e^{\theta_{i}^{T} x} \times e^{-\psi x}} \\ &=\frac{e^{\theta_{j}^{T} x}}{\sum_{i=1}^{k} e^{\theta_{i}^{T} x}} \end{aligned}$$

• Из приведенного выше уравнения видно, что из$\theta_{j}^{T}$вычесть$\psi$Это никак не влияет на результаты предсказания функции гипотезы. В частности, при количестве категорий$k$Когда это 2:

  $$h_{\theta}(x)=\frac{1}{e^{\theta_{1}^{T} x}+e^{\theta_{2}^{T} x}}\left[\begin{array}{l} e^{\theta_{1}^{T} x} \\ e^{\theta_{2}^{T} x} \end{array}\right]$$

• Воспользовавшись особенностью избыточности параметров, вычтем все параметры из приведенной выше формулы$\theta_{1}$, приведенная выше формула принимает вид:

• в$\theta=\theta_{2}-\theta_{1}$. Видно, что отсортированная формула полностью согласуется с логистической регрессией, поэтому логистическую регрессию бинарной классификации фактически можно рассматривать как полиномиальную логистическую регрессию в$k=2$Частный случай времени.

• Далее мы видим$\text {GBDT}$Конкретный метод мульти-классификации:

  • При применении GBDT к проблеме бинарной классификации необходимо учитывать модель логистической регрессии, а для задачи множественной классификации GBDT необходимо учитывать следующую модель Softmax:
  $$\begin{array}{c} P(y=1 \mid x)=\frac{e^{F_{1}(x)}}{\sum_{i=1}^{k} e^{F_{i}(x)}} \\ P(y=2 \mid x)=\frac{e^{F_{2}(x)}}{\sum_{i=1}^{k} e^{F_{i}(x)}} \\ \ldots \ldots \\ P(y=k \mid x)=\frac{e^{F_{k}(x)}}{\sum_{i=1}^{k} e^{F_{i}(x)}} \end{array}$$
  • в$F_{1} \ldots F_{k}$да$k$Ансамбль различных деревьев регрессии CART. Каждый раунд тренировки на самом деле является тренировкой.$k$Дерево, соответствующее отрицательному градиенту каждой ветви модели softmax. Функция однократных потерь модели softmax:
  $$\text { loss }=-\sum_{i=1}^{k} y_{i} \log P\left(y_{i} \mid x\right)=-\sum_{i=1}^{k} y_{i} \log \frac{e^{F_{i}(x)}}{\sum_{j=1}^{k} e^{F_{j}(x)}}$$
  • здесь$y_{i}(i=1 \ldots k)$- значение исходной метки результата выборки после горячего кодирования по k категориям, в$k$в категории$i$Категория$y_i=1$Остальные все 0. Из вышеприведенного выражения нетрудно вывести:
  $$-\frac{\partial l o s s}{\partial F_{i}}=y_{i}-\frac{e^{F_{i}(x)}}{\sum_{j=1}^{k} e^{F_{j}(x)}}=y_{i}-p\left(y_{i} \mid x\right)$$
  • видно, это$k$Дерево также соответствует разнице между истинной меткой и предсказанной вероятностью выборки, что очень похоже на процесс бинарной классификации GBDT.

$\text {GBDT}$и$\text {BDT}$

• $\text {BDT(Boosting Decision Tree)}$, дерево повышения, хотя дерево повышения градиента является улучшенной версией дерева повышения, мы также можем думать о дереве повышения как о частном случае, когда функция потерь в дереве повышения градиента принимает квадрат ошибки ошибки, поэтому дерево повышения обучает дерево решений каждый раз Просто установите остатки из предыдущего шага.

• Однако использование остатка в качестве функции потерь на самом деле имеет большие недостатки.Очевидный недостаток заключается в том, что он слишком чувствителен к выбросам. Давайте посмотрим на пример:

  

• Очевидно, что последующая модель будет уделять слишком много внимания четвертому значению, что не является хорошим явлением, поэтому функция потерь общего класса регрессии будет использовать абсолютную функцию потерь или функцию потерь Хубера вместо квадратичной функции потерь:

- Видно, что потеря Huber гораздо более устойчив к выбросам. Потеря Huber - это компромисс между средней квадратной ошибкой и абсолютной потерей. Для выбросов далеко от центра используется абсолютная потеря, в то время как средняя квадратная ошибка используется для точек вблизи центра.

Если у вас есть какие-либо вопросы, пожалуйста, оставьте сообщение.

Наконец, если вы интересуетесь Python, интеллектуальным анализом данных, машинным обучением и т. д., добро пожаловать в мой блог.