интегрированное обучение

Это первый день моего участия в ноябрьском испытании обновлений, подробности о мероприятии:Вызов последнего обновления 2021 г.

Что такое ансамблевое обучение? Как добиться? Сходства и различия с другими методами обучения? Конкретные сценарии применения?
Что касается ансамблевого обучения, я хотел бы сначала ответить на эти вопросы.

интегрированное обучение

Что такое интегрированное обучение

Ансамблевое обучение — это объединение нескольких моделей обучения для получения выводов. Каждая модель может обучать разные функции данных, поэтому объединение нескольких моделей может улучшить результаты обучения.

Как добиться?

Существует два типа ансамблевого обучения:

1. Ансамбль последовательностей - обучаемый создается по порядку - зависимости - неправильные выборки имеют больший вес, улучшая общий эффект прогнозирования
2. Параллельная интеграция - Параллельная генерация - Независимое уменьшение ошибки усреднения

общий метод

bagging

принцип упаковки

Выборка с заменой - k моделей голосуют за результаты классификации - параллелизуется

приложение для упаковки

Случайный лес = бэггинг + дерево решений

boosting

Слабые классификаторы собираются в сильные классификаторы - только последовательно проблема, которую нужно решить

1. Как каждый раунд меняет веса данных и распределение вероятностей?
2. Как комбинировать — аддитивная модель [AdaBoost (сначала делится поровну и после обучения присваивается больший вес неудачным случаям), GBDT (каждый раз уменьшать предыдущий остаток)]

Повышение приложения

AdaBoost + дерево решений = усиленное дерево
Повышение градиента + Дерево решений = GBDT - Улучшение GBDT - GBT

stacking

Результат обучения нескольких моделей Обучение ансамблю в основном включает два уровня: первый уровень предназначен для обучения сложной модели на данных. Второй слой предназначен для вывода результатов обученных данных.

Интегрированные учебные вопросы для интервью

1. Что такое ансамблевый алгоритм обучения?

Ансамбль нескольких моделей слабой классификации — сильная классификация

2. Каковы основные рамки ансамблевого обучения?

бэгинг, бустинг, штабелирование

3. Кратко представим мешки, какие обычно используются алгоритмы мешков?

Множественная выборка, равное взвешивание, коллективное голосование Случайный лес

4. Кратко представим бустинг, какие обычно используются алгоритмы бустинга? Параллельно вход последнего классификатора зависит от остатков предыдущего классификатора.

Adaboost, GBDT - XGBoost

5. Каково математическое выражение идеи бустинга?

Линейная комбинация базисных функций

6. Кратко представим стек. Каковы наиболее часто используемые алгоритмы стекирования?

Многократная выборка с использованием вывода в качестве окончательного входного признака.
KNN, Random Forest, Naive Bayes, результаты прогнозирования объединяются с помощью логистической регрессии

7. Вы понимаете, что ваша модель страдает низким смещением и высокой дисперсией, какой алгоритм вы должны использовать для решения проблемы? Зачем?

Низкое смещение — прогнозируемые значения близки к фактическим значениям — достаточно гибкие, плохое обобщение — решение для бэггинга Высокая дисперсия — первые n функций в регуляризованных/переменных графиках важности

8. Каковы наиболее часто используемые базовые классификаторы?

Деревья решений - нет необходимости корректировать вес выборки для выборки, приятно вводит случайность

9. Можно ли заменить базовый классификатор в случайном лесу деревом решений с линейным классификатором или K-ближайшими соседями? Пожалуйста, объясните, почему?

не может -
Классификаторы, чувствительные к выборке, больше подходят для бэггинга.
Линейный классификатор/K-ближайшие соседи Более стабильный классификатор - низкая дисперсия
Линейный классификатор / K-ближайшие соседи могут быть более трудными для сходимости при обучении из-за выборки Бэггинга, что увеличивает смещение