Различать и генерировать
В машинном обучении контролируемое обучение можно разделить на два типа моделей: дискриминационные модели и генеративные модели. Проще говоря, генеративные модели моделируют совместные распределения, а дискриминационные модели моделируют условные распределения.
Восприятие генеративное может узнать больше информации, в то время как дискриминативное меньше, как и изучение английского языка, некоторые люди учатся только понимать, что это английский, некоторые люди учатся понимать, что это английский, и знать, как говорить то, что есть. Кроме того, генеративные модели также могут быть преобразованы в дискриминационные модели при определенных условиях, например, по формуле Байеса.
Общие генеративные модели
- Смешанная модель Гаусса, которая оценивает совместное распределение для разных входных данных и классов.
- Наивный байесовский продукт совместного распределения вероятностей используется при обучении модели.
- Скрытая марковская модель, которая устанавливает совместное распределение последовательностей состояний и последовательностей наблюдений.
- Байесовские сети, сети с ориентированным графом в вероятностных графических моделях, моделируют совместные распределения, умноженные на их соответствующие локальные условные распределения вероятностей.
- Марковские случайные поля, сети неориентированных графов в вероятностных графических моделях, а также модельные совместные распределения, разложенные на произведения потенциальных функций по максимальным группам.
Общие дискриминантные модели
- Условные случайные поля, моделирующие целевую последовательность по последовательности наблюдений.
- Линейная регрессия, распределение Y зависит от X.
- Логистическая регрессия, вероятность двух классов при условии x.
- Машина опорных векторов, ее процесс обучения заключается в изучении границ классификации.
- Традиционные нейронные сети также изучают границы классификации.
простой пример
Пусть есть обучающие выборки: (1,0), (1,0), (2,0), (2, 1), тогда
- Генеративная модель изучает совместную вероятность p (x, y),
| y=0 | y=1 | |
|---|---|---|
| x=1 | 1/2 | 0 |
| x=2 | 1/4 | 1/4 |
- Дискриминационная модель изучает условную вероятность p (y | x),
| y=0 | y=1 | |
|---|---|---|
| x=1 | 1 | 0 |
| x=2 | 1/2 | 1/2 |
Сравнительная таблица
На приведенном выше рисунке левая часть — дискриминантный тип, а правая — генеративный тип.Вы можете ясно видеть разницу.Дискриминантная модель ищет границу решения, через которую выборки делятся на соответствующие категории. Генеративный, с другой стороны, изучает границы каждого класса и содержит больше информации, которую можно использовать для создания образцов.
Генеративные функции
- Смоделируйте совместные вероятности и изучите распределение всех категорийных данных.
- Сами изученные данные содержат больше информации и могут отражать характеристики самих данных.
- Стоимость обучения выше, и требуется больше вычислительных ресурсов.
- Требуемое количество образцов больше, а эффект обучения тем хуже, чем меньше образцов.
- Плохая производительность при выводе.
- Его можно преобразовать в дискриминант при определенных условиях.
Дискриминантные признаки
- Смоделируйте условные вероятности, чтобы узнать оптимальные границы между различными классами.
- Он фиксирует информацию о различиях различных категорий объектов, не изучает собственную информацию о распределении и не может отражать характеристики самих данных.
- Стоимость обучения ниже, и требуется меньше вычислительных ресурсов.
- Количество требуемых образцов может быть меньше, и обучение может быть выполнено с меньшим количеством образцов.
- Имеет лучшую производительность в прогнозировании.
- Не удалось преобразовать в производство.
------------- Рекомендуем прочитать ------------
Зачем писать «Анализ проектирования ядра Tomcat»
2018 Алгоритмы структуры сводных данных
Сборник статей по машинному обучению за 2018 г.
Сводка статей о глубине Java за 2018 г.
Резюме по обработке естественного языка за 2018 г.
Резюме глубокого обучения за 2018 г.
Сводка статей об исходном коде JDK за 2018 г.
Обзор Java Concurrency Core за 2018 г.
Поговори со мной, задай мне вопросы:
Добро пожаловать, чтобы следовать: