0. Пишите впереди
Ранее мы представили основные моменты модели FM, а также упомянули ее влияние в области рекомендаций. В этой статье мы поговорим о рекомендательной модели, объединяющей нейронную сеть и FM-DeepFM, а другие связанные модели будут представлены в последующих статьях.
Личный опыт:
- Сочетание возможности комбинации признаков высокого порядка MLP и возможности пересечения признаков низкого порядка FM
- Представление архитектуры DNN модели FM
- Параллельная конструкция моделей
Адрес бумаги:
Код диссертации:
1. Предпосылки
Было показано, что модели FM оказывают значительное влияние на сценарии отраслевых рекомендаций. С учетом того, что нейронная сеть глубокого обучения находится в самом разгаре, существует ли метод, который может умело сочетать способность FM-модели обрабатывать низкоуровневые пересечения функций и комбинацию функций высокого уровня модели DNN, и в то же время использовать преимущества как в рекомендательных сценариях? Ответ положительный.Харбинский технологический институт и Huawei предложили рекомендательную модель DeepFM с параллельной структурой, которая хорошо поддерживает эту функцию. Далее будет представлен общий дизайн модели из трех частей архитектуры модели DeepFM, модуля FM и модуля DNN.
2. Архитектура модели
Структура модели DeepFM показана на рисунке.
Вся модель разделена на две части: FM-часть и DNN-часть. Часть FM использует нейронную сеть для реализации представления традиционной модели FM, а часть Dnn представляет собой многослойную нейронную сеть, Наконец, выходные данные двух частей суммируются, и результат рекомендации получается через softmax.
3. FM part
Модуль FM используется для встраивания традиционных моделей FM в DeepFM. Модель нейронной сети FM показана на рисунке ниже.
Сначала посмотрите на входной слой и слой внедрения FM-модуля. Слой ввода и слой внедрения FM-модуля ничем не отличаются от текущей основной практики и разделены на два этапа:
- Однократное кодирование функций категорий с последующим слоем встраивания
- Прямое встраивание непрерывной функции
В слое встраивания размерность встраивания каждого поля признаков имеет то же значение, что и размерность вектора k в традиционной модели FM. После встраивания войдите на уровень вычислений FM. Метод расчета, реализованный вычислительным уровнем FM, здесь полностью согласуется с традиционной моделью FM, как показано в следующей формуле. Элемент признака первого порядка взвешивает и суммирует нейроны во входном слое модели, а элемент перекрестного признака второго порядка пересекает каждый вектор слоя встраивания, В это время вес каждого вектора встраивания равен 1. Затем член признака первого порядка и член признака второго порядка суммируются и добавляются, чтобы полностью реализовать процесс вычисления FM.
4. DNN part
Часть DNN DeepFM по-прежнему использует реализацию многослойной нейронной сети MLP, как показано на следующем рисунке.
Входной слой и уровень внедрения модуля DNN точно такие же, как у FM, поэтому я не буду здесь вдаваться в подробности. Модуль DNN соединяет каждый вектор в слое внедрения по горизонтали, а затем отправляет его в многослойную нейронную сеть для реализации комбинации признаков высокого порядка. Наконец, выходные данные модуля FM и выходные данные модуля DNN суммируются и передаются через уровень softmax для получения окончательного вывода модели.
5. Резюме
В качестве классического модельного случая применения глубокого обучения к рекомендательным сценариям DeepFM сочетает в себе преимущества модели FM и модели MLP, разрабатывает модуль FM для реализации пересечения функций второго порядка и объединяет многоуровневую нейронную сеть для улучшения. особенность кроссовера высокого порядка модели.