Отслеживание эволюции интересов пользователей — интерпретация документов DIEN

0. Скажи это сразу

Эта статья была опубликована в течение некоторого времени, но, поскольку это классическая идея представления информации о пользовательских временных рядах для извлечения интереса пользователей, все же необходимо изучить некоторые технические детали.

Личный опыт:

1. Поведение пользователя можно рассматривать как последовательные функции (улучшение по сравнению с DIN)
2. Скрытые переменные GRU/LSTM — анализ интересов, стоящих за поведением пользователей
3. Внимание — зафиксируйте корреляцию между интересами пользователей в разные моменты времени и текущим рекомендуемым элементом и узнайте недавний интерес пользователя к рекомендуемому элементу.

Оригинальный адрес:

АР Вест V.org/PDF/1809.03…

Оригинальный код:

GitHub.com/Mouna99/Вниз…

1. Предпосылки

В сценарии с рекомендацией продукта интересы пользователя со временем меняются. В настоящее время основные рекомендательные алгоритмы в отрасли обычно рассматривают поведение пользователя как интерес и не имеют специального метода моделирования интереса.

Чтобы реализовать моделирование интереса пользователя, Alibaba предложила модель DIEN (Deep Interest Evolution Network). На основе DIN (Deep Interest Network) в этом документе предлагаются два основных новшества:

1. Представьте последовательность интересов пользователя и смоделируйте последовательность интересов
2. Моделирование изменений интересов пользователей

Соответственно, в статье заложена следующая двухслойная структура модели:

1. Уровень извлечения интересов, который извлекает абстрактные представления интересов пользователей через последовательности покупок пользователей.
2. Уровень эволюции интересов, моделирование для представления изменения интересов пользователя.

Окончательный результат рекомендации получается путем вычисления степени корреляции между элементами-кандидатами, которые должны быть рекомендованы, и недавними интересами пользователя, а также путем объединения характеристик пользователя и контекстуальных характеристик.

2. Архитектура модели

В этом разделе подробно представлена ​​модельная архитектура DIEN. Сосредоточьтесь на уровне извлечения ключевых интересов и уровне эволюции интересов.

2.1 Архитектура модели

Основная структура DIEN аналогична DIN, и последовательность поведения пользователя здесь в основном оптимизирована. Чтобы реализовать моделирование интереса пользователя, DIEN проектирует часть последовательности поведения пользователя на три уровня: слой поведения пользователя, слой поведения, слой извлечения интереса, слой извлечения интереса и слой эволюции интереса, уровень развития интереса. Среди них слой поведения пользователя — это слой ввода модели, который вводит последовательность поведения пользователя для элементов; слой извлечения интересов обрабатывает временные ряды и моделирует интересы пользователя; слой эволюции интересов извлекает самые последние интересы пользователя, связанные с элементами. быть рекомендованным.

2.2 Уровень извлечения процентов

Поскольку входными данными слоя поведения пользователя является последовательность поведения пользователя, естественно подумать об использовании модели последовательности в области обработки естественного языка для моделирования последовательности поведения пользователя и использовать неявное состояние внутри модели для представления пользовательской последовательности. интерес.

Здесь бумажная схема использует GRU для обработки встраивания поведения пользователя. На самом деле также возможно заменить GRU на LSTM/RNN, который по существу моделирует и прогнозирует данные последовательности. По сравнению с LSTM, GRU имеет более простую структуру, меньше параметров и может сходиться быстрее. По сравнению с простой RNN, GRU может обрабатывать более длинные данные последовательности и имеет лучшие возможности памяти. В документе используется GRU для обработки последовательностей поведения пользователей следующим образом.

На самом деле это стандартный метод расчета GRU.Гибкий блок GRU суммирует историческую информацию пользователя, поглощает текущую информацию и получает скрытое состояние пользователя. Скрытое состояние здесь можно абстрагировать как текущий интерес пользователя, то есть в формуле (5)$h_{t}$.

2.3 Слой эволюции интересов

Слой эволюции интереса получает интерес в каждый момент времени в последовательности пользователя, рассчитанный слоем извлечения интереса, в качестве входных данных, и путем вычисления корреляции с текущим рекомендуемым элементом получается эволюция интереса пользователя к рекомендуемому элементу, и то получается недавняя рекомендация пользователя, связанная с элементом. Для конкретного метода реализации в документе представлен механизм внимания к скрытому состоянию ГРУ для расчета веса рекомендуемых продуктов для различных интересов.$a_{t}$.

Приведенная выше формула$e_a$Это встроенное представление предмета, который следует рекомендовать, исходя из интереса пользователя в каждый момент времени.$h_{t}$(то есть выходные данные слоя извлечения процентов) и нормализованы к диапазону значений 0–1, чтобы получить вес процентов в каждый момент времени.

Учитывая интерес пользователя в каждый момент, как вывести недавний интерес пользователя, связанный с рекомендуемым элементом? В статье предлагается блок ворот обновления внимания AUGRU (GRU с воротами обновления внимания).

AUGRU улучшил механизм обновления GRU, уделив особое внимание внедрению механизма внимания. В AUGRU рассчитанный коэффициент обновления$u_{t}$, который необходимо умножить на весовой коэффициент внимания в качестве окончательного коэффициента обновления, а затем применить к процессу вычисления скрытого состояния, чтобы получить скрытое состояние в текущий момент.

2.4 Рассуждение

Слой рассуждений DIEN в основном такой же, как структура DIN, и это также текущее основное решение для рекомендации сетевых моделей. Выходные данные слоя эволюции интереса (интерес пользователя к рекомендуемому элементу в текущий момент), векторное представление встраивания рекомендуемого элемента, а также векторное представление пользователя и функция контекста окружающей среды каскадируются и отправляются в полностью связанный слой для вывода, и получается окончательный результат рекомендации модели.

При выборе оптимизатора бумага не сильно влияет на дизайн, и можно выбрать обычно используемый SGD/ADAM.

3. Эффекты

Поскольку есть опубликованная статья, эффект, естественно, лучше, чем у текущей основной модели, поэтому я не буду здесь вдаваться в подробности. Однако в промышленности обычно необходимо сбалансировать эффект улучшения модели и стоимость обслуживания.Видно, что DIEN имеет определенное улучшение по сравнению с классическим широким и глубоким.Однако нет сомнений в том, что сложность модели соответственно намного выше.Поэтому модель нужно подбирать по ситуации.

4. Резюме

Этот документ знакомит с моделью DIEN и фокусируется на проектных точках модели, включая уровень извлечения интересов и уровень эволюции интересов. Уровень извлечения интересов использует RNN (здесь используется GRU) для моделирования последовательности поведения пользователя и извлечения интересов пользователей; уровень эволюции интересов встраивает механизм Attention в GRU через AUGRU и вычисляет вес рекомендуемых элементов, обработанных интересами пользователя в момент времени. различные исторические моменты, а затем получить интерес пользователя к рекомендуемым объектам в текущий момент.