Используйте график знаний, чтобы узнать, о чем думает рекомендательная система.

предисловие: В этой статье будет представлена статья SIGIR 2018 «Улучшение последовательных рекомендаций с помощью сетей памяти с расширенными знаниями», в надежде вдохновить всех.

автор этой статьи: Ян Куньлинь, студент бакалавриата 2015 года, в настоящее время исследующий графы знаний и рекомендательные системы, из Пекинской ключевой лаборатории методов управления и анализа больших данных Китайского университета Жэньминь.

Примечание. Эта статья была впервые опубликована в Zhihu [Станция интеллектуальной разведки RUC], при необходимости перепечатки просьба сообщить об этом автору и указать адрес данной рубрики

введение

Когда я часто захожу на сайты с покупками, мое внимание привлекают рекомендации на главной странице, часто я просто хочу купить небольшой товар, но это стоит много времени и денег, чтобы его порекомендовали. Иногда я думаю, что, хотя рекомендуемые продукты очень привлекательны, причины, по которым они дают эти рекомендации, часто неизвестны. В документе SIGIR 2018, который будет представлен в этой статье, предлагается новая сериализованная модель рекомендаций KSR (Knowledge-enhanced Sequential Recommender), которая использует графы знаний и сети памяти для повышения точности результатов рекомендаций и получения более подробной информации. интерпретируемость рекомендательных систем.

фон проблемы

Я считаю, что рекомендательные системы известны не всем, и многие интернет-компании также приложили немало усилий для создания рекомендательных систем. Чтобы дать точные рекомендации, сначала необходимо понять, о чем думают пользователи и что их интересует. Часто это не статично и будет меняться в зависимости от действий пользователей на платформе. Ввиду этого, по сравнению с предыдущими методами рекомендаций, такими как совместная фильтрация, академическое сообщество предлагает сериализованную систему рекомендаций, основанную на нейронной модели временных рядов, которая использует рекуррентную нейронную сеть (RNN) для захвата динамических изменений интереса пользователя. точки со временем.

При моделировании сериализованных рекомендаций записи прошлых взаимодействий пользователя обычно используются в качестве входных данных, а вектор скрытого состояния используется для кодирования каждой записи взаимодействия, чтобы представить предпочтения пользователя в последовательности. Однако этот подход имеет дванедостаточность:

Он учитывает только предпочтения пользователя последовательности, но игнорирует подробные пользовательские предпочтения, например, какой атрибут элемента нравится пользователю;
Неявное представление вектора признаков в процессе рекомендации слишком абстрактно, чтобы объяснить результаты рекомендаций.

Решения

Основной вклад этой статьи заключается в использованииСеть памяти для интеграции информации базы знаний, который не только повышает точность, тщательно характеризуя предпочтения пользователя в отношении атрибутов элемента, но также повышает интерпретируемость рекомендательной системы.

Чтобы зафиксировать пользовательские предпочтения для атрибутов элемента и улучшить интерпретируемость, этот документ объединяет информацию базы знаний с информацией о товарах.

Для интеграции информации базы знаний с рекомендательной системой, в этой статье используются сети памяти ключ-значение.

конкретные методы

Поскольку из записи взаимодействия между пользователем и продуктом может быть отражена только скрытая семантическая модель продукта, недостаточно более подробно описать предпочтения пользователя в отношении продукта. в базе знаний представлены характеристики рекомендуемых элементов в различных атрибутах, что позволяет не только более подробно описывать элементы, но и повышать интерпретируемость. Например, у песни есть такие атрибуты, как певец, альбом и т. д. Через базу знаний мы можем узнать конкретные сущности, соответствующие этим атрибутам, а с помощью метода встраивания (например, TransE) контекстную информацию (контекст) этого объекта в базе знаний можно преобразовать во вложения, также известные как векторы представления признаков. Базой знаний, выбранной в этой статье, является FreeBase, которая связывает товары в наборе данных с существующими объектами в базе знаний. Пока что каждый элемент имеет вектор представления признаков, полученный из истории транзакций (здесь мы используем байесовский метод). персонализированное ранжирование), вектор представления признаков также получается поверх каждого из его атрибутов.

Что касается того, как получить вектор представления признаков в объекте, вот пример TransE. Каждая часть данных в базе знаний представляет собой тройку, и каждая тройка содержит две сущности и связь между сущностями, например (головная сущность A, связь R, хвостовая сущность B). Мы надеемся, что представление сущности A + отношение R и сущности B в пространстве максимально приближено, а британская драма Шерлок Холмс (головная сущность A) + игра в главных ролях (отношение R) должна быть примерно равна Бенеди (хвостовая сущность B) .

$实体_{福尔摩斯}+关系_{主演}\approx 实体_{本尼迪}$

В отличие от фактического понимания, каждая сущность и связь в базе знаний являются вектором в пространстве, и мы можем получить соответствующий вектор представления признаков путем обучения, минимизируя ошибку триплета. Но теперь есть проблема, в главных ролях не только Бенеди, но и Мартин, так как же отличить Бенеди от Мартина? Для каждого целевого объекта в этой статье не используется напрямую вектор представления признаков целевого объекта, а используется метод вектора представления признаков объекта + вектор представления признаков отношения. Например, для Бенеди вместо прямого использования вектора представления признаков Бенеди в качестве вектора представления признаков атрибута режиссера фильма «Аватар» используется векторная сумма представлений признаков британской драмы «Шерлок Холмс + главные роли». Следующая формула представляет атрибут элемента i e_a^i сущность по элементу i e_i и связанное с ним свойство a r_a представить сумму отношений.

e_a^i=e_i+r_a

Конечно, каждый объект имеет так много атрибутов, и сшивание векторов представления признаков каждого атрибута требует слишком больших вычислительных затрат. В этой статье каждый вектор атрибутов взвешивается и суммируется для получения вектора m_i^u для представления детальных интересов каждого пользователя, где веса

$w_{t,u,a}$ Для внимания пользователя к каждому атрибуту указан ключ веса и атрибута v_a^u связано с текущим предпочтением последовательности, как показано в следующей формуле:

$m_i^u\leftarrow \sum_{a=1}^{A}{w_{t,u,a}\cdot v_a^u}$

Затем, после решения проблемы мелкозернистого представления и интерпретируемости, пора подумать о том, как совместить его с моделью сериализованных рекомендаций. В этом документе используется закрытая рекуррентная нейронная сеть (Gated Recurrent Unit, GRU) для построения сериализованной модели рекомендаций.Однако, хотя GRU может запоминать информацию о нескольких соседних узлах, для долговременной памяти для хранения информации об объектах базы знаний память GRU по-прежнему слишком короткий. Поэтому в этой статье представлены сети памяти для хранения информации о различных атрибутах и взаимодействия с базой знаний.

Сети памяти используют точные механизмы памяти для решения проблемы информационной памяти в нейронных сетях. Он использует внешний массив для хранения данных, которые нужно «запомнить», этот массив может многократно считываться нейронной сетью, а информация, хранящаяся в массиве, также может обновляться или расширяться. В этой статье при использовании сети памяти для управления атрибутами элемента, учитывая, что каждый атрибут элемента относительно независим, эта статья расширяет базовую сеть памяти и использует сети памяти ключ-значение (KV-MN) для лучшего использования. ключ — это отношение в базе знаний, а значение — соответствующий объект. Следует отметить, что ключи представляют отношения между элементами и атрибутами и не имеют ничего общего с пользователями, поэтому все пользователи используют одну и ту же матрицу ключей; и разные пользователи имеют разные предпочтения для разных атрибутов, поэтому матрица значений является частной для пользователя. У каждого пользователя своя матрица значений. Нетрудно обнаружить, что элементы в рекомендательной модели и пары ключ-значение в сети памяти как раз соответствуют тройкам базы знаний (элемент, ключ (атрибут), значение).

Теперь проблема трансформируется в комбинацию сети памяти и ГРУ. Для одновременного рассмотрения предпочтения пользователя в отношении последовательности и предпочтения атрибута товара в каждом узле, рекомендованном ГРУ, может быть получен вектор представления предпочтения последовательности, а предпочтение пользователя для каждого атрибута может быть получено путем запроса сети памяти с помощью ключевое значение этого вектора Express. Новый вектор, полученный объединением двух векторов, может более полно описывать атрибуты пользователя, включая не только предпочтения пользователя в последовательности, но и подробные предпочтения пользователя в отношении атрибутов объекта. Общий процесс может относиться к следующему рисунку:

Из приведенного выше рисунка также видно, что для сети памяти с парой ключ-значение существует процесс записи (write) и чтения (read), который также является второй основной операцией сети памяти. Для операции чтения согласно вышеизложенному необходимо ввести запрос, то есть вектор предпочтения последовательности в текущий момент $\tilde{h}_t^u$ , согласно этому вектору, как было сказано выше, окончательный вектор предпочтения получается после взвешенного суммирования вектора предпочтения последовательности и количества элемента предпочтения атрибута m_t^u .

$m_t^u\leftarrow READ(\{(k_1,v_1^u), ...,(k_A,v_A^u)\},\tilde{h}_t^u)$

Для операции записи цель состоит в том, чтобы обновить степень интереса к каждому атрибуту в соответствии с интересующим элементом в текущий момент, поэтому необходимо одновременно учитывать два фактора: вектор представления признаков текущего элемента и вектор предпочтений атрибутов текущего пользователя. Чтобы определить, сколько информации следует обновить для каждого атрибута, в этой статье сначала вычисляется вектор вентиля z_a, с помощью которого обновляется вектор предпочтения атрибута. Рассмотрение вектора ворот является вектором представления характеристик элемента. v_a^u вектор представления признаков с соответствующими атрибутами e_a^i , подробности см. в следующей формуле:

$z_a=sigmoid(v_a^{u\top}\cdot e_a^i)$

$v_a^u\leftarrow (1-z_a)\cdot v_a^u+z_a\cdot e_a^i$

После такого обновления модель в этой статье может в течение длительного времени обнаруживать предпочтения пользователя на уровне атрибутов пользователя и своевременно обновлять их в системе рекомендаций. Операция записи выглядит следующим образом:

$\{v_1^u,...v_A^u\}^{new}\leftarrow WRITE(\{(k_1,v_1^u), ...,(k_A,v_A^u)\}^{old},e_i)$

Модель этой бумаги показана на следующем рисунке:

Сначала сеть GRU получает вектор представления интересов пользователя в соответствии с памятью ближнего действия; затем сеть памяти пары ключ-значение получает вектор представления подробного пользовательского предпочтения в соответствии с вектором представления GRU и вектором представления признаков сам продукт и соединяется с вектором интереса последовательности; наконец, в соответствии с весом каждого интереса пользователя можно объяснить причину системы рекомендаций.

Как отразить интерпретируемость модели, можно увидеть на следующем рисунке:

Диаграмма иллюстрации процесса рекомендации

Верхняя строка на рисунке представляет ось времени; вторая строка представляет атрибуты каждого продукта, то есть ключи в сети памяти, здесь в качестве примеров мы берем певцов и альбомы; третья строка представляет список рекомендаций, сгенерированный каждым атрибут. Из второй строки на рисунке видно, что в начале инициализации рекомендательная система считает, что пользователь предпочитает альбом песни (в начале вес певца меньше, цвет рамки светлее, вес альбома больше, а цвет темнее); Со временем рекомендательная система постепенно обнаружила, что пользователь предпочитает исполнителя песни, а не альбом (коробка исполнителя становится темнее, а альбом светлее) . Из третьей строки видно, что оценка рекомендательной системы в начале неверна, и сгенерированный список рекомендаций не так точен, но чем больше время, тем точнее оценка, а также указана причина рекомендации. , Пользователь хочет послушать эту песню исполнителя вместо этого альбома.

Суммировать

Ввиду того, что сериализованная рекомендательная система не имеет интерпретируемости и не может получить детализированные характеристики пользователей, в этой статье предлагается использовать сеть памяти в сочетании с базой знаний для повышения способности захвата характеристик и интерпретируемости рекомендательной системы, которая не только обеспечивает более высокую точность, но и делает рекомендательную систему более понятной. И экспериментальные результаты показывают, что модель имеет значительный прорыв в точности и интерпретируемости, чем предыдущие модели.

Ссылка на оригинальный текст статьи:disk.baidu.com/yes/1ww HP HB JY…Пароль: v19f

(Материалы SIGIR 2018 еще не вышли, вместо них будет использоваться сетевой диск)