Сегодня многие компании разрабатывают рекомендательные системы, тесно связанные с их бизнесом. Как интеллектуальный рекомендательный продукт, разработанный 4Paradigm, Xianjian расширил возможности многих клиентов СМИ в индустрии контента и добился роста доходов клиентов. В этой статье мы кратко представим основные существующие алгоритмы рекомендаций и то, как они работают.

Совместная фильтрация

Коллаборативная фильтрация (CF) является одним из наиболее часто используемых алгоритмов рекомендаций. Даже новичок в системе рекомендаций может легко начать работу и использовать ее для создания своей личной системы рекомендаций фильмов.

Когда мы хотим что-то порекомендовать пользователю, логичнее всего будет найти других пользователей со схожими интересами с этим пользователем, проанализировать их поведение, а затем порекомендовать этот же товар нашему пользователю. Или мы можем посмотреть на историческое поведение пользователя и порекомендовать похожие элементы.

Выше приведены два основных метода в CF: совместная фильтрация на основе пользователей и совместная фильтрация на основе элементов.

Что означает «наиболее похожий» в алгоритме?

Вектор предпочтений для каждого пользователя (каждая строка матрицы R) и вектор оценок пользователей для каждого продукта (каждый столбец матрицы R) известны.

Во-первых, оставьте только известные значения двух векторов.

Во-вторых, предположим, что мы хотим сравнить двух пользователей Билла и Джейн, как видно из рисунка, пользователь Билл не видел «Титаник», а пользователь Джейн не видел «Бэтмена», поэтому мы можем пройти только «Звездные войны». », чтобы измерить сходство между ними. Что касается сходства, обычно измеряется косинусное сходство или корреляция между векторами пользователя/элемента.

Последним шагом является заполнение пустых ячеек таблицы взвешенным средним арифметическим на основе схожести пользователей.

Матричная факторизация в рекомендациях

Другой способ - использовать матричную факторизацию, этот алгоритм рекомендаций относительно более «элегантен». В общем, когда дело доходит до матричной факторизации, мало кто задумывается о том, какие элементы останутся в столбцах и строках результирующей матрицы. Используя этот алгоритм рекомендации, мы можем видеть, что u — вектор интереса i-го пользователя, а v — вектор параметров j-го фильма.

Следовательно, можно аппроксимировать скалярное произведение u и v как x (рейтинг от i-го пользователя до j-го фильма), построить вектор с известными оценками и использовать их для предсказания неизвестного рейтинга.

Например, после матричной факторизации мы получаем вектор пользователя Теда (1,4, 0,9) и вектор фильма А (1,4, 0,8), затем просто вычисляем скалярное произведение векторов (1,4, 0,9) и (1,4, 0,8), мы можем получить рейтинг A-Ted и результат 2,68.

кластеризация

Предыдущие алгоритмы рекомендаций довольно просты, и такие алгоритмы обычно подходят для небольших рекомендательных систем. Итак, представьте, что мы создаем большую рекомендательную систему, в которой совместная фильтрация и матричная факторизация заняли бы много времени. Первое, что мы должны сделать на этом этапе, — это кластеризация.

В начале бизнеса не хватает предыдущих оценок от пользователей, и лучшим подходом является кластеризация.

При наличии достаточного количества данных лучше всего использовать кластеризацию в качестве первого шага в сужении соответствующих вариантов совместной фильтрации. Кроме того, кластеризация также может повысить производительность сложных рекомендательных систем.

Каждый кластер представляет собой типичный класс пользователей. На основе профилей интересов пользователей в пользовательском кластере пользователи в кластере также получат соответствующие результаты рекомендаций.

Рекомендуемые методы глубокого обучения

За последние 10 лет технологии нейронных сетей достигли огромного прогресса. Сейчас нейронные сети широко используются в различных сферах и постепенно вытесняют традиционные методы машинного обучения. Далее давайте проанализируем, как YouTube использует методы глубокого обучения.

Нет сомнения, что построение рекомендательной системы для такого бизнес-сценария является очень сложной задачей из-за большого количества пользователей, динамического корпуса и различных неконтролируемых внешних факторов.

Согласно соответствующим исследованиямDeep Neural Networks for YouTube Recommendations, алгоритм рекомендательной системы YouTube состоит из двух наборов нейронных сетей: одного для генерации кандидатов и одного для ранжирования. Вот основные выводы исследования:

Принимая исторические события пользователя в качестве входных данных, мы значительно сокращаем количество видео через сеть генерации кандидатов, а затем создаем набор наиболее релевантных видео из большого корпуса.

Сгенерированные кандидаты наиболее релевантны пользователю, а затем прогнозируется ранг кандидата. Цель этой сети — предоставлять персонализированные рекомендации посредством совместной фильтрации.

На этом этапе будет небольшое количество кандидатов, похожих на пользователя. Далее нам нужно все более и более тщательно анализировать этих кандидатов, чтобы принять наилучшее решение — эту задачу выполняет рейтинговая сеть.

Сеть ранжирования может оценивать каждое видео на основе целевой функции, которая использует данные, описывающие видео, и информацию, связанную с поведением пользователя. Видео с самым высоким рейтингом сортируются по количеству баллов и представляются пользователю.

После двух вышеперечисленных шагов мы можем выполнить операцию, точно рекомендуя огромный набор видео пользователям, при этом гарантируя, что несколько видео по-прежнему являются персонализированными рекомендациями.

Источник статьи:Recommendation System Algorithms

Приведенный выше контент составлен по четвертой нормальной форме — первой рекомендации.