Ежегодная KDD открылась в этом году в Лондоне, Великобритания, с 19 по 23 августа. Как ведущая международная конференция по интеллектуальному анализу данных, она ежегодно привлекает ведущие мировые технологические компании, включая Google, Microsoft и Alibaba, и Ant Financial не является исключением.

Полное название KDD — ACM SIGKDD Conference on Knowledge Discovery and Data Mining. В Лондоне проходила KDD 2018. В этом году KDD привлекла в общей сложности 1480 статей со всего мира, всего было включено 293 статьи с процентом одобрения менее 20%. Ant Financial также выбрал несколько статей.

Вопрос, где можно скачать эти документы? Пожалуйста, обратите внимание на эту учетную запись «Ant Financial Technology» и ответьте в диалоговом окне публичной учетной записи «KDD", вы можете получить пакет для скачивания диссертации! Желаю вам счастливой учебы!

Кроме того, в прошлом году Ant Financial также участвовала в различных ведущих международных академических конференциях, включая AAAI, NIPS, ICML, CVPR, ACL (вы можете напрямую щелкнуть ссылку, чтобы прочитать) и т. д. В сочетании с инновационными исследованиями и применением реальные бизнес-сценарии.Для Ant Financial публикация статей на ведущих научных конференциях имеет два значения: во-первых, способствовать развитию самых передовых исследований в области искусственного интеллекта и в то же время тесно интегрировать академические и прикладные сценарии. Ant Financial имеет большое количество сценариев применения, от исследований до внедрения, эти технологии могут действительно принести пользу сотням миллионов пользователей и действительно предоставить миру равные возможности.

В этой статье интерпретируются три выдающихся документа Ant Financial, которые на этот раз были выбраны KDD, и рассказывается о том, как интеллектуальный анализ данных + искусственный интеллект могут защитить безопасность вашей учетной записи, выявить мошенничество со страховкой и дать персональные рекомендации для пользователей. Давайте учиться вместе~

1. «Кто ест фрахт?» Выявление мошенничества со страхованием фрахта на основе обучения по графу

Название диссертации:

Кто-украл-почту? Обнаружение мошенничества в Rrturn - Претензии по страхованию грузов

Авторы: Лян Чен, Лю Цзыци, Лю Бинь, Чжоу Цзюнь, Брюс Ли

Адрес бумаги:

https://github.com/chenlianMT/Who-Stole-the-Postage-/blob/master/return-freight-insurance.pdf

1.1 Предисловие

В интернет-магазинах страхование доставки стало почти обязательным компаньоном при покупке с рук - оно позволяет покупателям делать покупки с уверенностью, не беспокоясь о том, что «товар находится не на той тарелке» и необходимости нести расходы по доставке при возврате. когда они хотят вернуться. Тем не менее, крупномасштабный объем страхования грузов также породил множество мошеннических страховых компаний.

В этой статье, основанной на традиционном контроле рисков грузовых перевозок, подробно рассказывается, как отдел искусственного интеллекта Ant Financial использует графовое обучение для выявления более мошеннических действий.

Друзья, которые часто делают покупки в Интернете, возможно, уже знакомы со страхованием доставки: покупка одежды, но с разницей в цвете, сожаление после импульсивных покупок, поиск более дешевых товаров в других магазинах, в этих ситуациях возврат является обычным явлением для привлекательности покупателей. С ростом онлайн-покупок вопрос о том, оплачивается ли стоимость обратной доставки покупателем или продавцом, вызывает огромное количество споров.Нереалистично полагаться исключительно на персонал службы поддержки для разрешения этих споров. Чтобы защитить «право покупателей сожалеть» о своих покупках, появилось страхование грузов.

После покупки страховки доставки покупатели могут запросить возврат до подтверждения получения. Фрахт, необходимый для возврата, должен нести страховая компания. Для большинства страховок доставки покупка заказа стоит всего несколько центов, а обратная доставка стоит несколько долларов. Если фактического возврата не происходит или фактическая стоимость обратной доставки ниже, чем компенсация страховой компании, пользователь может получить выгоду в несколько раз. Появились также мошеннические действия в отношении страхования грузов.

Из-за огромного количества ежедневных претензий по страхованию грузов невозможно вручную проверить, есть ли злонамеренное мошенничество по каждой претензии. Традиционный контроль рисков фрахтовых рисков в основном оценивает уровень риска отдельной учетной записи в Интернете с помощью набора стратегий. Основываясь на стратегиях и фокусируясь на одной учетной записи, он часто не может охватить все мошеннические действия; в этой статье основное внимание уделяется построению сети взаимосвязей учетных записей (т. е. графа взаимосвязей) и использованию метода нейронной сети для извлечения информации из графа взаимосвязей.

В данной статье проблема мошеннической страховой идентификации определяется как двухкатегориальная проблема счета, а маркировка двухкатегорий исходит из стратегии управления фрахтовым риском. В процессе решения этой проблемы мы обнаружили, что поведенческие характеристики (поведение при покупках, поведение в Интернете и т. д.) не могут эффективно отличить «обычные учетные записи» от «мошеннических учетных записей». Это происходит главным образом потому, что средства мошенничества со страховкой являются профессиональными, разнообразными и преднамеренно скрытыми. Однако связь между учетными записями зачастую более стабильна и ее труднее скрыть. Но как построить отношения между учетными записями, чтобы сделать различие между «обычными учетными записями» и «мошенническими учетными записями» выше?

Вот три стиля композиции, которые мы пробовали:

На диаграмме перевода каждый узел представляет собой учетную запись, которая отображает поведение перевода в Alipay. График совместного использования устройств включает два узла: учетную запись и устройство.Если учетная запись выполнила вход на устройстве, между учетной записью и устройством существует граница.

Можно заметить, что модели отношений между «обычными пользователями» и «бандами мошенников» на диаграмме совместного использования устройств совершенно разные. Наконец, мы выбрали общий образ устройства в качестве объекта композиции.

После получения графа и поведенческих характеристик естественным выбором является алгоритм графовых нейронных сетей (GNN) [1]. GNN — это класс алгоритмов, которые могут изучать информацию об узлах в графе. Каждый узел в алгоритме GNN постоянно циркулирует и обновляет свои исходные характеристики, изучая особенности своих соседей. После нескольких раундов обновлений узел в графе будет содержать информацию о многих своих соседях вокруг него. То есть в k-м обновлении информация узла v:

где u — сам узел v или его соседи, AGG — формула для изучения информации о соседях (например, прямое сложение и т. д.), а sigma — функция активации.

В работе по страхованию грузов мы используем алгоритм GeniePath, основанный на идее GNN [2]. GeniePath адаптивно выбирает ценную информацию о соседях для интеграции информации AGG, например, выбирает соседние узлы, аналогичные своему собственному узлу. который:

Например, есть три взаимосвязанных аккаунта, два из которых активны поздно ночью и имеют очень короткое время регистрации, а другой аккаунт ведет себя нормально. Тогда мы можем обоснованно предположить, что корреляция между первыми двумя учетными записями сильнее.

На данных о страховании грузов для сравнительных экспериментов используются метод графового обучения GeniePath, метод неконтролируемого графового обучения node2vec [3] и неграфический метод обучения GBDT [4], и обнаружено, что F1 GeniePath лучше , то есть GeniePath лучше подходит под стратегию. В то же время дополнительные черные продукты, захваченные GeniePath, составили более 35% черных образцов, захваченных стратегией, и общее количество черных образцов увеличилось на значительную величину. После экспертной выборки и оценки точность реальной черной пробы выше 40%, что более чем на 20% лучше по сравнению с методом GBDT.

1.2 Резюме

До сих пор мы суммировали следующие вопросы в проблеме мошенничества при страховании грузов: (1) как составить изображение; (2) как эффективно различать классификацию на изображении; (3) как оценить эффективность каждого алгоритма. Я надеюсь, что идеи, изложенные в этой статье, помогут найти ссылки на другие работы по борьбе с мошенничеством.

1.3 Ссылки

[1] Hamilton W, Ying Z, Leskovec J.Inductive representation learning on large graphs. In Advances in Neural Information Processing Systems 2017 (pp. 1025-1035).

[2] Liu Z, Chen C, Li L, Zhou J, Li X, Song L. GeniePath: Graph Neural Networks with Adaptive Receptive Paths. arXiv preprintarXiv:1802.00910. 2018 Feb 3.

[3] Grover A, Leskovec J. node2vec: Scalable feature learning for networks. In Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining 2016 Aug 13(pp. 855-864). ACM.

[4] Chen T, Guestrin C. Xgboost: A scalable tree boosting system. InProceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining 2016 Aug 13 (pp. 785-794).ACM.

2. GeniePath: нейронная сеть на графе, которая автоматически фильтрует множество «соседей».

Название диссертации:

GeniePath: Graph Neural Networks with Adaptive Receptive Paths

Авторы: Лю Цзыци, Чэнь Чаочао, Ли Лунфэй, Чжоу Цзюнь, Брюс Ли, Сун Ле

Адрес бумаги:

https://arxiv.org/abs/1802.00910

2.1 Обзор

Основная цель этой статьи — представить новый метод графовых нейронных сетей (GNN), GeniePath [4]. В одном предложении: GeniePath следует вычислительной структуре GNN, которая характеризуется автоматическим выбором полезной информации о соседях в соответствии с целью оптимизации для создания функций узла (встраивание).

2.2 Что такое графовая нейронная сеть (GNN)? Что можно сделать?

2.2.1 Что может GNN?

Задача машинного обучения выглядит так: мы предполагаем, что существует основная функция истины, которую знает только Бог.

, Бог случайным образом генерирует некоторые данные. Мы можем наблюдать только данные

, но не знаю, что это за функция наземной истины. Мы хотим использовать алгоритмы машинного обучения на основе наблюдаемых данных.выучить функцию,надеятьсяМожет хорошо работать с невидимыми данными, т.е.Подход. Итак, мы рассмотрим модель машинного обучения.Может что-то сделать или превзойти другую модельМолодец, можно начать с двух пунктов:

1.

Отношение к работе на тестовых данныххорошо? Это эмпирический показатель, который можно проверить только с помощью дополнительных данных и экспериментов;

2.Если бы мы знали заранее ту функцию, которую знает только Бог, то мы видимикто может выразитьпространство решения? Тот, кто может выразить это оптимальное пространство решений, с большей вероятностью получит лучшее решение.(Примечание: на практике, даже если оптимальное решение может быть выражено, оно может быть не в состоянии решить оптимальное решение, что включает теорию оптимизации, которая выходит за рамки этой статьи).

Так хорошо, давайте сначала найдем каштан и проверим его с помощью метода 2: предположим, что мы случайным образом генерируем много связных подграфов, то есть

. Используем ту функцию, которую знает Бог (разметка узлаузелНабор обучающих данных, состоящий из размера подключенного подграфа, то есть количества узлов в подключенном подграфе). Для алгоритмов машинного обучения алгоритм получает только эти обучающие данные и не знает, как генерируются маркировки на этих узлах. Мы хотим узнать функцию из обучающих данных, который можно хорошо предсказать на новых прогнозируемых данных графика, то есть приблизительный.

Например, на рисунке ниже наши обучающие данные имеют 5 узлов и соответствующие маркировки.Можем ли мы выучить GBDT? ДНН? Создавая соответствующие функции и делая прогнозы на тестовых данных?

Рисунок 1. Пример карты связности. Слева — обучающая выборка, включающая 5 узлов, а маркировка каждого узла — размер связного подграфа, в котором находится узел. Справа — тестовые данные.

Ответ: сложнее. так как:(1) Эти методы просто учитывают характеристики узла; (2) Как превратить соответствующую информацию об узле в топологии в признаки, сложно.

Подходят ли методы графовой нейронной сети (GNN)? Давайте сначала посмотрим на следующий процесс расчета, а затем представим расчет нейронной сети графа:

Рис. 2. Пример связного графа, рассчитанного с помощью графовой нейронной сети

Мы предприняли следующие шаги:

(1) Сначала создайте матрицу смежности для обучающих данных.(Примечание: вам необходимо взять с собой петлю);

(2) Нормировать матрицу смежности(это диагональная матрица, каждый элемент представляет количество соседей по узлу)

(3) Умножьте бесконечное количество раз, чтобы получить вероятность установившегося перехода;

(4) поэлементно выполнить ступенчатую функцию на каждом элементе матрицы, то есть [0, если

(5) Суммируя по строкам, окончательный вектор, который мы получаем, является маркировкой каждого узла. Тогда мы можем резюмировать этот процесс расчета как:

,в

. Эта функция имеет только один параметр. Начнем со случайной инициализации, а затем продолжайте считать потери

, вы можете оптимизировать. Итак, какое отношение эта функция имеет к графовым нейронным сетям?

2.2.2 Режим расчета GNN

Оглядываясь назад на предыдущий раздел, причина, по которой функция

Для решения проблемы расчета размера связного графа наиболее важным шагом является итерация.

несколько раз (устанавливаетсяВторосортный). Через эту итерацию GNN может распространяться

Информация об узлах в пределах прыжка (в приведенном выше каштане для расчета спреда между узламидостижим). И это ключ к графическим вычислениям нейронной сети.

Ниже мы вводим некоторые важные обозначения: модель графовой нейронной сети имеет толькоДва входа: матрица смежности, сформированная между узлами, а функции, соответствующие узлам

,впредставляет количество узлов,представляет размер объекта. который.

Давайте посмотрим на выражения обычно используемой графовой нейронной сети:

(1) Среди них верхний индексозначает первыйитерации;выражатьузловРазмерные скрытые функции (встраивание), гдесоответствоватьузловразмерные примитивные элементы;– параметры модели;

от именинекоторое фиксированное преобразование , например

. Это более мощное представление нелинейности, потому что на каждой итерации мы добавляем нелинейные функции активации.

До сих пор, если формула (1) сохраняет только функцию активации последнего слоя и делает бесконечные итерации, когда входные данные объекта искусственно заданы как

N-мерная одногорячая матрица признаков), параметры оцениваются оптимизацией как

, Уравнение (1) может получить оптимальную целевую функцию

.

Пока что графовая нейронная сеть GNN прошла этоповторятьВычислительная парадигма характеризует отношения между узлами в графе:

2.2.3 Резюме

В приведенном выше примере мы показываем, как нейронная сеть на графе может выполнять простую задачу. В этом примере пространство решений GNN находится за пределами досягаемости таких методов, как DNN. Наверное, каждый может что-то получить. У нас есть следующее резюме: когда для цели расчета требуются характеристики узла и информация о топологии графа, на котором расположен узел, нам может потребоваться использовать возможности нейронной сети графа.

2.3 Возможности GeniePath — сравнение классических методов GNN

Все современные методы графовой нейронной сети основаны на следующей структуре и выполняют T итераций, что эквивалентно тому, что каждый узел берет свои собственные «соседние» узлы, достижимые T переходами для распространения и преобразования, и, наконец, используются для непосредственного участия в потерях. вычисление функции, а параметры оптимизируются обратным распространением.

Примечание: разница между каждым методом только разница внутри цикла For, то есть разница в процессе кодирования, все методы не ограничивают форму функции потерь, поэтому мы не будем сравнивать эту часть.

2.3.1 Классический метод решения проблемы, как АГГ соседей

То есть определить различные операторы для интеграции и преобразования информации о соседях для создания функций узла.

2.3.2 GeniePath решает, какие соседи AGG

Общей чертой приведенной выше графовой нейронной сети является то, что определенный здесь оператор AGG должен выполнять AGG для всех соседей в T переходах и выполнять AGG с фиксированным весом. Мы называем «соседями», необходимыми для вычисления встраивания узла в рецептивное поле. Итак, наш вопрос заключается в том, действительно ли нам нужно выполнять AGG для всех соседей внутри T-узлов?

Давайте сначала посмотрим, как эти операции выполняет AGG на соседях T-hop. Возьмем в качестве примера оператор AGG = mean, то есть:

Если убрать функцию активации (для анализа и отображения) и количество итераций, то можно получить следующее выражение линейной алгебры:

Фактически область восприятия, определяемая вычислением, равна

. Что это обозначает? То есть поле восприятия полностью определяет, какие соседние AGG генерируют окончательное вложение каждого узла, а их вклад определяется при построении графа. Возвращаясь к предыдущему примеру (рис. 1), это эквивалентно следующему:

Приведенный выше пример говорит нам, что для каждого узла полезны соседние узлы, которые могут быть достигнуты за T переходов, и измеряются указанным выше весом.

Действительно ли нам нужно обучать и предсказывать на таком предопределенном рецептивном поле всех соседей в Т-переходах? Ответ таков: на самом деле это может быть не оптимально. Причин много, например: данные графика часто зашумлены. Например, следующий график данных о безопасности учетной записи.

Основываясь только на информации об изображении, мы могли бы подумать, что зеленые учетные записи с неизвестным риском связаны со многими учетными записями с «высоким риском», и они также должны быть «черными» учетными записями. Однако на практике данные графа будут нести много шума из-за пользовательских перепрошивок, совместного использования общего IP-прокси и так далее. Мы смотрим не только на информацию о топологии, но и на поведенческие характеристики узлов. В то время как классический метод GNN выбирает соседей только на основе топологической информации, а AGG генерирует признаки, а не фильтрует и не фильтрует ценных соседей.

GeniePath заботится о том, какая важная информация о соседях должна быть выбрана во время AGG, и отфильтровывает эту неважную информацию об узле. Пример показан на рис. 4. Принимая черный узел в качестве целевого узла, GeniePath не агрегирует всю информацию о соседях с двумя переходами, а выборочно выбирает определенный подграф.

Рисунок 4. Пример адаптивного рецептивного поля

Таким образом, проблема заключается в том, как исследовать некоторые важные подграфы для каждого целевого узла. GeniePath совместно выполняет поиск по ширине и глубине подграфов, определяя две параметрические функции: функцию адаптивной ширины и функцию адаптивной глубины. Функция адаптивной ширины определяет, в каком направлении искать важные узлы, а функция адаптивной глубины определяет глубину поиска, то есть достаточно информации о соседях с 1 переходом или требуется информация о соседях с несколькими переходами.

Как сделать AGG, этому GeniePath все равно, конечно, мы можем использовать полезный AGG, определенный ранее GraphSAGE. То есть GeniePath ортогонален классическому методу GNN.

Здесь мы резюмируем алгоритм GeniePath в виде следующей структуры:

В реализации мы используем сеть внимания, чтобы выразить адаптивную функцию ширины, используя сеть в стиле LSTM для выражения адаптивной функции глубины

.

2.3.3 Влияние GeniePath

Производительность GeniePath на некоторых общедоступных наборах данных очень конкурентоспособна, например, в известной белковой сети Benchmark data по сравнению с последними сетями внимания графа Bengio [5] в 2017 году F1 увеличился на 20% (без реснета [6]), 7% (с реснетом). Для получения подробной информации, пожалуйста, нажмите на ссылку ниже:

https://arxiv.org/abs/1802.00910

Здесь мы показываем рецептивные поля, изученные в белковой сети, по сравнению с предварительно определенными рецептивными полями с помощью GCN:

Рисунок 5. Рецептивное поле GCN

Рисунок 6. Рецептивное поле GeniePath

На рисунках 5 и 6 мы показываем восприимчивое поле, образованное его соседями по 2 переходам с черными узлами в качестве целевых узлов (точки выборки, которые GCN классифицирует неправильно, а GeniePath классифицирует правильно). Зеленые ребра представляют ребра с весами меньше 0,1, синие ребра представляют ребра с весами от 0,1 до 0,2, а красные ребра представляют ребра с весами больше 0,2. Из сравнения рецептивных полей двух моделей видно, что GCN считает большинство соседей почти одинаково важными, в то время как GeniePath выбирает очень важные красные пути (соседей).

2.4 Резюме

В качестве общего графового алгоритма нейронной сети GeniePath фактически использовался в сценарии управления рисками Ant Financial и достиг идеальных результатов, значительно улучшив способность Alipay защищать безопасность учетной записи пользователя.

2.5 Ссылки

[1] Dai H, Dai B, Song L. Discriminative embeddings of latent variable models for structured data. InInternational Conference on Machine Learning 2016 Jun 11 (pp. 2702-2711).

[2] Kipf TN, Welling M. Semi-supervised classification with graph convolutional networks. arXiv preprintarXiv:1609.02907. 2016 Sep 9.

[3] Hamilton W, Ying Z, Leskovec J.Inductive representation learning on large graphs. In Advances in Neural Information Processing Systems 2017 (pp. 1025-1035).

[4] Liu Z, Chen C, Li L, Zhou J, Li X, Song L.GeniePath: Graph Neural Networks with Adaptive Receptive Paths. arXiv preprintarXiv:1802.00910. 2018 Feb 3.

[5] Velickovic P, Cucurull G, Casanova A,Romero A, Lio P, Bengio Y. Graph attention networks. arXiv preprintarXiv:1710.10903. 2017 Oct.

[6] He K, Zhang X, Ren S, Sun J. Identity mappings in deep residual networks. In European conference on computer vision 2016 Oct 8 (pp. 630-645). Springer, Cham.

3. Распределенный алгоритм совместного хеширования и его применение в Ant Financial.

Название диссертации:

Distributed Collaborative Hashing and Its Applications in Ant Financial

Авторы: Чэнь Чаочао, Лю Цзыци, Ли Лунфэй, Чжоу Цзюнь, Брюс Ли

Адрес бумаги:

https://arxiv.org/abs/1804.04918

3.1 Предисловие

Совместная фильтрация, особенно модели матричной факторизации, широко используется в персонализированных рекомендациях. Основной процесс использования его для персонализированных рекомендаций выглядит следующим образом: (1) этап автономного обучения, основанный на существующей истории взаимодействия пользователя с элементом, изучение потенциального вектора предпочтений пользователей и элементов; (2) этап онлайн-оценки и сортировки в соответствии с Изучить векторы скрытых предпочтений хороших пользователей и элементов, чтобы предсказать неизвестные предпочтения пользовательских элементов. Как показано на рисунке 1.

Рисунок 1: Процесс модели матричной факторизации

Поскольку так называемые «мировые боевые искусства не нарушаются только быстро», в системе рекомендаций особенно важна своевременность модели. Как видно из рисунка 1, в рекомендательной модели практического применения эффективность модели в основном включает в себя эффективность обучения автономной модели и эффективность онлайн-оценки и сортировки пользовательских элементов.Существующие модели факторизации в основном имеют следующие два конца:

(1) Автономное обучение модели относительно низкое.Большинство существующих моделей факторизации основаны на одномашинной или простой многомашинной параллельной реализации.Когда величина пользователей и элементов велика, будет трудно завершить обучение, или Эффективность обучения крайне низкая;

(2) При онлайн-рекомендации необходимо сначала рассчитать балл пользовательского элемента в соответствии со скрытым вектором пользовательского элемента, а затем отсортировать и рекомендовать баллы, что неэффективно.

В этой статье мы предлагаем два соответствующих решения для двух вышеуказанных недостатков, а именно:

(1) Используйте распределенную среду обучения сервера параметров для обучения автономных моделей, которые могут поддерживать крупномасштабных пользователей и элементы и могут быстро завершить обучение модели;

(2) Используйте декомпозицию хэш-матрицы, чтобы заменить исходную декомпозицию векторной матрицы действительных чисел, чтобы получить потенциальные хэш-векторы пользователей и элементов, то есть каждый элемент в векторе представляет собой двоичное значение, а онлайн-оценку можно искать в хэш-таблице. или компьютерный дифференциатор. Или дождитесь быстрого завершения операции.

Мы представим обучение модели, детали реализации на основе структуры сервера параметров, сравнительные эксперименты и приложение в Ant Financial.

3.2 Введение в модель

3.2.1 Определение символа

Мы используем

для представления K-мерного хэш-вектора пользователя i, используя

для представления K-мерного хэш-вектора элемента j,представляет набор пользователей в обучающем наборе,Коллекция элементов, представляющих обучающий набор.

3.2.2 Модель факторизации хэш-матрицы

Хеш-векторы пользователя и элемента представляют соответствующие предпочтения пользователя и элемента, а расстояние Хэмминга между ними представляет предпочтения пользователя для элемента, которые выражаются следующим образом:

Чтобы узнать хэш-векторы для пользователей и элементов, целевая функция вида:

здесь,

Обозначает норму Фробениуса. Вышеупомянутая форма обусловленаиявляется дискретным значением, которое трудно решить напрямую. Поэтому для решения можно использовать двухшаговый метод [1].

Во-первых, мы релаксируем пространство решений от исходного

расслабиться в реальном пространстве

, это может быть решено стохастическим градиентным спуском, градиент выглядит следующим образом:

Обновите формулу, используя стохастический градиентный спуск, следующим образом:

Затем решенный вещественный вектор можно сопоставить обратно с хэш-вектором следующим образом:

3.2.3 Распределенная реализация модели со стохастическим градиентным спуском на основе сервера параметров

Принцип работы сервера параметров показан на следующем рисунке:

Здесь Координатор отвечает за планирование моделей, Сервер отвечает за хранение и обновление моделей, здесь скрытый вектор пользователей и элементов

и

; Worker отвечает за загрузку данных и поиск градиентов. Рабочую концепцию сервера параметров можно найти в [2].

Рисунок 2: Схема архитектуры сервера параметров

При этом в процессе обновления модели, чтобы модель не убежала, мы модифицируем модель на сервере следующим образом:

здесь,и

— значения латентных векторов пользователя и элемента в момент времени t соответственно. В процессе реализации мы используем архитектуру распределенного обучения Kunpeng, независимо разработанную Ali и Ant, см. статью [3]. Название нашего алгоритма — Distributed Collaborative Hashing (DCH), а структура всего обновления алгоритма выглядит следующим образом:

изображение 3

Рисунок 4

3.3 Экспериментальные результаты и анализ

Мы провели эксперименты с общедоступными данными Netflix и собственными данными Ant Alipay, используя два оценочных показателя, DCG и Precision. При этом сравнивались следующие методы:

• Matrix Factorization (MF) [4]
• MFH, то есть после использования MF для получения реальных скрытых векторов пользователей и элементов используйте формулу (6) для отображения их в хэш-векторы
• Машина распределенной факторизации (DFM), реализованная с использованием модели сервера параметров [5].
• DFMH использует DFM для получения реальных скрытых векторов пользователей и элементов и отображает их в хэш-векторы по формуле (6).

Результаты сравнения нескольких алгоритмов следующие:

Рисунок 5

Изображение 6

Рисунок 7

Рисунок 8

Как видно из рисунков 3 и 5, предлагаемая нами модель DCH может достигать результатов, сравнимых с существующими моделями. Как видно из рисунка 6, время автономного обучения нашей модели увеличилось вдвое, в то же время из рисунка 8 видно, что скорость онлайн-скоринга нашей модели также значительно выше, чем при использовании реальных векторов. продвигать. Таким образом, наша модель значительно сокращает время обучения автономной модели с помощью модели сервера параметров. В то же время предлагаемая нами модель экономит много времени на онлайн-оценку и сортировку, жертвуя крошечной точностью.

3.4 Приложение в Ant

Предложенный нами метод DCH может быть использован для генерации хэш-векторов пользователей и элементов в соответствии с историей поведения пользователей и элементов.Наиболее похожие элементы пользователей используются для отзыва или рекомендации; (2) Хэш-вектор представляет характеристики предпочтения пользователей и элементов, которые могут быть напрямую отправлены в другие модели (например, логистическая регрессия) в качестве функций высокого уровня для дальнейшего улучшения эффекта модели. Поэтому его можно широко использовать в различных рекомендательных сценариях муравьев.

3.5 Ссылки

[1] Ке Чжоу и Хонгюань Чжа, 2012. Изучение двоичных кодов для совместной фильтрации, В материалах 18-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных, ACM, 498–506.

[2] Му Ли, Дэвид Дж. Андерсен, Джун Ву Парк, Александр Дж. Смола, Амр Ахмед, Ваня Йосифовски, Джеймс Лонг, Юджин Дж. Шекита и Бор-Иинг Су, 2014. Масштабирование распределенного машинного обучения с помощью сервера параметров, В OSDI. 583–598.

[3] Цзюнь Чжоу, Сяолун Ли, Пейлинь Чжао, Чаочао Чен, Лунфэй Ли, Синьсин Ян, Цин Цуй, Цзинь Ю, Сюй Чен, И Дин и др. 2017. KunPeng: Распределенные системы обучения на основе сервера параметров и их приложения в Alibaba и Ant Financial, Материалы 23-й Международной конференции ACM SIGKDD по открытию знаний и интеллектуальному анализу данных, ACM, 1693–1702.

[4] Андрей Мних и Руслан Салахутдинов, 2007. Вероятностная матричная факторизация, Достижения в области нейронных систем обработки информации, 1257–1264.

[5] Му Ли, Зики Лю, Александр Дж. Смола и Ю-Сян Ван, 2016. DiFacto: машины распределенной факторизации, Материалы девятой Международной конференции ACM по поиску в Интернете и интеллектуальному анализу данных, ACM, 377–386.

- КОНЕЦ -