Практика федеративного обучения в рекламе Tencent Weishi

Выложил: доктор Сон Кай

Организатор: Линь Ичжэнь

Введение:

В этой статье рассказывается об опыте и размышлениях о практике федеративного обучения с точки зрения рекламодателей.

Сначала представьте предысторию выбора бизнеса и технологий: командный проект - это рост пользователей и контроль затрат, а метод - доставка рекламных каналов Цели доставки делятся на две категории: новые и активные.

• Когда новый, пользовательские характеристики на стороне микровидения скудны, а рекламная платформа накапливает много информации, но возвращаются только ограниченные стандартизированные данные oCPX.
• Когда он активирован, сторона микровидения получает ценные портретные данные, такие как последовательности поведения пользователей, которые дополняют характеристики рекламной платформы, но не могут напрямую и грубо обмениваться данными с рекламной платформой.

Таким образом, есть надежда, что сторона микровидения и сторона рекламной платформы смогут использовать данные обеих сторон для достижения взаимовыгодной ситуации, но гарантировать, что данные безопасны и не выходят за рамки домена. В этом контексте наша команда выбрала «федеративное обучение», которое обеспечивает решение для многостороннего безопасного сотрудничества.

Статья вращается вокруг следующих пяти пунктов:

• федеративное обучение

• Платформа федеративного обучения Tencent PowerFL

• Общий бизнес рекламы Weishi

• Архитектура федеративного обучения для показа рекламы

• Практика моделирования и детали

1. Федеративное обучение

Во-первых, введение в базовые знания о федеративном обучении (FL).

1. Федеральное образование

Все модели машинного обучения основаны на данных, но на самом деле все данные представляют собой изолированные острова: данные не могут быть переданы между компаниями или даже между отделами; прямой обмен нарушит конфиденциальность пользователей и нанесет ущерб интересам компаний. В 2016 году в статье Google было предложено обновить модель локально с помощью терминала мобильного телефона Android в контексте метода ввода NLP, Эта статья обычно считается началом федеративного обучения. Немедленно WeBank моей страны, Tencent и другие компании также проделали большую новаторскую работу.

Базовое определение федеративного обучения заключается в том, что в процессе машинного обучения каждый участник может использовать данные других сторон для проведения совместного моделирования. Всем сторонам не нужно напрямую обращаться к ресурсам данных других сторон, то есть, если данные не локальны, они могут безопасно проводить совместное обучение данных и устанавливать общую модель машинного обучения.

2. Две архитектуры федеративного обучения

• Централизованная федеральная архитектура: ранние разработки включают Google и WeBank, каждая из которых является такой архитектурой. Доверенная третья сторона (центральный сервер) отвечает за политики шифрования, распределение моделей, агрегацию градиентов и т. д.
• Децентрализованная федеральная архитектура: иногда обе стороны сотрудничают и не могут найти доверенную третью сторону, и всем сторонам необходимо участвовать в одноранговых вычислениях. Эта архитектура требует больше операций шифрования и дешифрования, а также операций передачи параметров.Например, когда участвует n сторон, требуется 2n(n-1) передач. Здесь можно считать, что алгоритм шифрования и дешифрования фактически играет роль третьего лица.

3. Три классификации федеративного обучения

• Горизонтальное федеративное обучение: комбинация образцов подходит для сценариев, в которых функции сильно перекрываются, а пользователи — меньше. Например, две компании со схожим бизнесом имеют много ортогональных пользователей, но похожие портреты, и могут выполнять горизонтальное федеративное обучение, которое больше похоже на распределенное машинное обучение деформации данных.
• Вертикальное федеративное обучение: комбинация функций подходит для сценариев, в которых пользователи часто пересекаются, а функции — меньше. Например, рекламодатели и рекламные платформы надеются объединить характеристики обеих сторон для обучения.
• Федеративное трансферное обучение: когда функции и образцы перекрываются между участниками, это можно рассмотреть, но это сложнее.

Три типа федеративного обучения взаимодействуют с разной информацией и сталкиваются с разными проблемами; например, при горизонтальном федеративном обучении данные каждого участника разнородны, поэтому данные не являются независимыми и одинаково распределенными, что также является центром исследований федеративного обучения. обучение.

В настоящее время в нашем бизнесе реализовано вертикальное федеративное обучение, и мы также изучаем сочетание федеративного трансферного обучения и горизонтального и вертикального.

4. Сравнение федеративного обучения и распределенного машинного обучения

Верхняя граница точности: федеративное обучение не похоже на оптимизацию других конкретных моделей сортировки и отзыва, а больше похоже на продвижение всего моделирования в условиях ограничений безопасности данных. Поэтому теоретически в качестве верхнего предела используются результаты распределенного машинного обучения (DML) при совместном использовании данных.

Сравнение федеративного обучения (FL) и распределенного машинного обучения (DML)

Хотя некоторые считают федеративное обучение частным случаем распределенного машинного обучения, по сравнению с общим DML федеративное обучение все же имеет следующие отличия:

• Существуют ограничения на неразглашение данных;
• Каждый серверный узел имеет слабый контроль над рабочими узлами;
• Частота связи и стоимость высоки.

2. Angel PowerFL, федеративная обучающая платформа Tencent

С момента разработки федеративного обучения участие Tencent было очень высоким. В том числе: разработка и публикация «Белой книги федеративного обучения 2.0», «Белой книги службы приложений федеративного обучения Tencent Security» и т. д.; с точки зрения инфраструктуры, на основе интеллектуальной платформы обучения Tencent с открытым исходным кодом Angel (GitHub.com/Angel-ml/press…) для создания PowerFL, который в настоящее время имеет внутренний открытый исходный код; на практике было много попыток и реализаций в финансовых, рекламных и рекомендательных сценариях.

1. Технические характеристики

Помимо основных требований к платформе машинного обучения, таких как простота развертывания и хорошая совместимость, федеративная обучающая платформа PowerFL от Tencent имеет следующие пять инженерных особенностей:

• Архитектура обучения: использование децентрализованной федеративной архитектуры без зависимости от третьих сторон;
• Алгоритм шифрования: реализованы и улучшены различные распространенные алгоритмы гомоморфного шифрования, симметричного и асимметричного шифрования;
• Распределенные вычисления: распределенная среда машинного обучения на базе Spark on Angel;
• Связь между сетями: используйте Pulsar для оптимизации связи между сетями, повышения стабильности и предоставления многосторонних интерфейсов передачи данных между сетями;
• Trusted Execution Environment: исследование и поддержка TEE (SGX и т. д.).

2. Оптимизация алгоритма

Кроме того, для алгоритма мы сделали много оптимизации:

• Перезапись операций с шифротекстом: переписать библиотеку операций с шифротекстом на основе C++ GMP;
• Оптимизация пересечения данных: двухсторонняя и многосторонняя оптимизация, особенно многосторонняя сторона, были теоретически преобразованы (улучшенный протокол FNP);
• Поддержка графического процессора: часть операции с зашифрованным текстом может быть распараллелена графическим процессором;
• Поддержка расширения модели: поддерживает гибкое расширение модели и может использовать Tensorflow и Pytorch для разработки встраивания модели DNN.

Стоит отметить, что в дополнение к схеме на основе гомоморфного шифрования PowerFL также поддерживает схемы защиты конфиденциальности федеральных нейронных сетей, такие как совместное использование секрета и дифференциальная конфиденциальность (шумовое возмущение).

3. Общий бизнес микровизионной рекламы

Общая цель нашей команды - итеративно оптимизировать интеллектуальную систему доставки Мы приложили усилия по следующим трем направлениям:

1. Расширьте каналы привлечения клиентов

Включая покупку внешнего канала, внутреннюю мягкую переадресацию и саморазвитие; среди них форма реализации покупки внешнего канала может быть дополнительно подразделена на пакетное создание рекламы с помощью маркетингового API, крауд-таргетинг RTA, товарную библиотеку sDPA/mDPA, RTB в режиме реального времени. торги и др.

2. Материальная форма роста

Чтобы использовать Marketing API и RTA, постоянно оптимизируйте креативность рекламы; чтобы использовать RTB, sDPA/mDPA, оптимизируйте нативный рекламный контент; чтобы повторять совместное использование/приобретение в саморазвитии, оптимизируйте стратегии или модели, такие как субсидии, красные конверты и купоны.

3. Технологии роста

Независимо от RTA или RTB, ядром является оптимизация точного соответствия между пользователями и материалами. Мы продолжаем исследовать взаимодействие между материалами, пользователями и двумя:

• Материалы: в том числе производство, добыча, понимание и контроль качества, такие как: отбор контента, склонного к негативным отзывам, идентификация и повышение ясности, автоматический онлайн и оффлайн материалов и торги. #
• Пользовательская сторона: портретная сторона продолжает создавать пользовательские портреты, такие как расширение толпы (подобие) и пользовательские теги; операционная сторона продвигается с помощью моделей подъема и LTV; сторона опыта преследует интеграцию притяжения и поддержки.
• Трафик: в основе принятия рекламных решений лежит управление трафиком и стоимостью, и здесь был разработан ряд стратегий.В настоящее время для решения дилеммы между трафиком и стоимостью предпринимаются попытки обучения с подкреплением.

4. Архитектура федеративного обучения для рекламы

Далее представлена ​​роль федеративного обучения в структуре доставки микровизионной рекламы: круговой выбор пакета толпы RTA.

1. Обзор рекламной системы

Прежде всего, следующий рисунок представляет собой простую и универсальную рекламную систему: рекламный запрос от идентификатора пользовательского оборудования достигает рекламной системы, через отзыв рекламы, рекламу, целевую фильтрацию RTA, грубое размещение рекламы, точное размещение рекламы, доставка рекламы, и, наконец, реклама достигается.

2. Рекламная конструкция RTA

Затем мы увеличиваем кадр со стороны RTA. Целью RTA является предварительное определение ценности для пользователя, реализация таргетинга на толпу и помощь в назначении качественных ставок.

• Запрос рекламы RTA инициируется, и идентификатор пользовательского оборудования поступает на экспериментальную платформу;
• Благодаря стратегии распределения каналов и идентификации сопоставления идентификаторов исторические пользователи будут приняты стратегией извлечения, а неисторические пользователи будут приняты стратегией извлечения;
• Федеративное обучение определяет сторону RTA-DMP и импортирует DMP в виде пакета толпы для ориентации и стратификации толпы.

3. Крупномасштабная структура для федеративного обучения

Здесь мы представляем грубую структуру федеративного обучения:

• Сторона микровидения предоставляет идентификатор пользователя, портрет и метку, а сторона рекламной платформы предоставляет идентификатор пользователя и портрет;
• Безопасное выравнивание выборки (Private Set Intersection, PSI) получает пересечение пользователей и запускает совместное обучение федеративного обучения;
• После оценки модели обе стороны сотрудничают, чтобы извлечь и экспортировать полные пользовательские характеристики, а также оценить полного пользователя;
• Наконец, верните результат в RTA-DMP.

В пятой части мы разберем его подробно.

5. Практика моделирования и подробное введение

1. Пилотная работа

По сравнению с активным извлечением, федеративное обучение более актуально для извлечения нового, поскольку функции в терминале более разрежены, а многие пользователи имеют только идентификаторы пользовательских устройств; поэтому приоритетом является включение и получение нового, а пилотная работа включает :

1.1 Подгонка цели: модель с четырьмя задачами

• Основная задача: В основном запустить вторичный коэффициент удержания, то есть долю пользователей, которые активно открывают приложение Weishi в Т+1.
• Подзадачи: первичные и вторичные затраты на удержание, эффективные новые затраты и эффективные новые пропорции; среди них была смоделирована эффективность новых добавлений пользователей, и оценки вероятности даны на основе поведения, такого как время пребывания.

1.2 Одностороннее исследование данных Microvision и проектирование признаков

• Выборка и выборка: Проверьте размер выборки и определите стратегию выборки.
• Функции и модели: функции ID-класса, функции поведенческой последовательности, использование моделей DNN.
• Разработайте автономные индикаторы, согласующиеся с онлайн-производительностью: после исследования Group-AUC — хороший автономный индикатор, а Group — стратификация пользователей. Group-AUC положительно коррелирует с онлайн-производительностью и более чувствителен, чем AUC.

2. Модельное обучение

После завершения подготовки сторона микровидения начинает проводить совместное моделирование федеративного обучения со стороной рекламной платформы.

2.1 Итеративный процесс обучения объединенной модели

(1) Согласование данных: определите общедоступный набор образцов {id} для совместного обучения следующими двумя способами.

• Обычный текст: быстрая скорость, требуется всего от нескольких минут до десяти минут, чтобы запросить уровень от миллиарда до миллиарда, но этот метод небезопасен, потому что две стороны хотят только подтвердить общедоступную часть набора и не хотят раскрывать их дополняют; можно использовать доверительную среду (TEE), защищенную открытым текстом.
• Шифрованный текст: скорость медленная, и занимает более чем в 10 раз больше времени, чем открытый текст, потому что он включает в себя большое количество операций шифрования и дешифрования и коллизий; в настоящее время мы выбираем эту стратегию и реализуем ее с помощью собственной разработки Платформа PowerFL.

(2) Многосторонняя разработка функций

• Вертикальное федеративное обучение: функции с обеих сторон независимы, просто разделяй и властвуй, например, стандартизация и дополнение функций.
• Горизонтальное федеративное обучение: для получения некоторых статистических данных требуется полное распространение всей функции, а передача федеративного обучения по-прежнему используется для решения проблемы синхронизации данных.

(3) Совместное обучение

• Определите вычислительную среду и ресурсы хранения.
• Коммуникационная информация (какая физическая величина передается, например градиент, встраивание).

(4) Оффлайн-оценка

(5) Онлайн-оценка

2.2 Федеративная модель на основе DNN (FL-DNN)

Сторона микровидения и сторона рекламной платформы AMS совместно обучают многозадачную модель DNN.Многозадачная структура развивается от простых методов реализации, таких как выборочная стратегия и модифицированная функция потерь, до MMoE; проект основан на параллелизме Хоровода.

2.3 Итерационный процесс параметров модели FL-DNN

(1) Инициализация: A (хост, сторона AMS) и B (гость, сторона микрозрения) инициализируют свои соответствующие сети (обозначаются каки) параметр,, параметры слоя взаимодействия, запишите скорость обучения как, обозначая шум как,,;

(2) Прямое распространение: (означает гомоморфное шифрование)

• Расчет стороны А: расчет;зашифровано(то есть вывод встраивания со стороны A), и отправить его на B.
• Расчет на стороне B: также выполнять расчет и генерацию встраивания, для символической симметрии пусть;перенимать, и рассчитать, а затем вычислитьи отправил А.
• Сторона получает, расшифровать, чтобы получить;рассчитатьи отправить на Б
• Сторона B получает,минус,получить. в интерактивной сетиразложить, получить, вычислить функцию потерь.

(3) Обратное распространение

• Расчет стороны B: функция потерь и параметры,Производная для получения градиента,;рассчитать, и отправить его А.
• Сторона получаети расшифровывать; вычислять,шифрование, отправьте следующие два количества В.
• Сторона B получаети; Рассчитать относительный градиент функции потерь, и воляотправил к А.
• Сторона получаети расшифровать.

(4) Обновление градиента: A, B и I обновляют градиенты соответственно, чтобы завершить цикл итерации:

Эта конструкция похожа на двойные башни, обычно используемые для отзыва и чернового ряда, но на самом деле принципы построения другие. Двухбашенную структуру часто критикуют за более позднее время взаимодействия с встраиванием, поэтому существует множество улучшенных версий, таких как модель MVKE (Tencent), которая ускоряет время взаимодействия с встраиванием. В продольном федеративном обучении сторона АЕго можно передать стороне B на первом уровне, даже не изменяя (то есть выполняя только шифрование признаков), так что в принципе проблемы синхронизации взаимодействия нет.

2.4 Частный случай итерации параметра модели FL-DNN: односторонние признаки

B (гостевая сторона) может предоставить идентификатор пользовательского оборудования и метку только в том случае, если их нет или функция слишком слабая.Вышеуказанный итеративный процесс параметра вырождается в отсутствиеВ случае читатель может попытаться записать процесс обновления параметров.

На практике из-за таких проблем, как объем данных, охват объектов и потеря пересечений, чтобы обеспечить достаточное обучение DNN, накладываются следующие две ситуации:

• Нет признаков на стороне B: + ;

• На стороне B есть функции: + .

3. Онлайн-сервисы

Каждый участник может получить только те параметры модели, которые связаны с ним самим, а прогнозирование требует сотрудничества всех сторон:

(1) Отправить запрос: идентификатор пользовательского оборудования, который также прошел A, B;

(2) Расчет внедрения

• Побочный расчет,шифрование;
• Расчет стороны B;

(3) расчет этикетки

• Сторона будетОтправить на сторону B;
• Ярлык расчета на стороне B;
• Расшифровка на стороне B дает y.

4. Отображение эффекта

В сотрудничестве с Tencent Guangdiantong AMS, по сравнению с отдельным обучением микрозрению, федеративное обучение делает Group-AUC +0,025; основная цель и три подцели положительно коррелируют и улучшаются. Основная цель, первичный и вторичный коэффициент удержания (после преобразования коэффициента охвата), увеличилась на +4,7 п.п. После запуска первой версии все показатели были значительно улучшены, и выпущено полное количество. Вторая версия итерации также добилась значительного улучшения GAUC и экспериментирует с небольшим трафиком.

На приведенном ниже графике показано эффективное снижение первичных и вторичных затрат на удержание (оранжевый цвет):

5. Итерация

5.1 Вытяните новую модель

Продвигайте федеративное сотрудничество с другими каналами, но команда не может поддерживать федеративную модель на каждой платформе доставки. Была предпринята предварительная попытка поставить модель, обученную совместно с платформой AMS, на другие платформы. Однако из-за неоднородности данных (отклонение в распределении выборки) и других причин эта модель не так хороша, как базовая модель (одностороннее микрозрение); кроме того, на каждой платформе доставки существуют конфликты интересов, и ожидается, что рекламодатели сосредоточиться на доставке собственного трафика.Поэтому мы пытаемся горизонтально и вертикально комбинировать: Weishi и рекламные платформы вертикальны, а рекламные платформы горизонтальны.Начнем с трехстороннего федерального сотрудничества.В настоящее время идея федеральной миграции повторяется.

5.2 Активируйте модель

В сотрудничестве с платформой AMS после открытия модели федерации мы хотим повторно использовать ее в активной модели. Поскольку активация пользователя представляет собой многоцелевую, многоцелевую и разнородную последовательность поведения, мы сосредоточились на своевременности и моделировании инноваций и провели исследование на основе модели MMoE-Mind-transformer.

5.3 Сложность итерации

(1) Эффективность и стабильность

• Улучшить скорость выравнивания данных. Чтобы повысить скорость пересечения зашифрованного текста, используются хеш-ковши для достижения простого параллелизма и ускорения.
• Время тренировки на сжатие: добавочная тренировка является точной настройкой; аналогичные результаты получаются при полной тренировке, но время в два раза меньше.

(2) Трудности с интерпретацией и отладкой: обе стороны федерации не могут видеть исходные данные друг друга, а иногда даже скрывают свои соответствующие структуры нейронной сети. Это обеспечивает безопасность данных, но с итеративной точки зрения локализация проблем становится более сложной.

(3) Сложность моделирования многопартийной федерации

• Совместное моделирование с несколькими партнерскими рекламными платформами, каждая из которых имеет конфликт интересов, отличный от сценария Google FedAvg.

• Совместное моделирование с другими бизнес-подразделениями, такими как WeChat и поиск, имеет сильные характеристики, но у другой стороны нет мотивации.

• Есть технические расходы/стабильность сети/коммуникационные расходы.

6. Вопросы и ответы

Вопрос 1. Необходима ли TEE (Trusted Execution Environment) для задач федеративного обучения? В каких сценариях будут выполняться задачи на основе TEE? Представленные в настоящее время элементы основаны на расчетах TEE?

A1. В настоящее время нет среды TEE. Если вы используете TEE, вы можете напрямую работать в открытом тексте без большого количества операций шифрования, потому что среда TEE гарантирует, что даже если операция выполняется в открытом тексте, данные безопасны и невидимы для других партия; в настоящее время, независимо от пересечения данных, обучение модели (градиент, встраивание) — это все операции шифротекста.

Вопрос 2. Первым шагом федеративного обучения является выравнивание данных. Нужно ли мне выполнять обслуживание таблицы сопоставления?

A2: Нет необходимости поддерживать таблицу сопоставления.Из-за миллиардов пользователей и функций объем данных таблицы сопоставления достигает сотен гигабайт, что на самом деле является пустой тратой ресурсов; фактическое выравнивание образца операции выполняется последовательно, который выдается рекламной площадкой.ID находится в порядке сверху вниз по соглашению, то есть нет необходимости поддерживать отношение сопоставления kv.

Q3. При обслуживании (онлайн-сервис) вам нужно получить характеристики другой стороны (рекламная платформа), как насчет этой задержки?

A3.Задержка обслуживания также вызвана коммуникацией.Рекламная платформа обучает модель на стороне рекламной платформы на своей собственной машине, а сторона микровидения обучает модель на стороне микровидения на своей машине, и конечное взаимодействие также интерактивная вставка.

В4. Нужно ли во всех случаях предоставлять метку на стороне B (гостевой стороне)?

A4. Сторона B (сторона гостя, сторона микропредставления), поскольку данные находятся вне домена, метка не будет предоставлена ​​другой стороне. См. формулу в главе «Итерационный процесс параметров модели FL-DNN». Видно, что градиент вычисляется на стороне B, и другая сторона не может знать метку.

Вопрос 5. Группа-AUC увеличивается на +0,025 после использования федеративного обучения Что такое группа-AUC до использования федеративного обучения?

A5.Числовое значение не является слишком прямым для ориентира, а определение выборки и подходящая цель в различных сценариях меняются; исходный уровень составляет 0,70, а уровень составляет 0,72-0,73.

Вопрос 6. Каково полное название документа MKVE, опубликованного Tencent некоторое время назад?

A6. 2021-tencent-Смесь экспертов по виртуальному ядру для многоцелевого моделирования профилей пользователей.

В7. В моделировании FL-DNN требуется третья сторона, как доверять третьей стороне?

A7. Фактически, согласно децентрализованной архитектуре, нет необходимости в третьей стороне, и это может быть выполнено с помощью ряда алгоритмов шифрования и дешифрования.

Вопрос 8. Если обе стороны являются средой выполнения TEE, все ли данные обмениваются в сети в виде открытого текста?

О8 Да, открытый текст подходит.

Q9. Комбинация федеральной структуры и RTA, пакет краудфандинга генерируется в автономном режиме или он оценивается онлайн в режиме реального времени?

A9. После исследования важность режима реального времени на новой стороне невелика.Пакет офлайновой толпы импортируется в DMP, а затем подключается к RTA; на живой стороне есть требования к реальному времени, потому что она хочет захватить интерес пользователя меняется в течение короткого периода времени. В настоящее время исследуется.