Эта статья написана [Передовая линия ИИ】Оригинал:t.cn/RHxv3Hp
Автор｜Оуэн Ву Монтаж｜Эмили
Руководство по передовой ИИ:"Искусственный интеллект, представленный глубоким обучением, принес прорыв в области изображений, речи и НЛП.В последние годы появилось много открытых документов в области поиска и персонализации информации.Комбинация моделей, dssm используется для расчета семантических корреляция, deepfm увеличивает возможности комбинации функций, deep CF использует глубокое обучение для реализации совместной фильтрации, rnn рекомендует использовать оценку последовательности поведения для реализации персонализированных рекомендаций и т. д. Система поиска или персонализации информации промышленного уровня представляет собой сложную системную инженерию. Применение глубокого обучения на промышленном уровне требует трех условий: мощных системных вычислительных возможностей, отличных возможностей проектирования моделей и подходящих сценариев применения. в направлении глубокого обучения кратко представил наш прогресс и мышление в реализации систем глубокого обучения, алгоритмов глубокого обучения и поисковых приложений, надеясь вдохновить всех. "
Применение глубокого обучения в поиске можно резюмировать в четырех аспектах:
Во-первых, это система. Мощная обучающая платформа для глубокого обучения и система онлайн-прогнозирования являются необходимыми условиями для приложений глубокого обучения. реализовано извлечение признаков. , сквозной процесс обучения модели и развертывание онлайн-сервиса значительно повышает эффективность итерации алгоритма;
Второе - это поисковое приложение, включающее четыре технических направления интеллектуального взаимодействия, семантического поиска, интеллектуального сопоставления и интеллектуального принятия решений.Совместная инновация этих четырех направлений реализует обновление технологии глубокого обучения для всей поисковой ссылки и имеет возможность переход от традиционной одной сцены и одной цели Возможность оптимизации к многосценовой и многоцелевой совместной оптимизации;
В-третьих, работа, проделанная по оптимизации производительности, включая сжатие моделей, квантование, разложение низкого ранга, а затем и двоичные сети, большое количество технических исследований и демонстраций, сделала хорошую технологию для улучшения прогнозирования производительности глубоких моделей и совместной работы. -оптимизация программного и аппаратного обеспечения в будущем.
Наконец, платформа сортировки используется для реализации унификации поисковых служб для поиска продуктов для ПК, поиска беспроводных продуктов, поиска в магазине и поиска в магазине.Благодаря повторному использованию функций и моделей реализуется быстрое обновление технологий нескольких бизнес-направлений. Ниже я кратко подытожу основной прогресс, достигнутый в четырех направлениях, и идеи, лежащие в его основе.
Ниже представлена упрощенная схема поисковой системы и алгоритма. Система включает в себя:
A. Автономная платформа данных ODPS, отвечающая за объединение журналов в автономном режиме, извлечение признаков и оценку автономной модели, а также функции сортировки выходных данных.Все функции с низкой своевременностью генерируются с помощью автономной платформы данных, такие как теги пола пользователя, ключевые слова продукта и т. д.;
B. Автономная платформа машинного обучения PAI, нижний уровень — это основной сервер параметров и структура глубокого обучения TF, платформа реализует параллельное обучение и прогнозирование большинства моделей алгоритмов машинного обучения, а основная роль в поисковых приложениях заключается в том, что обучение автономной модели производит функции автономной сортировки Модель;
c. Porsche, платформа потоковых вычислений и онлайн-обучения, потоковые вычисления основаны на Blink, который отвечает за анализ журнала в реальном времени и объединение функций для создания функций сортировки в реальном времени.Основная структура онлайн-обучения и обучения в автономном режиме может быть то же самое, но разница в основном связана с зависимостью от источников данных и некоторых методов оптимизации. Из-за быстрых изменений в поведении пользователей и рыночной среде потоковые вычисления и онлайн-обучение широко используются в поиске, а многие онлайн-обучение и обучение с подкреплением алгоритмы накоплены;
г. Платформа онлайн-сервиса, включая механизм, сервис ранжирования и поисковую платформу, отвечает за распространение онлайн-сервиса, запрос индекса, сервис ранжирования и слияние результатов, а также другие эффективные функции. После многих лет разработки у нас есть очень полная система алгоритмов ранжирования поиска продуктов, включая график знаний, сегментацию слов, теги, прогнозирование категорий, прогнозирование намерений, исправление орфографических ошибок, рекомендации по запросам, семантическое переписывание запросов, релевантность, маркировку продуктов, качество продукта, иерархия магазина, профиль пользователя, предпочтения пользователя, восприятие пользователя, стратегия отзыва, персонализированная модель, стратегия разнообразия, стратегия перетасовки разнородных услуг, стратегия многоцелевой совместной оптимизации, стратегия совместного ранжирования с несколькими сценами и т. д. Расширьте возможности соответствующих бизнес-групп.
Упрощенная схема системы поиска и алгоритма
Системные усовершенствования включают платформы машинного обучения и платформы онлайн-прогнозирования.
Платформа машинного обучения. Поиск обучающих образцов в основном исходит из поведения пользователя.Поскольку поведение пользователя представляет собой потоковую передачу данных, он подходит для глубокого онлайн-обучения.Однако, когда параметры модели очень велики и требуется большое количество образцов, онлайн-обучение занимает много времени. сходятся. В этом случае сначала обычно выполняется автономное обучение. Предварительное обучение сочетается с добавочным или онлайн-обучением. Кроме того, некоторым моделям требуется только тонкая настройка сети рядом с выходным слоем после автономного предварительного обучения. В поиске используются офлайн-платформа машинного обучения PAI и онлайн-платформа машинного обучения Porsche. В настоящее время платформы глубокого обучения двух платформ объединены в tf-pai. разреженное хранение параметров., методы оптимизации, оптимизация памяти графического процессора и т. д., по сравнению с собственной глубиной обучения tf, нет необходимости обучать глубокие модели с сотнями миллиардов выборок и десятками миллиардов параметров. Хотя и Porsche, и PAI поддерживают ГП, ЦП по-прежнему является основным в поисковых приложениях, а приложений ГП относительно немного.Основные причины заключаются в том, что персонализация относительно проста по сравнению с изображениями или голосами, сеть извлечения признаков относительно неглубокая, размерность невелика. относительно низкая, а плотный матричный расчет графического процессора Возможность используется не полностью, и в то же время высвобождается большое количество простаивающих процессоров для онлайн-сервисов в период спада трафика после онлайн-смешанной раздачи, что очень хорошо идея использовать временно простаивающие процессоры для обучения глубокому обучению.
Оцените RTP онлайн и найдите сервисы сортировки и подсчета очков. Поскольку в каждом поисковом запросе есть тысячи элементов, которым необходимо вычислить рейтинг ранжирования, применение глубокой модели оказывает большое давление на службу RTP.RTP решает вывод глубокой модели с помощью гетерогенных вычислений, вычислительной операторизации, и сегментирование модели.Для проблем с вычислениями и хранением для глубоких моделей используются графические процессоры, а для поверхностных моделей — ЦП.В этом году для поиска сервисов RTP во время Double 11 в этом году использовалось 550 карт графических процессоров. Кроме того, RTP также реализует бесшовную связь между автономной / онлайн-моделью / данными обучения и развертыванием службы онлайн-прогнозирования.Модель или данные, обученные алгоритмом, можно легко развернуть и обслуживать в Интернете, что повышает эффективность итерации алгоритма.
Алгоритм включает четыре направления: интеллектуальное взаимодействие, семантический поиск, интеллектуальное сопоставление и стратегию поиска.
Умное взаимодействие. Поиск товаров – это рекомендация продукта с взаимодействием. Пользователи вводят цель поиска с помощью ключевых слов, и система возвращает результаты персонализированных рекомендаций, которые соответствуют цели поиска. Хорошие интерактивные технологии могут помочь пользователям лучше использовать поисковые системы. В настоящее время взаимодействие в поиске – это в основном активное ключевое слово. ввод и рекомендации по ключевым словам, например слово запроса по умолчанию в поле поиска и текстовая цепочка в результатах поиска и т. д., система рекомендаций рекомендует ключевые слова на основе истории поиска пользователя, контекста, поведения и статуса.
Отличие от рекомендации продукта заключается в том, что рекомендация по ключевому слову является промежуточной ссылкой в поисковой ссылке.Помимо поведения кликов по ключевым словам, доход от рекомендации по ключевым словам также должен учитывать влияние на всю цепочку покупок, включая последующее поведение. рекомендуемых ключевых слов. Независимо от того, есть ли клики по продукту, добавление покупок и транзакций или переход к другому ключевому слову в последующем поведении, это типичная проблема обучения с подкреплением, действие — это рекомендуемый набор кандидатов ключевых слов, а статус — текущие ключевые слова поиска пользователя. , контекст и т. д., доход – это транзакция, основанная на поиске. В дополнение к пассивным рекомендациям по ключевым словам мы также думаем о более активном методе взаимодействия в поиске, который может обеспечить двустороннее взаимодействие, например руководство по покупкам, активно задавать вопросы пользователям, выбирать персонализированные продукты и давать персонализированные рекомендации. уже работает над техническими прототипами и демонстрациями умных руководств по покупкам и умного контента. Умные руководства по покупкам в основном опираются на диалоговую систему в технологии и дополняют друг друга, направляя пользователей и поисковые системы к диалогу и рекомендациям по ключевым словам, включая понимание естественного языка, диалог Стратегия,
Генерация диалогов, рассуждения о знаниях, ответы на вопросы о знаниях и модули поиска товаров, основные функции включают в себя:
А. Создавайте тексты, побуждающие пользователей к активному взаимодействию в соответствии с контекстом поиска пользователя. Например, при поиске «сухое молоко», «Сколько лет вашему ребенку? 0–6 месяцев, от 6 месяцев до 1 года…». будет сгенерирован текст, предлагающий пользователям уточнить цель поиска, если пользователь введет «3 месяца», будет вызвано сухое молоко в соответствующем сегменте, а при последующих поисках будет запомнено состояние диалога «3 месяца» ребенок и пользователю будет предложено «Следующее представляет собой сухое молоко, подходящее для 3-месячных детей».
b. Руководство по покупке знаний, включая вопросы и ответы или советы по расширению знаний перед продажей, например, «какое сухое молоко ест 3-месячный ребенок» и ответ «1 абзац». В настоящее время технология диалога совершенствуется, особенно в аспектах отслеживания состояния многоэтапного диалога, ответов на вопросы о знаниях и автоматической оценки.Приложения, все больше и больше обучающих данных и сценариев приложений, технология диалога для предметной области должна стремительно развиваться в следующие несколько лет. Интеллектуальное создание контента, в том числе создание или помощь искусственно созданным «точкам продажи» продуктов и списков, коротких заголовков и текстовых резюме и т. д., делает представление продуктов Taobao более персонализированным и разнообразным. Семантический поиск. Семантический поиск в основном предназначен для устранения семантического разрыва между ключевыми словами и содержанием продукта. Например, если вы ищете «детское пальто 2–3 лет», если вы соответствуете ключевому слову, результат отзыва будет намного меньше, чем фактическое семантическое соответствие. продукт.
Объем семантического поиска в основном включает:
A. Тегирование и переписывание запросов, таких как новый продукт, возраст, размер, название магазина, атрибут, категория и другое распознавание и нормализация целей поиска, модель тегирования запросов использует классическую модель тегирования последовательности bi-lstm + CRF, в то время как классификация тегов (Нормализация) В качестве еще одной задачи модели маркировка последовательностей и классификация объединяются для обучения.
б) Переписывание запросов, в основном для вычисления сходства между запросами и переписывание запроса в несколько запросов с похожей семантикой.Обычная практика заключается в том, чтобы сначала использовать различные стратегии перезаписи для создания набора переписанных запросов-кандидатов, таких как замена слов, векторизованный верх k, нажмите на сходство продуктов и т. д., а затем используйте ltr для сортировки последующих наборов, чтобы найти соответствующий набор перезаписи.Схема модели и обучение относительно просты, но сложность заключается в том, как создать высококачественный набор обучающей выборки. Мы используем бандитский метод для обнаружения части онлайн, запрос переписывает плюсы и минусы результатов, а в автономном режиме использует правила и генеративные состязательные сети для генерации пакета высококачественных образцов.
c. Понимание содержания товаров и семантическая маркировка, маркировка продуктов или расширение содержимого указателя продуктов с помощью изображений продуктов, страниц с подробностями, оценок, синонимов и гипонимов и т. д., например, использование технологии тегов изображений для создания текстовых меток изображений для обогащения содержимого продукта, или Кроме того, прямое использование слияния вектора изображения и вектора текста используется для реализации поиска и запроса мультимедийных данных.
г. Семантическое сопоставление, классическая технология модели DSSM преобразует запрос и товар в векторы и использует векторный внутренний продукт для выражения семантического сходства. При ответе на вопрос или понимании прочитанного для семантического сопоставления используется многоуровневый LSTM + внимание. -качественные выборки, В частности, качественные отрицательные выборки во многом определяют качество модели.У нас нет случайной отрицательной выборки с низкой эффективностью выборки. Вместо этого на основе графа знаний электронной коммерции мы формируем запрос и сопутствующие документы которые буквально похожи, но не имеют значения отрицательный образец. Как видно из вышеизложенного, тегирование запросов, сходство запросов, семантическое сопоставление и семантическая корреляция — это несколько задач с разными целями, но с очень высокой степенью корреляции. Следующим шагом является использование единой среды семантических вычислений для поддержки различных задач семантических вычислений, в том числе:
a. Разработать структуру обучения представлению продукта на основе содержания продукта, чтобы обеспечить унифицированную структуру обучения представлению продукта для понимания содержания продукта, создания контента, отзыва продукта и релевантности, уделяя особое внимание извлечению текстовой информации, такой как названия продуктов, атрибуты, подробные страницы и обзоры, изображения Извлечение признаков и мультимодальное слияние сигналов.
б) Структура обучения представлению запросов обеспечивает унифицированную структуру обучения представлению для предсказания категорий запросов, переписывания запросов, рекомендаций по запросам и т. д., фокусируясь на обучении унифицированной модели обучения представлению запросов с помощью нескольких задач, похожих на запросы.
C. Структуры моделей бизнес-приложений, такие как семантическая память и семантическая корреляция. Помимо повышения релевантности результатов поиска и улучшения взаимодействия с пользователем, семантический поиск также может в определенной степени решить проблему наложения популярных ключевых слов в названиях продуктов Taobao.
Умный матч. Здесь в основном имеется в виду персонализация и сортировка. содержание включает в себя:
А. ibrain (сеть глубокого восприятия пользователя), в центре внимания персонализации в поиске или рекомендации находится понимание и выражение пользователя.Основываясь на статических характеристиках пользовательских портретов Taobao и динамических характеристиках поведения пользователей, мы основаны на мультимодальном обучении, мульти -обучение представлению задач. Как и технологии, связанные с LSTM, он может напрямую изучать общие выражения пользователей из массивных журналов поведения пользователей.Этот метод обучения хорош для «обобщения опыта» и «обучения по аналогии», что делает полученные пользовательские выражения более базовые и всеобъемлющие, которые могут быть непосредственно использованы для распознавания поведения пользователя, оценки предпочтений, персонализированного отзыва, персонализированной сортировки и других задач, существует широкий спектр сценариев применения в персонализированных сервисах, таких как поиск, рекомендации и реклама, сеть восприятия имеет более 10 миллиардов параметров, он изучил поведение сотен миллиардов пользователей и будет поддерживать непрерывное пошаговое обучение, чтобы становиться все умнее и умнее.
B. Мультимодальное обучение, продукты Taobao имеют текст, изображение, этикетку, идентификатор, бренд, категорию, магазин и статистические функции, эти функции в определенной степени избыточны и дополняют друг друга, мы используем мультимодальное обучение с помощью метода мультимодального совместного обучения. -размерные характеристики для формирования единого стандарта продукта и внедрения самоконтроля в мультимодальное совместное обучение, чтобы осознать разницу в размерах характеристик в разных сценариях, например, особенности изображения под женской одеждой более важны, текст под 3C более важен, и Т. Д.
C. Deepfm, по сравнению с широкой и глубокой моделью, повышает способность комбинирования функций, а комбинированные функции, основанные на предварительных знаниях, могут применяться к модели глубокого обучения для повышения точности прогнозирования модели.
г. Для онлайн-модели глубокой сортировки из-за различий в типах поведения и важности продукта вес обучения каждого образца различен.Повторное копирование и пакетное обучение образцов большого веса через пул образцов эффективно повышает стабильность обучения В то же время, интегрируя статус пользователя, модель глубокого фильтра реализует изучение моделей ранжирования для тысяч людей.
д. Глобальная сортировка, ltr оценивает только один документ, а затем сортирует его в соответствии с оценкой ltr и нарушением правил, что может легко привести к гомогенизации результатов поиска и повлиять на общую эффективность страницы.Глобальная сортировка использует известные результаты сортировки в качестве контекста для прогнозировать следующую позицию. Вероятность клика эффективно повышает общую эффективность сортировки страниц.
е. Кроме того, в проекте также реализован механизм векторного отзыва, основанный на пользовательском и товарном векторах.По сравнению с инвертированным индексом, векторизованный отзыв обладает более сильной способностью к обобщению, что очень ценно для семантического поиска и повышения глубины персонализированного сопоставления. Вышеупомянутое реализует обновление глубокого обучения поиска за счет отзыва, функций сортировки, модели сортировки, персонализации и перестановки, а также обеспечивает улучшение поискового индекса более чем на 10% (тест AB) при двойном поиске беспроводных продуктов.
Многоагентное совместное обучение реализует разумное принятие решений
Персонализированные продукты в поиске связаны с максимизацией транзакций, что приводит к проблеме конвергенции результатов поиска и потери экспозиции.Важной работой, проделанной в этом году, является использование многоагентной технологии совместного обучения для реализации экологической осведомленности и поиска среди нескольких разнородных сцен. Общение по сценарию, индивидуальное принятие решений и совместное обучение максимизируют совместные выгоды, а не один компромисс. Test), что выше версии без совместной оптимизации на 3% выше (AB-Test).
Оптимизация производительности. Когда глубокое обучение только начиналось, мы поняли, что производительность глубокого вывода моделей будет узким местом, поэтому мы провели много исследований и экспериментов в этой области, включая сжатие моделей (отсечение), низкоранговую декомпозицию, квантование и бинарные сети. Благодаря вышеуказанным технологиям во время Double 11 этого года поиск по умолчанию, поиск в магазине и поиск в магазине Taobao добились увеличения показателей поиска более чем на 10% (тест AB).
Планы на будущее для поискового приложения Alibaba с искусственным интеллектом
Общее обучение представлению пользователей. DUPN, представленный выше, является очень хорошей моделью обучения представлению пользователя, но внимание на основе запроса подходит только для поиска, и ему не хватает внимания на основе источника журнала, который трудно обобщить на другие предприятия. представление пользователя, которое может быть подходящим для нескольких бизнес-сценариев. Модель, простая точная настройка для бизнеса, не связанного с поиском, может дать лучшие результаты; в то же время покупательские предпочтения пользователей зависят от сезонов и циклов, а временной интервал очень велик. Недавние предположения о последовательности поведения K слишком просты, мы думаем о том, чтобы сделать жизнь. Модель длительного обучения, которая может изучить последовательность поведения пользователя за последние несколько лет;
Совместная оптимизация поисковых ссылок. Общая оптимизация от входа пользователя в поиск до выхода из поисковой ссылки, например, руководство по запросу перед поиском (затенение), сортировка продуктов и контента во время поиска и рекомендация запроса после поиска (советы) и другие сценарии;
Совместная оптимизация по сценариям. В этом году внутренний основной поиск и совместная оптимизация поиска в магазине достигли хороших результатов.В будущем мы надеемся расширить сценарии с более высоким трафиком, чтобы улучшить общий опыт покупок на Taobao, многоцелевая совместная оптимизация. В дополнение к транзакциям поиск также должен соответствовать требованиям многих платформ и продавцов, таким как разнообразие продавцов, справедливость трафика и коммерциализация трафика. », Для нетоварного поискового контента, такого как «поиск контента», совместная оптимизация между разными целями поиска и разным контентом (видами) стоит глубокого изучения в будущем.
Ответить после подписки "AI"Знаешь