Чен Хайцин, старший технический эксперт отдела интеллектуальных услуг Alibaba, занимается работой и исследованиями в области интеллектуального взаимодействия человека и компьютера в Alibaba в течение 8 лет и возглавляет команду по созданию интеллектуальной интерактивной роботизированной системы Alibaba. Эта статья от Чена Хайцина в "Ctrip Technology Salon - Человеко-машинное семантическое взаимодействие ИИ"Поделиться.
*Видео предоставлено "IT Big Coffee", продолжительность около 43 минут, смотрите его в среде WiFi*
1Введение в область интеллектуального взаимодействия человека с компьютером
1.1Отраслевая классификация и текущий статус приложения
Сегодня, с непрерывным развитием глобальной области искусственного интеллекта, интернет-компании, включая Google, Facebook, Microsoft, Amazon и Apple, последовательно запустили своих собственных интеллектуальных персональных помощников и платформы роботов.
Интеллектуальное взаимодействие человека и компьютера постепенно играет огромную роль и ценность в интеллектуальном обслуживании клиентов, помощнике по задачам, умном доме, интеллектуальном оборудовании, интерактивном чате и других областях благодаря антропоморфному интерактивному опыту. Поэтому крупные компании рассматривают интеллектуальных чат-ботов как приложение начального уровня будущего. Сегодня, с дальнейшим развитием рынка, чат-боты в основном можно разделить на обслуживание клиентов, развлечения, помощь, образование, обслуживание и другие типы в зависимости от типов продуктов и услуг.
На рис. 1 показана часть чат-бота.
Рисунок 1: Обзор некоторых чат-ботов
1,2Статус Али и Xiaomi в сфере электронной коммерции
В июле 2015 года Ali запустила собственного интеллектуального личного помощника Ali Xiaomi, интеллектуальный продукт взаимодействия человека и компьютера, ориентированный на услуги, справочники по покупкам и помощники по задачам в области электронной коммерции. Благодаря сочетанию электронной коммерции и интеллектуального взаимодействия человека с компьютером традиционная модель индустрии услуг будет изменена, а опыт будет улучшен.
Во время прошлогоднего Double Eleven общий объем интеллектуальных услуг Alibaba и Xiaomi достиг 6,43 млн, из которых доля интеллектуальных решений достигла 95% (95%), став абсолютной основной силой услуг во время Double Eleven.
2Техническая практика Али Сяоми в сфере электронной коммерции
2.1Обзор техники Али Сяоми
Интеллектуальная система взаимодействия человека с компьютером, широко известная как система чат-ботов или система ботов. Рисунок 2 представляет собой блок-схему взаимодействия человека с компьютером:
Рисунок 2: Процесс взаимодействия человека с компьютером
Ядром является NLU (понимание естественного языка), которое обрабатывается диалоговой системой и, наконец, дает ответ посредством генерации естественного языка. Как понять кусок языка очень сложно для компьютеров.Например, слово «яблоко» имеет как минимум два значения, одно «яблоко» с атрибутами фрукта, а другое «яблоко» с атрибутами хорошо -известные интернет-компании.
2.1.1Намерение и соответствие системы многоуровневой технической архитектуры
В сфере электронной коммерции, такой как Ali Xiaomi, есть несколько типов роботов, подключенных к обслуживанию клиентов, помощнику и чату. Эти роботы из-за их разных целей не могут быть решены с помощью одной и той же технической базы. Поэтому мы сначала используем метод субдомена, иерархии и подсценария для абстрагирования архитектуры, а затем используем различные методы машинного обучения для технического проектирования в соответствии с разными уровнями и подсценариями. Сначала разделим диалоговую систему на два слоя:
1. Уровень распознавания намерений: определите реальное намерение языка, классифицируйте намерение и извлеките атрибут намерения. Намерение определяет последующий процесс идентификации домена, поэтому уровень намерения — это процесс, который объединяет модель данных контекста и модель данных предметной области для постоянного уточнения и обоснования намерения;
2. Уровень сопоставления вопросов и ответов: процесс сопоставления и идентификации вопросов и получения ответов. В диалоговой системе Alibaba Xiaomi мы разделили три типичных типа проблем в соответствии с бизнес-сценариями и будем применять различные процессы и методы сопоставления в соответствии с тремя типами:
-
Тип вопроса и ответа: например, «Что мне делать, если я забуду свой пароль?» → Применяется метод сопоставления, основанный на построении графа знаний + модель поиска
-
Тип задачи: например, «Я хочу забронировать рейс из Ханчжоу в Пекин на завтра» → решение о намерении + сопоставление заполнения слотов и методов, основанных на глубоком обучении с подкреплением.
-
Тип вербального чата: например, «У меня плохое настроение» → то, как модель поиска сочетается с глубоким обучением.
На рис. 3 показана техническая архитектура намерений и соответствующих слоев Alibaba Xiaomi.
Рис. 3. Архитектура технологии, основанная на уровнях Intent-to-Match
2.1.2Введение в распознавание намерений: практика использования моделей глубокого обучения в сочетании с поведением пользователя
Распознавание намерений обычно абстрагируется в задаче классификации в машинном обучении.Помимо традиционных текстовых признаков в техническом решении Али Сяоми, с учетом неполного семантического намерения в диалоговом поле, мы также добавили режим реального времени, поведение самих офлайн-пользователей и характеристики, связанные с самими пользователями, и создавать модели с помощью решений для глубокого обучения для прогнозирования намерений пользователей, как показано на рис. 4:
Рисунок 4. Классификация намерений глубокого обучения в сочетании с поведением пользователей
В модели прогнозирования классификации, основанной на глубоком обучении, у нас есть две конкретные схемы выбора: одна представляет собой модель с несколькими классами, а другая — модель с двумя классами. Преимущество многоклассовой модели в том, что производительность высокая, но всю модель нужно переобучить для необходимости расширения поля классификации; преимущество двухклассовой модели в том, что исходную модель можно повторно использовать при изменении полевая сцена расширена, и платформа может быть расширена.Недостатки также очевидны.Его необходимо постоянно делить на две части, а общая производительность не так хороша, как мультиклассификация, поэтому можно делать разные выборы с точки зрения конкретных сценарии и объемы данных.
Общая техническая идея Xiaomi по использованию DL для классификации по намерениям состоит в том, чтобы выполнить обработку встраивания для факторов поведения и текстовых признаков соответственно, а затем выполнить мультиклассификацию или обработку с двумя классификациями после наложения векторов. Размерность текстового объекта здесь может быть выбрана с помощью традиционного метода набора слов или может быть векторизована с использованием метода глубокого обучения. Конкретное изображение:
Рисунок 5: Структура сети для классификации целей глубокого обучения в сочетании с поведением пользователей
2.1.3Обзор модели согласования: введение в три основные модели согласования в отрасли
Текущая основная технология интеллектуального сопоставления делится на следующие три метода:
1. На основе сопоставления с шаблоном (на основе правил)
2. Модель поиска
3. На основе модели глубокого обучения (Deep Learning)
В техническом сценарии Alibaba Xiaomi мы используем прототип метода, основанный на сопоставлении шаблонов, модели поиска и модели глубокого обучения, чтобы построить систему диалога на основе различных сценариев (вопрос-ответ, на основе задач и на основе чата).
2.2Техническая практика трех основных полевых сценариев Alibaba Xiaomi
2.2.1Руководство по умным покупкам: руководство по умным покупкам на основе обучения с подкреплением
Интеллектуальные гиды по покупкам постоянно понимают и уточняют намерения пользователей посредством нескольких раундов взаимодействия с пользователями. На этой основе используется глубокое обучение с подкреплением для постоянной оптимизации интерактивного процесса совершения покупок. На рис. 6 показана схема технической архитектуры руководства по интеллектуальным покупкам.
Рисунок 6: Схема архитектуры интеллектуального гида по покупкам
Здесь есть две основные проблемы:
а) Понять намерение пользователя в нескольких раундах взаимодействия.
б) В соответствии с намерениями пользователя результаты оптимизировать ранжирование результатов и процесс взаимодействия.
Нижеследующее в основном знакомит с пониманием намерений руководства по покупкам и оптимизацией стратегий взаимодействия для глубокого обучения с подкреплением.
2.2.1.1Понимание намерений и управление намерениями умных руководств по покупкам
Понимание намерений в рамках руководства по умным покупкам в основном заключается в определении продуктов, которые пользователь хочет купить, и соответствующих атрибутов продуктов По сравнению с традиционным пониманием намерений это также создает несколько новых проблем.
Во-первых, пользователи предпочитают выражения в коротких предложениях. Следовательно, для определения намерения пользователя необходимо объединить многораундовый диалог пользователя и границы намерения.
Во-вторых, в нескольких раундах взаимодействия пользователь будет постоянно добавлять или изменять поднамерение намерения, и необходимо поддерживать набор распознаваемых на данный момент намерений.
В-третьих, между товарными намерениями существуют взаимоисключающие, сходные, высшие и низшие отношения. Управление намерениями, соответствующее разным отношениям, также отличается.
В-четвертых, существуют проблемы категоризации и взаимного исключения атрибутивного намерения.
Для фразового выражения мы поддерживаем стек намерений с помощью управления категориями и атрибутами, чтобы лучше решать фразовое выражение, границу намерения и конкретную логику переключения и модификации намерения. В то же время, для проблемы большой библиотеки товаров мы используем граф знаний в сочетании с семантическим индексированием, чтобы сделать идентификацию товаров очень эффективной. Ниже мы познакомимся с управлением категориями и управлением атрибутами соответственно.
Управление категориями на основе графа знаний и семантического индексирования
Управление категориями в сценарии руководства по интеллектуальным покупкам разделено на идентификацию категории и расчет отношения категорий. На следующем рисунке представлена архитектурная диаграмма отношения категорий.
Рисунок 7: Схема архитектуры управления категориями
Идентификация категории:
Приняты схема распознавания, основанная на графе знаний, и дискриминантная модель, основанная на семантическом индексировании и dssm.
а) Схема идентификации на основе графа товарных знаний:
Основываясь на сложных возможностях структурирования графа знаний, он может идентифицировать категории продуктов. Это основа нашей идентификации продукта.
б) Схема на основе семантического индекса и модели распознавания товаров dssm:
Преимущество схемы распознавания графа знаний в том, что она обладает высокой точностью, но не может охватить все случаи. Поэтому мы предлагаем схему идентификации продукта, основанную на сочетании семантического индексирования и dssm.
Рисунок 8: Схема распознавания продукта на основе семантического индексирования и dssm
Построение семантического индекса:
Обычно при построении семантического индекса используется подход, основанный на онтологии, и подход, основанный на БИС. Мы используем семантический индекс, построенный путем объединения данных поисковых кликов и векторов слов. В основном он включает следующие этапы:
Шаг 1. Используйте поведение кликов при поиске, чтобы выделить кандидатов для сегментации слов по категориям.
Шаг 2: На основе вектора слов рассчитайте сходство между сегментацией слова и категорией-кандидатом и измените порядок индекса.
Идентификация продукта на основе dssm:
dssm — это контролируемая сеть глубокого семантического сопоставления, предложенная Microsoft для сопоставления запросов и документов, которая может лучше решить проблему лексического пробела и уловить внутреннюю семантику предложений. На основе dssm в этой статье строится модель расчета сходства между запросом и категориями-кандидатами. Были достигнуты хорошие результаты, и соответствие модели составляет около 92% на тестовой выборке.
Рисунок 9: Структурная схема сети модели dssm
Построение выборок. Положительные выборки для обучения создаются на основе поисковых запросов и категорий кликов в журнале поиска. Отрицательные выборки извлекают некоторые похожие категории, используя запросы и выбранные категории в качестве начальных значений, и используют категории, которых нет в положительных выборках, в качестве отрицательных выборок. Соотношение положительных и отрицательных образцов составляет 1:1.
Расчет соотношения категорий:
Расчет отношений категорий в основном используется в управлении намерениями интеллектуального руководства по покупкам.Основные отношения, рассматриваемые здесь, это: верхние и нижние отношения и отношения подобия. Например, первое намерение пользователя — купить одежду, а когда последнее намерение говорит о покупке стакана с водой, атрибуты предыдущей одежды не должны наследоваться стакану с водой. Наоборот, если пользователь сказал, что он хочет штаны в это время, поскольку брюки являются гипонимами одежды, предыдущие атрибуты одежды должны быть унаследованы.
Существует две схемы расчета верхнего и нижнего отношения:
а) Использование реляционных операций на основе графов знаний.
б) Извлечение через поисковый запрос пользователя.
Две схемы расчета сходства:
а) На основе одного и того же гипернима. Например, гипернимы Xiaomi и Huawei — это мобильные телефоны, поэтому они похожи.
б) Семантическое сходство вложений на основе слов категории быстрого текста.
Управление атрибутами на основе графа знаний и расчета подобия
На следующем рисунке представлена диаграмма архитектуры управления свойствами:
Рисунок 10: Схема архитектуры управления атрибутами
В целом, управление атрибутами включает в себя два основных модуля: идентификацию атрибутов и расчет отношения атрибутов, с аналогичными идеями и управлением категориями. Здесь он не будет подробно представлен.
2.2.1.2Исследование и попытка глубокого обучения с подкреплением
Обучение с подкреплением - это сопоставление обучения агента из окружающей среды с поведением.Цель состоит в том, чтобы максимизировать значение сигнала вознаграждения (сигнала подкрепления), а среда предоставляет сигнал подкрепления для оценки качества действия. Агент получает оптимальную стратегию принятия решений, непрерывно исследуя внешнюю среду, которая подходит для последовательных задач принятия решений. На рисунке 11 представлена модель обучения с подкреплением, взаимодействующая с окружающей средой.
Рисунок 11: Диаграмма взаимодействия env-модели
Глубокое обучение с подкреплением представляет собой комбинацию обучения с подкреплением и глубокого обучения.Оно в основном использует мощную способность нелинейного выражения глубокого обучения для представления состояния, с которым сталкивается агент, и логики принятия решения о состоянии.
В настоящее время мы в основном используем DRL для оптимизации нашей стратегии взаимодействия. Поэтому наша установка такова, что пользователь является средой в обучении с подкреплением, а машина — моделью. Действие — это активное риторическое взаимодействие в этом раунде или прямые результаты поиска.
Государственный дизайн:
Дизайн состояния здесь в основном рассматривает несколько раундов намерений пользователя, разделение толпы пользователя и информацию о продуктах, взаимодействующих в каждом раунде, как текущее состояние, воспринимаемое машиной.
состояние = ( намерение1, запрос1, цена1, is_click, query_item_sim, …, мощность, user_inter, возраст)
где намерение1 указывает на текущее намерение пользователя, а запрос1 указывает на исходный запрос пользователя. price1 указывает среднюю цену продукта, отображаемого в данный момент пользователю, is_click указывает, происходит ли щелчок в этом раунде взаимодействия, а query_item_sim указывает на сходство между запросом и товаром. power представляет покупательную способность пользователя, user_inter представляет интерес пользователя, а age представляет возраст пользователя.
Оформление награды:
Поскольку окончательным измерением является транзакция пользователя, рейтинг кликов и количество раундов диалога. Таким образом, дизайн вознаграждения в основном включает в себя следующие три аспекта:
а) Награда за клик пользователя установлена на 1
б) Транзакция установлена на [1 + math.log(price + 1.0)]
в) Остальные установлены на 0,1
Выбор схемы ДХО:
Конкретная схема здесь в основном использует три схемы: DQN, политик-градиент и A3C.
2.2.2Интеллектуальный сервис: техническая практика построения и извлечения модели на основе графа знаний
Характеристики интеллектуальных услуг: существует концепция знаний предметной области, корреляция между знаниями высока, а требования к точности относительно высоки.
Основываясь на характеристиках сценариев вопросов и ответов, мы используем комбинацию построения графа знаний и модели поиска для разработки базовой модели сопоставления при выборе технологии.
Построение графа знаний будет абстрагироваться с двух точек зрения: одна - это анализ измерения сущности, а другая - анализ измерения короткого предложения путем накопления большого количества принадлежащих и интернет-данных на платформе Taobao, майнинг через тематические модели, маркировать и очищать, а затем определять отношения между сущностями через предустановленные отношения и, наконец, формировать карту знаний. Основной процесс майнинга выглядит следующим образом:
Рис. 12. Процесс интеллектуального анализа сущностей и фраз для сети знаний
Пример графа знаний, построенного путем майнинга, показан на рисунке 13:
Рисунок 13: Пример конкретного графа знаний
Режим сопоставления на основе графа знаний имеет следующие преимущества:
(1) Поддержка контекстного распознавания разговоров и рассуждений между сущностями при разработке диалоговых структур и процессов.
(2) Обычно точность общего вопроса и ответа относительно высока (конечно, сцена рассуждений требует специального дизайна, который будет немного сложным)
Есть и очевидные минусы:
(1) На ранней стадии построения модели могут возникнуть проблемы с нечеткостью данных и охватом, что приведет к отсутствию охвата сопоставлением;
(2) Для постепенного обслуживания графа знаний стоимость обслуживания знаний будет больше, чем у традиционной пары QA;
Поэтому мы по-прежнему интегрируем традиционное сопоставление диалогов, основанное на модели поиска, в дизайне вопросов и ответов Alibaba Xiaomi.
Его основной онлайн-процесс делится на:
(1) предварительная обработка вопросов: основные процессы обработки текста, такие как сегментация слов, денотативное разрешение и исправление ошибок;
(2) Отзыв при поиске: вызов возможных совпадающих данных-кандидатов в данных-кандидатах посредством поиска;
(3) Расчет: расчет с помощью запроса в сочетании с контекстной моделью и данными-кандидатами, а также расчет с помощью комбинации метода расчета расстояния между текстами (косинусное сходство, расстояние редактирования) и модели классификации;
(4) Наконец, проектирование процесса конечного продукта выполняется в соответствии с пороговым значением возвращенного набора кандидатов;
Офлайн-процесс делится на:
(1) Индексирование данных знаний;
(2) Построение автономной текстовой модели: например, расчет терминов и весов и т. д.;
Общий процесс модели поиска показан на рисунке 14:
Рисунок 14: Блок-схема модели поиска
2.2.3Smart Chat: приложение для чата, основанное на сочетании модели поиска и модели глубокого обучения
Характеристики интеллектуального чата: нецеленаправленность, неясность смыслового замысла, обычно ожидаемая смысловая корреляция и постепенность, относительно невысокие требования к точности.
Чат-боты, ориентированные на открытый домен, являются большой проблемой как в академических кругах, так и в промышленности.Обычно на этом этапе у нас есть два способа оформления диалогов:
Один из них — очень популярный метод создания модели глубокого обучения в академическом мире.Модель кодировщик-декодер используется для создания последовательности к последовательности через LSTM, как показано на рисунке 15:
Рисунок 15: Схема структуры сети seq2seq
GenerationModel (модель поколения):
Преимущества: Ответы генерируются глубоким семантическим способом, и ответы не ограничены размером корпуса.
Недостатки: интерпретируемость модели невелика, и трудно обеспечить согласованность и разумные ответы.
Другой способ — построить сопоставление вопросов и ответов языкового чата с помощью традиционной модели поиска.
RetrievalModel (модель поиска):
Преимущества: ответ находится в предустановленном корпусе, управляемый, модель сопоставления относительно проста, а интерпретируемость сильна.
Недостатки: в определенной степени не хватает некоторой семантики и есть ограничение фиксированного корпуса.
Поэтому в механизме чата Alibaba Xiaomi мы объединили соответствующие преимущества двух моделей и объединили две модели, чтобы сформировать ядро механизма чата Alibaba Xiaomi. Сначала данные набора кандидатов извлекаются с помощью традиционной модели поиска, а затем набор кандидатов переранжируется с помощью модели Seq2Seq. После того, как переупорядочивание превышает указанный порог, выводится вывод. Если порог меньше порога, ответ генерируется с помощью модели Seq2Seq.Общая блок-схема 16:
Рисунок 16: Модуль чата Xiaomi
3, Развитие и перспективы технологии будущего
В настоящее время область искусственного интеллекта все еще находится в стадии слабого искусственного интеллекта, особенно в области восприятия и познания, еще много возможностей для совершенствования. Интеллектуальное взаимодействие человека и компьютера уже можно тесно сочетать с реальными промышленными сценариями в целевой области и создавать большую ценность.Благодаря постоянному развитию технологий искусственного интеллекта развитие интеллектуального взаимодействия человека и компьютера будет продолжать улучшаться в будущем. Нас стоит ждать и ждать развития:
1. Непрерывное накопление данных и постоянное улучшение и построение графов знаний в предметной области будут и впредь способствовать постоянному совершенствованию интеллектуального взаимодействия человека и компьютера;
2. Строительство полевого робота с вертикальным подразделением, ориентированного на задачу, станет точкой роста непрерывного взрыва роботов в будущем, а интерактивный робот открытого домена необходимо будет продолжать улучшать и исследовать в будущем;
3. Благодаря постоянному совершенствованию распределенных вычислительных мощностей глубокое обучение будет продолжать развиваться в области НЛП (обработка естественного языка) после охвата областей изображения и речи, а академические исследования в области диалога и обеспечения качества будут по-прежнему проводиться. активный;
В будущем, с непрерывной интеграцией и накоплением научных кругов и промышленности, ожидается, что сцены в фильмах об искусственном интеллекте будут реализованы как можно скорее, и каждый сможет иметь свой собственный интеллектуальный «Сяоми».
использованная литература:
[1] : Huang P S, He X, Gao J, et al. Learningdeep structured semantic models for web search using clickthrough data[C]// ACMInternational Conference on Conference on Information & KnowledgeManagement. ACM, 2013:2333-2338.
[2] Minghui Qiu and Feng-Lin Li. MeChat: A Sequence to Sequence andRerank based Chatbot Engine. ACL 2017
[3] Dzmitry Bahdanau, Kyunghyun Cho, and YoshuaBen- gio. 2015. Neural machine translation by jointly learning to align andtranslate. In Proceedings of ICLR 2015
[4]Matthew Henderson. 2015. Machine learning fordialog state tracking: A review. In Proceedings of The First InternationalWorkshop on Machine Learning in Spoken Language Processing.
[5] Mnih V, Badia A P, Mirza M, et al.Asynchronous Methods for Deep Reinforcement Learning[J]. 2016
[6] Li J, Monroe W, Ritter A, et al. DeepReinforcement Learning for Dialogue Generation[J]. 2016.
[7] Sordoni A, Bengio Y, Nie J Y. Learning concept embeddings for queryexpansion by quantum entropy minimization[C]// Twenty-Eighth AAAI Conference onArtificial Intelligence. AAAI Press, 2014:1586-1592.
Чтобы скачать PPT лектора, нажмите «Читать исходный текст» внизу статьи.
Рекомендуемое чтение: