Зоу Бо, главный архитектор алгоритмов JD.com JIMI, занимается НЛП и глубоким обучением. В настоящее время отвечает за прогнозирование намерений пользователей в будущем, интеллектуальную переадресацию, прогнозирование окончания сеанса и другие проекты, что значительно повышает эффективность работы по обслуживанию клиентов, снижает трудозатраты и улучшает качество обслуживания клиентов. Эта статья от Бо Цзоу в "Ctrip Technology Salon - Человеко-машинное семантическое взаимодействие ИИ"Поделиться.
*Видео предоставлено "IT Master Said", продолжительность около 48 минут, смотрите его в среде WiFi*
С развитием технологии искусственного интеллекта в последние годы, чат-боты Chatbot становятся все более и более популярными, а доступ пользователей увеличивается, а опыт стал текущей трудностью.
Нынешний интеллектуальный робот, отвечающий на вопросы, должен не только реализовать многоканальное мультимедийное интеграционное приложение для интеллектуального взаимодействия человека с компьютером (текст, голос и т. д.), но также нуждается в исследовании и накоплении передовых технологий, таких как большие данные и глубокое семантическое понимание в различных областях, так что робот может ответить пользователю.В то же время он предсказывает следующее намерение пользователя и выполняет соответствующую персонализированную обработку, поэтому появилась технология прогнозирования будущих намерений пользователя для чат-бота.
1, Jingdong JIMI и статус разработки
1.1 О ДЖИМИ
Jingdong JIMI — это чат-бот, независимо разработанный Jingdong.Благодаря обработке естественного языка, глубокой нейронной сети, машинному обучению и другим технологиям он может выполнять всепогодные и неограниченные консультации пользователей, включая предпродажные консультации, послепродажное обслуживание, общение в чате и другие. ссылки.
С момента своего создания в 2012 году он обслуживал сотни миллионов пользователей, охватывая более 1 миллиарда продуктов на JD.com, с точностью ответа более 90% и удовлетворенностью пользователей более 80%, сэкономив JD.com десятки миллионов долларов. затрат на оплату труда ежемесячно.
1,2существующие технические решения
JIMIАрхитектура предшествующего уровня техники в основном состоит из следующих модулей, как показано на рисунке 1:
(1)Алгоритм: включает исправление ошибок, сегментацию слов, распознавание сущностей, граф знаний, лексический анализ и другие модули, в соответствии с проблемами пользовательского ввода, в сочетании с тезаурусом доменных терминов и другими грамматическими и семантическими ресурсами, после устранения неоднозначности, ссылочной связи и других проблем, обеспечивает точное понимание намерений пользователя с использованием технологии глубокой нейронной сети.
(2)Инжиниринг: в соответствии с логикой бизнес-обработки определите процесс обработки ответа на вопрос, например, является ли ответ чатом или бизнесом, должен ли пользователь войти в систему и т. д.
(3)Данные: извлекая, очищая и агрегируя исходные пользовательские данные, он реализует хранение знаний в области обслуживания клиентов и визуализирует существующие данные.
Рисунок 1: Схема архитектуры системы чат-бота
1.3 Недостатки существующих решений
Традиционный чат-бот может давать соответствующие ответы только в соответствии с текущим вопросом пользователя, что похоже на форму одного вопроса и одного ответа. Невозможно предсказать следующее намерение пользователя во время чата. Таким образом, пользователи должны каждый раз полностью вводить вопрос, который они хотят задать, чтобы получить соответствующий ответ. Этот метод отнимает много времени, и пользовательский опыт не особенно хорош.
Далее в этой статье будет представлен метод, основанный на прогнозировании будущих намерений пользователя, который будет анализировать процесс чата пользователя в режиме реального времени и интеллектуально прогнозировать следующее намерение пользователя в соответствии с текущими и историческими проблемами, чтобы улучшить опыт пользователя в чате.
2, прогнозируя будущие намерения технических решений
2.1 Сценарии применения
Основываясь на проблемах и недостатках существующих технологий, мы предлагаем метод интеллектуального прогнозирования следующего намерения пользователя. Этот метод интеллектуально прогнозирует следующие наиболее вероятные вопросы, которые пользователь задаст, основываясь на текущем заказе пользователя, статусе корзины покупок и другой информации об учетной записи, а также на историческом содержимом чата. Он в основном используется в следующих двух сценариях:
1) до того, как пользователь начнет консультироваться
Как предсказать вопросы, которые пользователи могут задать заранее после того, как они войдут в JIMI и перед консультацией, и отобразить их непосредственно пользователям, чтобы пользователи могли щелкнуть по ним, чтобы улучшить взаимодействие с пользователем, необходимо решить две технические проблемы.Стандартные вопросы, которые будут заданы как задавать разные вопросы разным пользователям персонализированным образом.
С точки зрения конкретной реализации, ручная сортировка приводит к большим трудозатратам и несвоевременному обновлению проблемы, поэтому мы используем метод неконтролируемой кластеризации, чтобы получить стандартные вопросы, которые могут задать пользователи, а затем проводим онлайн-эксперименты, чтобы случайным образом задать эти вопросы. , собираем клики пользователей в качестве классификационных меток и, наконец, решить ее с помощью классификационных идей.
Конкретная техническая реализация выглядит следующим образом, как показано на рисунке 2. Во-первых, вопросы собираются в соответствии с размером популярных SKU, включая информацию, отправленную пользователем в JIMI/Dongdong, и вопросы, на которые консультируются при покупке одного страница продукта. Эти исходные задачи нельзя напрямую использовать в качестве стандартных задач, поэтому требуется ручная фильтрация.Из-за огромного объема данных здесь используется логистическая регрессия для обучения модели фильтрации корпуса для очистки данных. Затем вырежьте слова для этих задач, word2vec обучает векторы слов, а затем получает векторы предложений. Наконец, метод кластеризации K-средних используется для поиска 20 самых больших кластеров, и проблема с наибольшим количеством вхождений выбирается в качестве задачи. стандартная проблема.
Рисунок 2: Прогноз пользователя перед входом на консультацию
После того, как система подключается к сети, эти проблемы генерируются случайным образом, а затем метка образца определяется в соответствии с поведением пользователя при нажатии, а затем заказ пользователя, заказ услуги, данные просмотра в реальном времени и портретные данные собираются в качестве образцов. , и, наконец, будущая выборка обучается для пользователя, чтобы он начал консультироваться.Модель классификации прогнозирования намерений. Когда пользователь снова приходит за консультацией, в соответствии с моделью классификации ему предоставляется на выбор 3 наиболее вероятных вопроса, которые пользователь может задать.
2) Прогноз в реальном времени во время консультации с пользователем
Для прогнозирования будущих намерений в процессе консультации с пользователем, как показано на рис. 3, система будет прогнозировать следующее намерение пользователя в режиме реального времени, когда пользователь произносит каждое предложение, и отображать прогнозируемые TOP5 намерений пользователя на внешнем интерфейсе. Если пользователь считает, что прогноз точен, он может напрямую щелкнуть вопрос, чтобы получить ответ, вместо того, чтобы вводить вопрос вручную, что улучшит взаимодействие с пользователем.
Рис. 3. Прогнозирование намерений в режиме реального времени во время консультации с пользователем
2.2 Процесс прогнозирования будущих намерений
Процесс прогнозирования будущих намерений в процессе консультации с пользователем включает три модуля: предварительная обработка, прогнозирование модели и запись данных. Как показано на рисунке 4:
Рисунок 4: Внутренняя блок-схема модуля прогнозирования будущих намерений во время консультации с пользователем
Функции каждого модуля следующие:
предварительная обработка: модуль предварительной обработки в основном делает некоторые необходимые входные суждения, такие как оценка того, является ли входной запрос пользователя законным, и если пользователь задает менее 2 предложений, он не выполняет обработку предсказания будущих намерений. Если пользователь задает более 2 предложений, он продолжит переход к модулю прогнозирования модели.
Предсказание модели: Рассчитать вероятность следующей возможной проблемы пользователя с помощью модели. Если прогнозируемое значение ниже текущего установленного порога, оно не будет нажато. Если оно выше порога, оно продолжит опускаться до записи данных модуль.
запись данных: Отвечает за записи системного журнала, такие как запись того, какие категории выдвигаются для каждого предложения, что удобно для настройки модели после того, как система подключена к сети.
Далее подробно описывается подмодуль предсказания модели. Этот модуль сопоставляет вопросы пользователей с различными категориями с помощью метода классификации моделей и вычисляет вероятность следующего вопроса пользователя в режиме реального времени. Конкретные технические решения заключаются в следующем:
1) образец конструкции
Во-первых, соберите информацию из журнала чатов пользователей и службы поддержки, и на основе этой массивной информации мы сможем найти связь между текущей проблемой пользователя и следующей проблемой.
Например, когда пользователь заходит на консультацию, он сначала отправляет «Здравствуйте», затем «Этот товар есть в наличии?», затем спрашивает «Есть ли скидка?» и, наконец, спрашивает «Сейчас делаю заказ, когда будет быть доставленным?". В настоящее время, когда мы создаем выборку, нам нужно собрать вместе первые три предложения, чтобы построить выборку, например «Здравствуйте, этот товар есть в наличии? Есть ли скидка?»
2) конструкция тега
Этикетка приведенного выше образца является классификацией, соответствующей четвертому предложению «закажите сейчас, когда он будет доставлен?».
Как определяется классификация? При ручном просмотре все вопросы пользователей читаются, и каждый вопрос относится к определенной категории. Например, если пользователь спрашивает «Есть ли мой товар в наличии?» или «Есть ли он еще в наличии?»
3) выбор метки
Вопросы, направляемые пользователям, предпочтительно должны быть часто задаваемыми пользователями, а не какими-то длинными вопросами, которые могут повысить точность толчка.
Подсчитайте журналы чатов за последний год, сопоставьте каждое предложение всех пользователей с меткой категории и рассчитайте метки категории ТОП-10. Категории, которые активно продвигаются, ограничены этими ТОП-10. Окончательный построенный образец и информация о этикетке показаны на рисунке 5.
Рисунок 5: Создание образцов и этикеток
Общая идея построения образца:
-
Получить исходный вопрос пользователя из журнала чата за последний 1 год
-
Классифицируйте вопросы пользователей, каждый вопрос пользователя соответствует метке категории
-
Каждая сессия содержит N пользовательских вопросов, из которых первые N-1 вопросов пишутся вместе как образец, а классификация N-го вопроса используется в качестве метки образца.
-
Наконец, используется классификация меток TOP10, чтобы гарантировать, что результаты прогнозирования могут охватывать часто встречающиеся проблемы пользователя.
4) обучение модели:
Модель CNN с глубоким обучением можно использовать для решения проблемы классификации, сопоставляя вопрос пользователя с конкретной классификацией. В окончательном выборе алгоритма мы используем модель глубокого обучения CNN, где параметры модели:
-
Вектор слова принимает 100 измерений
-
Каждый образец ограничен 30 словами, если он превышает 30, он будет усечен, а если меньше 30, то будет дополнен случайными векторами.
-
Однослойная сеть CNN, размер ядра свертки первого уровня 3*50
5) модельный эффект
Статистику конечного эффекта модели измеряют путем установления сравнения между базовой линией и моделью. Идея установления BaseLine заключается в следующем: для текущей классификации X на основе статистики исторических данных дается следующая классификация Y с наибольшей частотой.
|
Модель |
CTR |
Точность |
|
Baseline |
52.4% |
62.4% |
|
LSTM |
68.7% |
75.5% |
|
LSTM + Attention |
71.2% |
78.2% |
3, Вывод
После онлайн-проверки технология прогнозирования будущих намерений пользователя смогла оптимизировать эффективность консультирования пользователя и опыт консультирования, так что робот не только «понимает, что вы спрашиваете», но и «знает, что вы думаете». В дальнейшем, основанном на постоянной оптимизации и улучшении способности понимать естественный язык и глубоком обучении, предсказание будущих намерений пользователей будет становиться все более и более точным, что позволит пользователям использовать более интеллектуальных роботов.
Чтобы скачать PPT лектора, нажмите «Читать исходный текст» внизу статьи.
Рекомендуемое чтение: