1. ПредпосылкиКак ведущая компания по обработке больших данных о путешествиях в Китае, AutoNavi имеет большое количество пользователей и кооперативных производителей, которые предоставляют AutoNavi большой объем данных о путешествиях.В то же время, по различным каналам, эти пользователи также активно предоставляют нам множество отзывов, эта информация требует от нас глубокого изучения продукта и работы над ним, а также является важным средством для AutoNavi постоянного совершенствования и повышения качества обслуживания.
В этой статье в основном будет представлен текстовый интеллект для обратной связи с пользователями, как использовать методы машинного обучения для повышения эффективности обработки большого количества пользовательских данных и максимально возможного автоматизированного решения проблем.
Давайте сначала объясним ключевые существительные.
Интеллект: это такая информация, как текст, изображения или видео, которая используется для решения конкретных проблем при создании карт AutoNavi или навигации. По сути, это относится к знаниям или фактам, связанным с дорогами или трафиком, и сообщается конкретным пользователям через определенное пространство и время.
Обратная связь с пользователем: это означает, что пользователи предоставляют некоторую обратную связь, включая информацию, предложения и жалобы, относительно программного обеспечения, которое они используют, с помощью определенного носителя. Типичные типы отзывов пользователей и параметры показаны ниже:
2. Проблемы и решенияСпособ обратной связи с пользователем может быть сообщен через терминал Amap мобильного телефона, терминал ПК и т. д. При сообщении выберите некоторые параметры и текстовые описания, чтобы сообщить о проблеме.Ниже приведен пример обратной связи с пользователем, включая источник проблема, основной тип, подтип и название дороги — это элемент выбора, а пользовательское описание — элемент заполнения, как правило, относительно короткий текст. Это также основные функции, которые мы можем использовать.
После того, как каждый пользователь сообщает о проблеме, он надеется, что проблема может быть решена в первый раз, и своевременно получить обратную связь. Однако ежедневные отзывы пользователей AutoNavi исчисляются сотнями тысяч, и добиться своевременной обратной связи очень сложно.
Текущий общий процесс для этой информации отзывов пользователей состоит в том, чтобы сначала использовать правила для классификации, в которых каждый отзыв, связанный с дорогой, должен быть проверен вручную, чтобы определить тип проблемы, о которой сообщил пользователь, и местонахождение проблемы, а также обновить дорожные данные во времени навигация.
Операция по части обратной связи должна пройти через такие звенья, как идентификация разведки, позиционирование разведки и проверка разведки:
-
Идентификация интеллекта в основном предназначена для оценки типа проблемы, то есть для обозначения интеллекта: ① Анализ информации, сообщаемой пользователями, включая источник проблемы, основные типы, подтипы, описания пользователей и т. д.; ② Проверка загруженных графических материалов. , в том числе автоматические скриншоты мобильных телефонов и фотографии пользователей;
-
Интеллектуальное позиционирование в основном предназначено для поиска информации о местонахождении проблемы, то есть координат позиционирования: ① Анализ положения штампа, когда пользователь сообщает о проблеме, то есть достоверность штампа; ② Проверка положения транспортного средства, когда пользователь сообщает о проблеме, то есть положение транспортного средства, ③Анализ использования пользователем журнал информации, такой как планирование и реализация траекторий в процессе программного обеспечения AutoNavi;
-
Проверка разведывательных данных: метка разведданных и координаты местоположения определяются с помощью двух вышеуказанных шагов.Эта ссылка необходима для проверки метки разведданных (включая название дороги): ①Проанализируйте изображение и карту больших данных или основные данные дорожной сети, ②Проверьте данные, загруженные пользователем, и собранные данные Мультимедийный фотоматериал.
Весь поток бизнес-процессов показан на следующем рисунке:
Принцип всего процесса работы с отзывами пользователей состоит в том, чтобы полностью поверить в то, что проблема пользователя существует. Если информации, предоставленной пользователем, недостаточно, чтобы определить тип проблемы и ее местонахождение, мы постараемся сделать все возможное, чтобы сделать вывод, предвзятый для пользователя, с помощью информации журнала, такой как планирование пользователя и траектория реализации.
В настоящее время основными проблемами всего процесса обработки отзывов пользователей являются: низкая точность распределения правил, сложный процесс ручной проверки, высокие требования к навыкам и низкая эффективность, а также серьезное непредумышленное убийство при признании недействительным.
Чтобы решить вышеуказанные проблемы, мы надеемся внедрить метод машинного обучения для улучшения возможностей работы на основе данных. В процессе исследования машинного обучения мы сначала разобрали и иерархически классифицировали бизнес, во-вторых, использовали алгоритмы для замены правил классификации разведывательных данных и снова разработали и демонтировали процесс ручной проверки для идентификации разведывательных данных, позиционирования разведданных и разведданных. добиться быстрой работы одного человека и одного навыка и, наконец, использовать алгоритмы для автоматизации этапов идентификации интеллекта после технического демонтажа.
3. Решение проблем с машинным обучением
3.1 Сортировка бизнеса и демонтаж иерархии процессов
После того, как первоначальные проблемы обратной связи с пользователем классифицируются по правилам, выполняется идентификация, позиционирование и проверка искусственного интеллекта, чтобы окончательно подтвердить, к какому из почти 100 небольших элементов классификации относится проблема и ее местоположение, а затем определить соответствующую классификацию верхнего уровня и весь уровень отношения.
Из этого видно, что во всем процессе обработки задачи всего один шаг, и процесс обработки достаточно сложен, требует высокого ручного труда и низкой эффективности. И есть тысяча Гамлетов в глазах тысячи людей, и личная субъективность тоже будет влиять на решение проблемы.
В ответ на эту ситуацию мы разобрали и разобрали исходный бизнес-процесс, надеясь использовать машинное обучение и автоматизацию процессов для решения некоторых из этих звеньев и повышения эффективности обработки проблем в целом.
Сначала проводится классификация достоверной и недействительной разведывательной информации, а затем весь процесс разбирается на шесть уровней, включая бизнес-уровень 1, бизнес-уровень 2, бизнес-уровень 3, идентификацию разведданных, позиционирование разведданных и проверку разведданных.
Как показано на рисунке выше, первые три уровня после демонтажа являются звеньями классификации разведки, только последние три уровня требуют частичного ручного вмешательства, а остальные уровни непосредственно обрабатываются автоматически. Это значительно упрощает проблему и повышает эффективность за счет таких методов, как иерархия, автоматизация и специальное укомплектование персоналом.
3.2 Адаптация бизнеса и модели
Мы видим, что в отзывах пользователей есть как параметры, так и элементы ввода. Все параметры, такие как источник проблемы, имеют значения по умолчанию. Вам нужно щелкнуть и выбрать соответствующие элементы подразделения. У пользователей может не хватить терпения, чтобы тщательно выбирать , но наберитесь терпения. Пользователи могут не выбрать правильную классификацию, поскольку не знают конкретных критериев классификации. Описание пользователя — это контент, который требует от пользователя ручного ввода, это основной способ для пользователя выразить истинное намерение и является наиболее ценным контентом в отзывах пользователей.
Пользовательские описания обычно делятся на три ситуации: без описания, описание, но бессмысленное, описание и смысл. Первые два называются недействительными описаниями, а вторые — действительными описаниями.
По результатам демонтажа бизнеса первым шагом бизнес-процесса является устранение недействительности, после чего мы дифференцируем отзывы пользователей, описанные как действительные и недействительные, и устанавливаем соответствующие процессы для обработки.
1) Эффективно описанная обратная связь с пользователем классифицируется шаг за шагом. Первый уровень разделен на три категории: данные, продукт и пересылка. Среди них две категории продуктов и пересылка обрабатываются напрямую автоматически, а категория данных будет разделена на дороги и темы второго уровня.
2) Отзывы пользователей о недопустимых описаниях, выполнение той же классификации и выполнение одного и того же процесса, но набор образцов и модель разные, и в конце нет этапа обработки алгоритма, а выполняется ручная обработка или обработка правил.
3) Наконец, после послойной разборки в соответствии с реальными потребностями бизнеса, формируется структура бизнеса и адаптации модели, показанные на рисунке ниже.
Из приведенного выше анализа видно, что классификация интеллекта и распознавание интеллекта являются задачами классификации текстов с несколькими классификациями.Мы выполняем соответствующие операции в соответствии с их различными характеристиками данных:
Классификация интеллекта, хотя каждый уровень классификации отличается, но архитектуру модели можно использовать повторно, нужно только целенаправленно вносить небольшие изменения. И есть наборы исторических данных, которые ранее проверялись вручную (включая идентификацию разведывательных данных, позиционирование разведывательных данных, проверку разведывательных данных и т. д.), с окончательным результатом в качестве метки классификации в качестве истинного значения, и выборочный набор относительно легко получить.
Идентификация разведывательной информации, классификационная метка которой является промежуточным результатом перед проверкой разведывательной информации, может быть помечена только вручную, и необходимо максимально выделить человеческие ресурсы для маркировки, исходя из предпосылки обеспечения нормального онлайн-производства, а ресурсы очень ограничены. Поэтому сначала мы выполняем точную настройку набора данных классификации интеллекта, чтобы обучить модель. Затем применение распознавания интеллекта будет осуществляться после того, как количество размеченных вручную образцов накопится до определенного порядка.
3.3 Выбор модели
Во-первых, неструктурированное текстовое пользовательское описание представляется в виде вектора, то есть модели векторного пространства.Традиционный метод заключается в непосредственном использовании дискретного функционального представления, то есть использовании значения tf-idf для представления слово, а измерение - это размер словаря. Однако, когда количество статистических выборок в этом представлении относительно велико, возникнут проблемы с разреженностью данных и взрывом размерности.
Чтобы избежать подобных проблем и лучше отразить отношения между словами, такие как семантическое сходство, соседний порядок слов и т. д., мы используем встраивание слов для представления, то есть модель word2vec, предложенную Миколовым, Эта модель может использовать контекстную структуру информация о словах для преобразования. Семантика слов отображается в фиксированное векторное пространство, и их сходство в векторном пространстве может представлять собой семантическое сходство текста, которое можно рассматривать как абстрактное представление контекстуальных признаков по существу.
Второй и наиболее важный - это выбор модели.По сравнению со сложными этапами разработки признаков традиционного метода статистического обучения метод глубокого обучения более предпочтителен.Наиболее часто используемым в НЛП является рекуррентная нейронная сеть RNN, которая циклически передает состояние в своей собственной сети. , по сравнению с нейронной сетью с прямой связью, он может принимать более широкий диапазон входных данных структуры временных рядов и лучше выражать контекстную информацию, но у него будут проблемы, такие как исчезновение градиента или взрыв градиента во время процесса обучения, в то время как длительный Сеть кратковременной памяти LSTM может очень хорошо решить эту проблему.
3.4 Архитектура модели
Результат вектора слов информации обратной связи каждого пользователя используется в качестве входных данных LSTM, а затем результат последней единицы LSTM используется в качестве текстовой функции, которая объединяется с другими вопросами выбора пользователя в качестве входных данных модели, и затем после полносвязного слоя в качестве входных используется softmax.Выходной слой классифицируется, и полученные вещественные числа от 0 до 1 являются основой для классификации. Архитектура мультиклассовой сети показана на следующем рисунке:
4. Обобщение практического опытаПосле прояснения бизнес-логики, определения шагов решения проблемы, подтверждения маркировки и планирования образцов и запуска первой версии модели мы чувствуем, что наконец-то можем вздохнуть с облегчением: проблема должна быть решена более чем наполовину, а остальное - заняться настройкой и оптимизацией модели, дождаться накопления сэмплов, и после обучения модель можно легко запустить.
Однако реальная ситуация сталкивается с большим количеством проблем и трудностей, чем ожидалось, таких как недостаточное количество данных для обучения, низкая производительность одной модели и неудовлетворительные настройки гиперпараметров.Долгий и сложный процесс оптимизации и итерации только начался.
4.1 Fine-tuning
После выбора модели первая проблема, с которой сталкивается идентификация интеллекта, заключается в том, что размер выборки серьезно недостаточен.Мы используем метод тонкой настройки, чтобы немного изменить модель, которая была обучена в сети перед обучением, чтобы улучшить эффект модели. Образцы, помеченные вручную, постепенно увеличиваются, и для наборов данных разного размера можно добиться улучшения примерно на 3 процентных пункта.
4.2 Настройка параметров Настройка параметров модели — это процесс развития внутренних навыков для изготовления золотого эликсира, но фактический эффект не обязательно будет хорошим. Мы провели около 30 наборов экспериментов по настройке параметров и получили следующий ценный опыт, полный крови и слез:
1) Инициализация, которую необходимо сделать, выбираем инициализацию СВД.
-
Выпадение также необходимо использовать для эффективного предотвращения переобучения, а также роль ансамбля. Для LSTM позиция отсева должна быть помещена перед LSTM, особенно это должен делать двунаправленный LSTM, иначе он будет напрямую переобуваться.
-
Что касается выбора алгоритма оптимизации, мы попробовали Adam, RMSprop, SGD, AdaDelta и т. д. На самом деле RMSprop и Adam имеют схожие эффекты, но на основе Adam его можно рассматривать как комбинацию RMSprop и Momentum, и, наконец, Adam был выбрано.
-
Размер партии обычно составляет около 128, но чем больше, тем лучше. Для разных наборов данных надо еще попробовать размер партии 64, могут быть сюрпризы.
-
Последнее, вы должны помнить, постарайтесь максимально перетасовать данные.
4.3 Ансамбль Чтобы решить проблему, что точности одной модели недостаточно, мы используем метод ансамбля для решения проблемы.После проведения нескольких наборов экспериментов мы, наконец, выбрали 5 лучших моделей, обученных с различными настройками параметров, для ансамбля путем голосования. , Общий показатель точности на 1,5 процентных пункта выше, чем у единственной оптимальной модели.
Кроме того, чтобы оптимизировать эффект модели, мы также попытались настроить модель, например, двухсторонний LSTM и различные методы заполнения.После сравнения мы обнаружили, что разница в распознавании интеллекта невелика.После анализа каждый пользователь описывает проблему по-другому и разница в распределении не очевидна.
4.4 Различие достоверности Когда оптимизация структуры и настройка параметров самой мультиклассификационной модели распознавания интеллекта достигли определенного узкого места, было обнаружено, что окончательный эффект модели далек от автоматизации, количество выборок в одной категории невелико, и скоро.
Чтобы лучше реализовать алгоритм, мы попытались различать достоверность внутри категорий, в основном используя модели достоверности и устанавливая пороги по категориям, и, наконец, выбрали простой и эффективный метод установки порогов по категориям.
Модель достоверности использует результаты вывода метки модели классификации в качестве входных данных, а набор выборок каждой метки повторно делится на обучающий набор и проверочный набор для бинарной классификации.После обучения получается доверительная модель, и применяются результаты уверенности.
В эксперименте с моделью достоверности мы попробовали методы двоичной, взвешенной кроссэнтропии и ансамбля для проведения эксперимента с моделью достоверности Формула взвешенной кроссэнтропии:
Чтобы избежать переполнения, измените формулу на:
Среди них средства:
Результатом эксперимента является то, что бинарный метод не имеет очевидного эффекта, а Ensemble достигает высокого уровня отзыва с достоверностью 95%, но не достигает модели с достоверностью 98%.
Он основан на методе установки различных пороговых значений softmax для каждой категории, когда модель алгоритма классификации интеллекта реализована для вынесения суждений с высокой степенью достоверности, то есть на методе установки пороговых значений в соответствии с категориями.Аналогичные методы также используются при идентификации интеллекта, и достигнутый эффект выше, чем у предыдущих.Влияние модели считается, поэтому в конечном итоге выбран этот метод, который может значительно повысить эффективность работы оператора. В то же время, чтобы уменьшить операционную сложность оператора, мы также предоставляем лучшие N рекомендаций для малонадежной части, что в наибольшей степени экономит время операции.
5. Эффект алгоритма и результаты применения
5.1 Классификация интеллекта
Эффект алгоритма: в соответствии с фактическими требованиями приложения конечный эффект алгоритма классификации интеллекта имеет точность более 96% для категорий продуктов и уровень отзыва 99% для категорий данных.
Результаты применения: в сочетании с другими стратегиями общий уровень автоматизации значительно повышается. Результаты, полученные в практическом применении после оптимизации правил, значительно сократили количество операторов, снизили стоимость единицы операции на 4/5 и устранили узкое место внутренней обработки отзывов пользователей.
5.2 Идентификация интеллекта
Эффект алгоритма: в соответствии со стратегией использования частей с высокой степенью достоверности для автоматизации и частей с низкой степенью достоверности для ручной маркировки, конечный эффект алгоритма распознавания интеллекта заключается в том, что эффективная степень точности описания составляет более 96%.
Результаты применения: После того, как модель классификации интеллектуальных меток была подключена к платформе, эффективность операторов повысилась более чем на 30 % за счет различной обработки меток с высокой и низкой достоверностью.
6. Резюме и перспективыБлагодаря этому проекту мы сформировали набор методологий для эффективного решения сложных бизнес-задач и накопили практический опыт решения задач с тесной интеграцией алгоритмов НЛП и бизнеса. В настоящее время эти методы и опыт хорошо реализованы в других проектах, постоянно накапливаются и совершенствуются. Наше неустанное видение и цель - решать проблемы как можно более эффективно и автоматически на основе постоянного повышения удовлетворенности пользователей.