Отзывы пользователей стимулируют практику оптимизации продуктов Douyin

Резюме

Приложение Douyin ежедневно получает большое количество отзывов пользователей.Интеллектуальная модель маркировки отзывов НЛП позволяет создавать метки сцен данных отзывов и осуществлять агрегирование индикаторов опыта с точки зрения бизнеса. Алгоритм кластеризации слов уточняет ежедневные точки обратной связи в режиме реального времени и быстро фокусируется на обнаружении проблем. Платформа управления опытом, построенная на интеллектуальном алгоритме, направлена на изучение возможных точек сохранения, роста или сарафанного радио о продуктах на основе Douyin на основе отзывов, а также на содействие улучшению управления проблемами опыта с помощью подхода на основе технологической платформы. и механизм, основанный на обратной связи, для улучшения качества продукта.

Общие сведения о платформе Введение

Приложение Douyin насчитывает 100 миллионов активных пользователей в день и ежедневно получает большое количество отзывов пользователей.Отзывы пользователей имеют решающее значение для разработки будущих продуктов, улучшения качества обслуживания клиентов и общей удовлетворенности клиентов. Правильная обработка негативных отзывов пользователей может помочь эффективно повысить их лояльность. Извлечение ценной информации об отзывах из массива данных отзывов пользователей часто сталкивается с двумя проблемами:

Во-первых, обратной связи не хватает контекстуализации, что делает невозможным классифицировать и атрибутировать данные обратной связи с большей степенью детализации, а также поэтапно улучшать восприятие сцены.
Во-вторых, низкая эффективность обратной связи: как извлечь эффективную информацию об отзывах пользователей из массовых отзывов для дальнейшего выявления проблем, улучшения операций и замыкания цикла обратной связи для улучшения опыта.

Основываясь на этих болевых точках и бизнес-требованиях, появилась платформа управления взаимодействием с пользователем, целью которой является использование подхода, основанного на технологической платформе, в сочетании с механизмом, основанным на обратной связи, для сбора отзывов о продуктах на основе Douyin с помощью продуктов. Потенциальные точки роста или улучшения из уст в уста, способствовать улучшению управления проблемами опыта и улучшать качество продукта. Схема архитектуры системы платформы показана на следующем рисунке:

жизненный цикл обратной связи

После того, как пользователь отправляет отзыв, терминал сообщает об этом серверу отзывов для хранения в соответствии с указанными параметрами, а фон отзывов извлекает данные из базы данных и представляет их на консоли для каждой роли для обработки и использования данных отзывов. Конкретная схема выглядит следующим образом:

Как показано на рисунке, платформа управления опытом расположена в последнем звене жизненного цикла обратной связи.С точки зрения проектирования технической архитектуры мы разделили ее на две части, одна часть — это инструментальное средство обратной связи, которое вращается вокруг операций маркировки , фильтрация и классификация исходных данных обратной связи. Вторая часть — это платформа управления опытом.Платформа управления опытом выполняет сопоставление сцен на основе классификации тегов, а затем извлекает индикаторы ценных данных, детализирует и расширяет данные индикаторов, обеспечивает анализ и сводку на портретном уровне, а также обеспечивает управление опытом. особые проблемы. Последующие действия, заранее разрешайте рабочие задания и завершайте замкнутый цикл опыта. Основываясь на вышеуказанных знаниях, мы разделили систему платформы на пять основных модулей, а именно: инструментальные средства обратной связи, сцена меток, обзор индикаторов опыта, углубленный поиск и анализ исходного звука изображения и управление особым опытом.

NLP расширяет возможности создания меток на основе сцен

Интеллектуальная модель маркировки с обратной связью на основе технологии НЛП

Создание рабочего места для управления обратной связью является предварительным условием для обработки входящих данных обратной связи, целью которой является обеспечение просмотра, ответа, категоризации и маркировки отзывов пользователей. В то же время он поддерживает содержимое дерева меток классификации и пользовательскую конфигурацию персонализации логики.

Перед лицом массивных данных обратной связи с пользователями ручная маркировка очень неэффективна. Платформа заранее вводит модель маркировки недействительных отзывов, которая может фильтровать недействительные отзывы пользователей и повышать эффективность операционной обработки; за счет внедрения технологии предварительно обученных нейронных сетей она может понимать и идентифицировать намерения отзывов пользователей, что значительно повышает точность и своевременность пользовательских отзывов. классификация обратной связи пол. Этапы обучения нашей модели предварительного обучения в основном включают:

Выполнять предметно-адаптивное предварительное обучение на наборах данных отзывов пользователей, чтобы эффективно изучать языковые знания, обычно используемые в области обратной связи;
Выполнять предварительное обучение, адаптированное к задачам, на целевом наборе бизнес-данных, чтобы эффективно изучать общие знания в этой конкретной области;
Обучение модели классификации на целевом наборе данных может эффективно соответствовать цели классификации конкретного бизнеса. После того, как был принят метод непрерывного предварительного обучения, эффект модели маркировки обратной связи с пользователем был значительно улучшен.

Чтобы решить проблему несбалансированного количества выборок длинных меток, на основе предварительно обученной модели мы применили технологию обучения переносу меток и многометочную классификацию, которая значительно улучшила эффект предсказания длинных меток. В то же время вводится технология иерархической классификации, которая может эффективно изучать взаимосвязь древовидной структуры между тегами, в определенной степени облегчать проблему несбалансированных выборок тегов и повышать общую точность модели маркировки с обратной связью.

Сопоставление меток бизнес-сценария

С помощью рабочей среды управления обратной связью была завершена маркировка и классификация входящих данных обратной связи, однако перед лицом сложных линеек бизнес-продуктов и многоканальных требований к продуктам невозможно точно связать данные обратной связи с линейками бизнес-продуктов. индикаторы с точки зрения бизнеса будут Невозможно агрегировать реализации. Основываясь на таких требованиях, создайте визуальную консоль, чтобы обеспечить независимые отношения управления конфигурацией бизнес-этикеток, реализовать подключаемую и гибкую конфигурацию бизнеса, завершить базовую ассоциацию от бизнеса к этикетке и метаданным, а также улучшить возможность повторного использования гарантированных функций платформы.

Чтобы реализовать модуль конфигурации сопоставления тегов в бизнес-сценарии, он должен охватывать следующие функции: отображение списка и извлечение элементов конфигурации тегов, новые наборы полей, редактирование и пакетные операции, выпуск онлайн, откат версии и т. д.

Более сложная часть — это новый добавленный набор полей. Атрибуция заключается в том, что модель меток использует древовидную каскадную структуру: метка первого уровня + метка второго уровня + метка третьего уровня. Например, метка первого уровня: связанные с рекламой; два тега первого уровня: много жалоб на рекламу, контент не нравится, опыт не гладкий; много жалоб на рекламу под ярлыками второго уровня, которые можно разделить на три уровня ярлыки: больше рекламы о продаже товаров, больше рекламы игр и больше рекламы кредитования.

Модель бизнес-сценария, построенная на этикетке, также использует модель древовидной каскадной структуры, как показано на рисунке выше: бизнес-определение: Douyin Express Edition. Сценарии определяются как: сценарии, связанные с рекламой. Связанные теги: больше рекламы для продажи товаров, больше рекламы для игр, больше рекламы для кредитов и т. д. Диаграмма деловых отношений, описанная в статье, показана на следующем рисунке:

Обнаружение проблем, управляемых данными

Метки обратной связи на основе сценариев отображают и связывают бизнес-сценарии с базовыми данными, создавая условия для агрегированного анализа на основе бизнес-измерений. Далее мы сосредоточимся на том, как количественно оценить проблемы с опытом, и поиск разумных индикаторов является главным приоритетом проблемы. Тяжелый. NPS: Суть NPS заключается в том, чтобы выяснить, готовы ли пользователи рекомендовать этот продукт другим, чтобы понять, действительно ли пользователи удовлетворены вашим продуктом. Хотя NPS является относительно хорошим показателем опыта, источник данных обратной связи фокусируется на отзывах пользователей и предложениях продуктов, что несколько отличается от NPS.Основываясь на вышеизложенном, показатель уровня помощи предназначен для объективного измерения проблем с опытом. С точки зрения дизайна платформы ожидается, что с улучшением качества продукта уровень помощи должен постоянно снижаться.

Количественная оценка метрик опыта

Мы определяем показатель помощи как: общее количество отзывов/миллион DAU. DAU определяется как: количество активных пользователей в день. Миллион DAU — это наименьшая единица с миллионами активных пользователей в день. В принципе, при постоянном улучшении проблем с опытом уровень помощи будет иметь тенденцию к снижению; ТОП-сцена обратной связи также является ключевым показателем опыта. В соответствии с моделью маркировки сцен, построенной перед системой, технически очень удобно агрегировать ТОП-сцены с количеством отзывов, в то же время можно добавить некоторые индикаторы опыта, такие как ТОП-сцена скорости изменения обратной связи и ТОП-сцена суммы изменения обратной связи.

Скорость изменения обратной связи определяется как: отношение числа циклов к проблемам последнего уровня в выбранном цикле, чтобы найти процент изменения и отобразить первые 5 в положительном порядке. Изменение обратной связи определяется как: отношение числа циклов к циклу проблемы последнего уровня в выбранном цикле, чтобы найти изменение и отобразить его как Top5 в положительном порядке. В то же время мы берем небо в качестве измерения и сопоставляем скорость обращения за помощью с количеством отзывов TOP, чтобы реализовать детализацию и корреляцию между индикаторами, а также улучшить связь индикаторов данных. Горячие и высокочастотные горячие слова могут позволить операторам интуитивно видеть горячие ключевые слова в определенном временном интервале, а также являются важным ориентиром для измерения показателей опыта.Ниже мы сосредоточимся на горячих высокочастотных словах в реальном времени при кластеризации.

Горячие высокочастотные слова в режиме реального времени при кластеризации

Чтобы отображать основное содержание пользовательского описания в данных обратной связи в режиме реального времени, мы разработали инструмент облака слов, который может отображать ключевые слова и ключевые фразы пользовательского отзыва в режиме реального времени на платформе. Технологии NLP, используемые в этом инструменте облака слов, включают интеллектуальную сегментацию слов, обнаружение новых слов, извлечение ключевых слов и алгоритмы кластеризации слов. Детализация традиционного алгоритма сегментации слов относительно невелика, что приведет к недостаточной информации в облаке слов, и трудно напрямую наблюдать основную проблему, стоящую за этим.Предлагаемый нами интеллектуальный алгоритм сегментации слов и извлечения ключевых слов удаляет недопустимые компоненты. в описании обратной связи и сохраняет только эффективные компоненты.Текстовое содержимое может эффективно добывать ключевые фразы в описании обратной связи и решать проблему недостаточной информации об облаке слов.

Чтобы избежать отсутствия ключевого содержания, вызванного неточностью алгоритма сегментации слов, мы предлагаем новый алгоритм обнаружения слов, который может регулярно извлекать новые слова в данных обратной связи и добавлять новые слова в модуль интеллектуальной сегментации слов в время, чтобы поддержать статистику частоты слова новых слов. Алгоритм кластеризации слов заключается в поиске похожих популярных слов в облаке слов, а также суммировании и отображении частоты появления похожих популярных слов, что может помочь операционной стороне находить проблемы более точно и эффективно.

Извлечение оригинального звука изображения для улучшения анализа проблем и позиционирования

Пользовательские портреты — это целевые пользовательские модели, построенные на серии реальных данных. Перед лицом огромного количества отзывов каждый день сортировка портретов пользователей из этих отзывов может помочь нам распознать и выделить целевых пользователей определенным, помеченным и целенаправленным образом, определить их характеристики и сгруппировать их требования. персоналу по эксплуатации и продукту для обеспечения поддержки данных для дальнейшего улучшения пользовательского опыта в будущем.

Индикаторы опыта могут обнаруживать и фокусироваться на проблемах сцены макро- и крупнозернистым образом, но им не хватает локализации, отслеживания и анализа связанных исходных звуков. Модуль анализа оригинального звукового образа предназначен для создания оригинальной системы индексного анализа звуковых данных и системы запросов, которая обеспечивает удобство анализа проблем индикаторов опыта посредством агрегированного анализа различных измерений и индексной классификации исходных звуковых данных в реальном времени. Взяв в качестве примера сторону Douyin, мы предоставляем условия фильтрации и портретный анализ по нескольким параметрам, таким как пол, город, возраст, бренд мобильного телефона, цена мобильного телефона и система мобильного телефона.

Портретный анализ очень полезен для анализа индекса опыта и локализации проблемы. Например, в портретах пользователей обратной связи, полученных путем поиска ключевых слов проблем со шрифтом, количество отзывов от Android значительно выше, чем у других систем. Исходя из этого, соответствующий может быть предложен план управления для конкретного опыта. Чтобы сосредоточиться на последующих проблемах, таких как версия Android, эта оптимизация может значительно сократить сортировку отзывов и снизить индекс опыта для скорости помощи. Можно видеть, что исходное звуковое извлечение опыта играет незаменимую роль в устранении неполадок и анализе проблем опыта.

Управление опытом образует замкнутый цикл

Проблемы с опытом или точки улучшения, извлеченные из индикаторов опыта и исходного звукового анализа, должны быть оперативно переданы соответствующим студентам-производителям и исследователям для формулирования планов по внедрению улучшений, ожидания положительных отзывов от индикаторов опыта и повышения удовлетворенности пользователей.

Ожидается, что специальный проект по управлению опытом откроет замкнутый цикл улучшения бизнеса на основе обратной связи с помощью возможностей веб-платформы и сформирует эффективную связь между пользователями, производством и исследованиями. Сопоставляя ключевые слова отзывов, теги или конкретные идентификаторы отзывов, можно точно предложить конкретные требования к опыту; ходом выполнения требований к опыту можно эффективно управлять с помощью строгих процедур; опытом каждой линейки бизнес-продуктов можно более точно управлять с помощью авторитетный контроль каждой ссылки Проблемы, с помощью операционных записей, четко показать цикл выполнения требования от предложения до завершения.

Проект управления опытом — это последнее звено в бизнесе, ориентированном на обратную связь, и ожидаемая выгода — снизить количество обращений пользователей за помощью. Тем не менее, бизнес продолжает развиваться, и новые функции могут создавать новые проблемы для пользователей, поэтому доля отзывов и доля помощи в общем/детализированном сценарии могут не отражать эффект улучшения особого опыта, а количество отзывов в рамках меняется метка подразделения.Тенденции обеспечивают более точную оценку эффектов, связанных с опытом. Кроме того, платформа предоставляет механизм красного и черного списков, который подсчитывает скорость ответов и скорость решения проблем с опытом, возникающих в различных бизнес-сценариях, и ранжирует их, а также отображает соответствующих обработчиков, чтобы мотивировать и способствовать улучшению бизнеса.

Определите процент ответов: за последние два месяца, в определенном сценарии, «количество проектов, созданных и управляемых интерфейсным лицом — количество заброшенных проектов» / «общее количество созданных проектов — количество заброшенных проектов».
Определяем скорость разрешения: за последние два месяца при определенном сценарии «количество созданных проектов и статус «завершен» / «общее количество созданных проектов — количество заброшенных проектов».

Текущие показатели недостаточно точны, чтобы оценить степень улучшения управления конкретным опытом в бизнесе, что также является направлением для будущих усилий.

Решение для ускорения индексации данных платформы

Система поиска данных, построенная на массивных данных, обычно сталкивается с относительно большими трудоемкими вычислениями.Если разумная архитектура не оптимизирована, опыт использования самой платформы будет очень плохим, что не способствует анализу операторами и быстрому позиционированию Ожидается, что в этом проекте набор решений по ускорению данных оптимизирует общее время поиска индекса веб-сайта с помощью технических средств, улучшит скорость поиска на уровне платформы, уменьшит ненужное потребление вычислительных ресурсов, а также улучшит стабильность платформы и простоту использования.

Чтобы максимизировать скорость отклика интерфейса и уменьшить количество исключений, мы используем ряд методов, обеспечивающих:

Автономная предварительная обработка: Так как некоторые показатели имеют Т+1, то для уменьшения объема вычислений при получении запросов от пользователей мы предобрабатываем данные в автономном режиме. Для некоторых запросов с большим объемом вычислений, длительным временем и небольшими изменениями мы используем ежедневные автономные задачи для расчета ежедневных результатов и напрямую используем предварительно обработанные данные для расчета в последующих расчетах, чтобы уменьшить объем вычислений и ускорить ответ интерфейса.
обновление кеша: есть несколько распространенных сценариев, таких как общая тенденция оценки помощи, облако слов, ключевые проблемы с обратной связью и т. д. Существует большое количество повторяющихся запросов. будет значительно увеличиваться, что повлияет на взаимодействие с пользователем. Чтобы еще больше оптимизировать эту часть запроса, мы регулярно обновляем кеш, чтобы гарантировать, что обычные запросы напрямую попадают в кеш.
Ведение итоговых данных: Чтобы иметь дело с экстремальными случаями, когда и данные предварительной обработки в автономном режиме, и источники данных являются ненормальными, мы разработали восходящую стратегию для экстремальных сценариев. Задача обновления нижних данных будет регулярно поддерживать последние данные.Когда обычный запрос ненормальный, мы будем считывать данные из нижних данных.
Процесс запроса пользователя: полный процесс запроса пользователя выглядит следующим образом: после того, как серверная часть получает запрос пользователя, он сначала запрашивает кеш, и если кеш попадает, он напрямую возвращает кешированный результат. Если кеш не попал, а предобработанные данные существуют, попробуйте выполнить расчет на основе предобработанных данных офлайн-задачи, в противном случае выполните расчет на основе исходных данных.После успешного расчета обновите кеш и верните результат. В крайних случаях, когда в кеше нет данных, одновременно возникают аномальные автономные задачи и аномальные источники данных, мы напрямую запрашиваем данные из нижних данных.

Суммировать

Платформа управления опытом основана на данных отзывов пользователей в сочетании с техническими средствами для онлайн-управления опытом и платформой, направленной на эффективное улучшение опыта побочных продуктов Douyin и подлинную реализацию, позволяя пользователям присоединиться к разработке Bytes, позволяя пользователям создавать чувство принадлежности. В процессе практики были ускорены пять основных модулей, инструментальные средства обратной связи, создание этикеток, обзор индекса опыта, анализ извлечения исходного звука изображения и специальное управление опытом, поддерживающие десятки бизнес-сценариев на стороне Douyin, а также сопровождающие улучшение продукта и опыт улучшения. . Наше видение и миссия — улучшить возможности системы абстрактной платформы и создать ведущую в отрасли платформу управления опытом.

Присоединяйтесь к нам

Мы являемся научно-исследовательской командой ByteDance Interactive Entertainment. Interactive Entertainment R&D отвечает за исследования и разработку многих популярных продуктов, таких как Douyin, Douyin Volcano, Jianying, FaceU, Qingyan, прямые трансляции и музыка. В настоящее время Douyin Daily Active (DAU ) Он превысил 600 миллионов и продолжает поддерживать быстрый рост.

Команда по эффективности исследований и разработок фокусируется на сервисе + аналитике, стремясь расширить возможности различных бизнес-сценариев взаимного развлечения с помощью инструментальных платформ + алгоритмов Функции команды включают, помимо прочего, повышение эффективности исследований и разработок, обеспечение качества контента, оптимизацию взаимодействия с пользователем и обеспечение безопасности бизнеса. .

Команда имеет различные функциональные должности, такие как алгоритм, проектирование (внешняя часть, внутренняя часть и клиент), данные (большие данные, DA), продукт, тестирование и т. д., которые могут эффективно проектировать и разрабатывать продукты интеллектуальной платформы в самостоятельном порядке. -замкнутый цикл с многочисленными влияниями на уровне компании. Успешный опыт внедрения интеллектуальных продуктов платформы.

Команда быстро развивается, молода и энергична, уделяя особое внимание созданию технической атмосферы, активно участвуя в ведущих отраслевых технических конференциях в стране и за рубежом, выпуская высококачественные технические патенты и связанные с ними документы и работая в Шэньчжэне, Ханчжоу и Пекине.

Присоединяйтесь к нам и сделайте так, чтобы каждая строка вашего кода служила миллиардам пользователей по всему миру.

Возобновить доставкуПочта:iesep@bytedance.com;Тема письма: Имя – Стек технологий – Эффективность НИОКР.