Сегодня мы с любовью вернули «Ли Хуаньин» в 2021 год...

Китайский новогодний фильм «Привет, Ли Хуаньин» стал хитом, а общие кассовые сборы в реальном времени превысили 5 миллиардов. Помимо смеха и смеха сотен миллионов зрителей, как выразилось в переводе названия фильма «Привет, мама», всех также тронули искренние отношения матери и дочери в фильме, а монтажер даже плакал в кадре. кино маска.

Дочь Цзя Сяолин (в исполнении Цзя Лин) случайно путешествовала во времени и пространстве и встретила свою молодую мать Ли Хуаньин (в исполнении Чжан Сяофэй), компенсируя свое сожаление тем, что она хотела, чтобы ее мать была все счастливее и счастливее. Сегодня, с бурным развитием науки и техники, с помощью технических средств, такие сожаления и мысли не должны оставаться в воображении и произведениях искусства.Цзя Сяолин не нужно возвращаться в прошлое, она может ей помочь матери Ли Хуаньин отправиться в будущее и «воссоединиться» в 2021 году.

Так может ли реально осуществиться такой диалог, «пересекающий время и пространство»? Какая техническая поддержка стоит за этим? Насколько похожа самая захватывающая сцена отца и дочери в фильме? Сегодня Xiaobian раскроет тайну этой «будущей» технологии для всех.

Диалог во времени и пространстве:

Интеллектуальная голосовая технология ведет Ли Хуаньина в будущее

В «Привет, Ли Хуаньин» Цзя Сяолин путешествовала во времени и пространстве и вела диалог во времени и пространстве со своей молодой матерью. В настоящее время, в дополнение к телефонии, голосовой, видео и другим средствам связи, которые могут сократить географическое расстояние, диалог во времени и пространстве также стал в некотором смысле реальностью.

В 2020 году в корейском документальном фильме «Я встретил тебя» была записана такая сцена «воссоединения». Мать, потерявшая дочь, «воссоединилась» со своей потерянной дочерью с помощью технологии виртуальной реальности. Чтобы стремиться к реальным и надежным данным, технические специалисты внедрили технологию синтеза речи ИИ, чтобы виртуальный персонаж мог когда-то издавать тот же голос, что и дочь, и мог взаимодействовать и общаться с матерью.

Как реализована такая кастомизированная система голосового взаимодействия?Возьмем, к примеру, службу настройки голоса и чата JD для синтеза голоса. Во-первых, мы можем разделить эту сценуГолосовой синтез голосовой настройки(Пусть аватарка говорит таким же голосом, как дочка привыкла) иВозможность диалога с открытой сценой(Виртуальная дочь может взаимодействовать и общаться со своей матерью).

Обычно реализация возможности интеллектуального диалога в основном состоит из трех основных процессов системы голосового взаимодействия:

Распознавание речи:Преобразование исходного речевого сигнала в текстовую информацию (ASR) и преобразование распознанной текстовой информации в машинопонятное семантическое представление (NLU).Проще говоря, это должно позволить машинам слышать человеческую речь;
Понимание естественного языка:На основе состояния диалога, представленного семантикой, диалог понимается (DM), и действие системы должно определяться системой. Действие здесь можно понимать какчто машина должна вам сказать;
Синтез речи:Преобразование системных действий в текст на естественном языке (NLG) и преобразование его в речевой вывод для пользователя (TTS).

На приведенном выше рисунке показан общий процесс системы голосового взаимодействия.Вы можете более четко увидеть ввод и вывод каждого модуля, а также отношения сотрудничества между каждым модулем. Среди них NLU является одним из очень важных модулей. Цель NLU — преобразовать текстовую информацию в семантическое представление, которое может быть обработано машиной. Он охватывает широкий спектр областей, включая обнаружение предложений, сегментацию слов, тегирование частей речи, синтаксический анализ, классификацию/кластеризацию текста, ракурс текста, извлечение информации/автоматическое обобщение, машинный перевод, автоматические ответы на вопросы, генерацию текста и другие. поля.

Но важное различие между человеческим диалогом и диалоговыми системами по сравнению с основанным на правилах NLU заключается в том, интегрируется ли он с реальностью. Основываясь на поддержке возможностей механизма JD NLP, возможностей обработки данных и сотен миллиардов корпусных данных Интернета, JD Chat объединяет мощные возможности диалога с открытым сценарием, анализирует и понимает вопросы пользователей об открытых сценариях и может компенсировать диалог, комбинируя внешние базы знаний Метод разрыва фоновых знаний между системой и человеком генерирует плавный и персонализированный ответ и реализует потребности пользователя в голосовой связи.

Однако, с «телом» интеллектуального голосового диалога, как реализовать «душу» индивидуального голоса?

Проще говоря, голосовая настройка синтеза речи в основном делится на три этапа: загрузка указанного голосового файла контента, обучение модели синтеза речи, использование модели для синтеза речи.

Чтобы понять из архитектуры ИИ на рисунке ниже, во-первых, посредством предварительной обработки, такой как сбор и шумоподавление голосового сигнала на базовом уровне; во-вторых, на техническом уровне, путем извлечения особенностей исходного голосового сигнала, вектор голоса получается из исходного голоса. Затем используйте акустическую модель, словарь и языковую модель для декодирования и поиска вектора речи и, наконец, выведите результат распознавания на прикладной уровень.

Служба настройки голоса синтеза голоса Jingdong может быть основана на технологии глубокого обучения, нужно только загрузить небольшой объем аудиоданных, вы можете реализовать синтез эксклюзивного голоса и тона, быстро придать продукту персонализированный голосовой образ в таких сценариях, как интеллектуальный обслуживание клиентов, аудиочтение, аудионавигация и т. д. Универсальное приложение.

В настоящее время технология синтеза речи JD.com была реализована в более сложных сценариях, таких как продукты для чтения JD.com, динамики JD.com Fish Zodiac AI и интеллектуальные голосовые роботы для обслуживания клиентов. Редактор всегда помнил предложение в таком примере: «Можете ли вы остаться в живых после того, как съели сразу целую бутылку?» Это из начала 2020 года, когда пользователь обратился за помощью к интеллектуальной эмоциональной службе поддержки клиентов на JD.com и оставил такое предложение.

В начале 2020 года пользователь сработал раннее предупреждение JD Cloud Intelligent Emotional Customer Service при покупке лекарств на JD.com для онлайн-консультации. Причина заключалась в том, что контент содержал чрезвычайно эмоциональные факторы. Раннее предупреждение выдало вмешательство кризиса Специалист. В сочетании с дозой лекарства, купленного пользователем, это было сделано вывод. У него есть склонность к самоубийству, и комиссар по чрезвычайным ситуациям правильно обработал его, чтобы избежать трагедии. Это спасательная операция, завершенная технологией, и во всей операции доминирует интеллектуальная эмоциональная служба поддержки клиентов JD Cloud. Будучи первым в отрасли крупномасштабным коммерческим эмоциональным роботом, этот технологический «жизненный канал» также избежал многих трагедий и спас новые жизни и семьи благодаря теплоте технологий.

На кого ты больше всего похож?

FastReID раскрывает сходство между Цзя Лин и ее родителями

(Дружелюбное напоминание редактора: следующий контент содержит спойлеры, пожалуйста, смотрите его «с осторожностью»)

В фильме «Здравствуй, Ли Хуаньин» Цзя Сяолин перенеслась в 1981 год. Когда ее мать была еще девочкой, Цзя Сяолин хотела собственными усилиями изменить свою судьбу, надеясь помочь матери выйти замуж за достойного человека и жить достойно. и гордая жизнь. Но, в конце концов, Ли Хуаньин все же решила выйти замуж за отца Цзя Сяолин из-за своей любви к дочери и все еще может стать матерью Цзя Сяолин в будущем.

Однако никто на самом деле не думал, что самой яркой изюминкой фильма стало появление Цяо Шаня, сыгравшего отца Цзя Сяолин. Полагаю, что зрители и друзья, которые смотрели «Привет, Ли Хуаньин» в кинотеатре, воскликнули «вау», редактор тоже смеялся и наклонялся в это время, думая ОС: «Как вы можете быть такими похожими, хахаха, ты слишком хорош в выборе актеров.

Хотя Цяо Шань появился только в очень короткой сцене, как последнее пасхальное яйцо во всем фильме, все все же могут почувствовать сходство между его бровями и глазами Цзя Лин, особенно когда они щурятся и улыбаются. Но вернемся к реальности,Цзя Лин больше похожа на отца или на мать?

Редактор обратился к брату по исследованиям и разработкам FastReID, библиотеке с открытым исходным кодом для общей повторной идентификации целей в Исследовательском институте ИИ JD, и хотел сравнить сходство между Цзя Лин и ее родителями с технической точки зрения. следующее:

Судя по возвращенным результатам вычислений, сходство между Цзя Лин и ее матерью составляет 63%, а сходство с ее отцом - 15% Конечно же, Цзя Лин и ее мать еще больше похожи!

В это время вы можете спросить, сходство с Цяо Шань... о нет, как рассчитывается результат этого сходства?Технология, лежащая в основе этого, по-прежнему основана на мощных возможностях анализа функций FastReID.

Учебная среда FastReID обеспечивает надежную поддержку для быстрого обучения и развертывания модели расчета подобия.Эффективная реализация модели в целом может помочь нам выполнить быстрое обучение и настройку параметров на собранном наборе данных и получить модель, которая может быть развернуты напрямую. Модель можно развернуть в веб-службе через последующий конвейер автоматического развертывания. На данный момент нам нужно только отправить фотографии Цзя Лин и ее родителей в обученную сеть, чтобы извлечь и проанализировать характеристики персонажей. После получения характеристик персонажа через косинусное сходство перед характеристиками вы можете узнать, на кого похожа Цзя Лин.

Что касается сходства между Цзя Лин и Цяо Шань, я могу оставить вас в напряжении.Заинтересованные друзья могут развернуть модель в нашей открытой библиотеке FastReID для расчета.

*Ссылка на гитхаб:

GitHub.com/JD AI-CV/ бывает…

Итак, что же скрывается за FastReID приведенных выше результатов?FastReID — это библиотека с открытым исходным кодом для общей повторной идентификации объектов (ReID) на основе PyTorch, выпущенная JD AI Research Institute в июне 2020 года.

В настоящее время технология ReID (Universal Target Re-Identification) часто применяется для траекторного анализа конкретных целей разного масштаба, что приведет к быстрому экспоненциальному увеличению масштаба обрабатываемых системой данных, замедлению скорости вывода модель и, в конечном итоге, производительность алгоритма ReID не может быть использована полностью. Кроме того, существует большой разрыв между академическими исследованиями и развертыванием инженерных моделей в области ReID.Проблема выравнивания кода затрудняет прямое преобразование результатов академических исследований в практические продукты, ограничивая их применение в крупномасштабных коммерческих сценариях.

Исходя из этого, ссылаясь на общую концепцию и философию дизайна Detectron2, FastReID разработан в виде модульной и расширяемой архитектуры, которая позволяет исследователям быстро реализовывать новые идеи; что более важно, структура удобна для управления конфигурацией системы и развертыванием проекта. Функция позволяет инженерам быстро развернуть ее. Библиотека с открытым исходным кодом FastReID предоставляет полный набор инструментов для задач ReID, включая модули для обучения моделей, оценки моделей и развертывания моделей, а также реализует модели с лучшей производительностью в нескольких задачах.

Кроме того, FastReID также широко используется для повторной идентификации пешеходов/транспортных средств, защиты дикой природы, фотошоппинга, беспилотных супермаркетов и других приложений. К ним относятся многие приложения, с которыми люди ежедневно контактируют, такие как поиск видео интересных актеров в телевизионных драмах, поиск детей, потерявшихся в торговых центрах, по видео наблюдениям, поиск видео подозрительных транспортных средств из городских систем наблюдения, а также отслеживание продуктов и защита от подделок.В области охраны окружающей среды его также можно использовать для защиты диких и находящихся под угрозой исчезновения животных, таких как защита амурского тигра.

Эпилог

Будь то Цзя Сяолин, исполнившая ее желание, или Ли Хуаньин, молча охраняющая ее, она обладает сыновней почтительностью и большой материнской любовью. Сегодня мы используем технологию искусственного интеллекта, чтобы вернуть «Ли Хуаньин» в 2021 год, чтобы почувствовать температуру науки и техники,Придерживаясь миссии передовых технологий, помогая цифровой модернизации мировых отраслей и способствуя качественному развитию реальной экономики, JD.com всегда верит, что сила науки и техники может создать более теплый и лучший мир!

Наконец, в этот особенный день я желаю сестрам по всей стране счастливого праздника и вечной любви! ❤️

Диалог во времени и пространстве:

Интеллектуальная голосовая технология ведет Ли Хуаньина в будущее

На кого ты больше всего похож?

FastReID раскрывает сходство между Цзя Лин и ее родителями

Эпилог

Рекомендуемое чтение