Мы надеемся, что в эпоху искусственного интеллекта компьютеры смогут обладать интеллектом зрения, слуха, действия и языка.По сравнению со слухом, зрением и действием язык является одной из наиболее важных характеристик, отличающих нас от других животных. Язык является носителем нашего мышления, поэтому наше понимание и обработка языка стали особенно важными. В области компьютеров обработка естественного языка (NLP) — это изучение того, как заставить компьютеры понимать и генерировать человеческий язык, чтобы общаться с людьми на равных и свободно. Технология обработки естественного языка имеет долгую историю в Baidu, она стала важной частью поисковых технологий еще с рождения Baidu и развивалась вместе с развитием Baidu. От сегментации китайских слов, анализа частей речи, рерайтинга до машинного перевода, анализа текста, семантического понимания, диалоговой системы и т. д., технология НЛП успешно применяется в различных продуктах Baidu.
На 75-м технологическом салоне Baidu, недавно организованном Центром разработчиков Baidu и организованном Geekbang Technology, ряд старших инженеров и менеджеров по продуктам Baidu NLP и открытой платформы ИИ сосредоточились на том, как разработчики могут использовать технологию Baidu NLP для более эффективного решения практических проблем приложений, которые подробно поделился. Чжан Ян, старший операционный консультант отдела экологии технологии искусственного интеллекта Baidu, через конкретные случаи применения позволил каждому получить перцептивное понимание базовой технологии, открытой Baidu NLP; Сунь Ю, главный архитектор отдела обработки естественного языка, подробно рассказал о конкретные проблемы анализа технологии семантических вычислений НЛП; Хэ Болей, старший инженер отдела исследований и разработок отдела обработки естественного языка, подробно объяснил техническое применение в области анализа настроений с большим количеством сценариев; Цзян Ди, старший инженер отдела исследований и разработок отдел обработки естественного языка подробно объяснил, как применяется технология вероятностной графовой модели, а начальник отдела экологии технологии искусственного интеллекта Baidu Чжан Цзинцзин (Zhang Jingjing) руководил использованием открытой платформы искусственного интеллекта Baidu на месте.
Что такое НЛП?
НЛП — важное направление в области компьютерных наук и искусственного интеллекта. Он изучает различные теории и методы, которые могут обеспечить эффективное общение между людьми и компьютерами с использованием естественного языка. Обработка естественного языка — это предмет, объединяющий лингвистику, информатику и математику. НЛП состоит из двух основных технических областей: понимания естественного языка и генерации естественного языка.
- В направлении понимания естественного языка основная цель состоит в том, чтобы помочь машинам лучше понимать человеческий язык, включая базовое лексическое, синтаксическое и другое семантическое понимание, а также высокоуровневое понимание потребностей, текстов и эмоций.
- В направлении генерации естественного языка основная цель состоит в том, чтобы помочь машинам генерировать языки, понятные людям, такие как генерация текста, автоматическое суммирование и т. д.
Технология НЛП основана на больших данных, графе знаний, машинном обучении, лингвистике и других технологиях и ресурсах и может формировать специальные прикладные системы для машинного перевода, подробных ответов на вопросы и диалоговых систем, а затем обслуживать различные практические предприятия и продукты.
Зачем нам НЛП?
В своем выступлении, чтобы дать каждому более интуитивное чувство, Чжан Ян сначала привел пример из жизни: когда люди ищут редкое слово на Baidu, они будут искать его, не зная пиньинь: «Какие четыре слова ?», мы обнаружили, что результаты поиска должны сообщать вам, что означает слово «叕», а не результаты поверхностного сопоставления слов «4 и что сказать», которые уже использовали способность понимания естественного языка, это помогает поиску движки понимают, что пользователям нужно искать «слова, состоящие из 4 и», а не «что такое 4» этих отдельных слов. Видно, что технология НЛП действительно может знать, какова глубинная семантика того, что вы говорите, и эта технология также вывела искусственный интеллект на новый уровень.
Итак, что именно может сделать НЛП? Как помочь бизнесу достичь,Чжан Ян представил несколько типичных технологий, открытых Baidu NLP:
Анализ настроений
Для китайского текста с субъективным описанием можно автоматически оценить категорию полярности тональности текста и задать соответствующий уровень достоверности. Эмоциональная полярность делится на положительную, отрицательную, нейтральную. Анализ настроений может помочь предприятиям понять потребительские привычки пользователей, анализировать актуальные темы и отслеживать общественное мнение в кризисных ситуациях, а также обеспечивать эффективное принятие решений предприятиями.служба поддержки.
(нажмите, чтобы увеличить изображение)
Извлечение мнений по комментариям
Автоматически анализируйте проблемы с комментариями и комментарии, а также выводите метки комментариев и полярность комментариев. В настоящее время он поддерживает извлечение мнений из отзывов пользователей о 13 типах продуктов, включая продукты питания, отели, автомобили, живописные места и т. д., что может помочь продавцам анализировать продукты и помогать пользователям принимать решения о потреблении.
(нажмите, чтобы увеличить изображение)
Расчет схожести слов по смыслу
Он используется для расчета семантического сходства двух заданных слов на основе предположения о распределении в естественном языке, то есть чем чаще встречаются слова, тем выше сходство. Сходство смысла слов является важной базовой технологией обработки естественного языка и одной из основ распространенных технологий, таких как анализ имен собственных, переписывание запросов и тегирование частей речи.
лексический анализ
Лексический анализ Baidu предоставляет пользователям три функции: сегментация слов, тегирование частей речи и распознавание именованных сущностей. Этот сервис может идентифицировать основные словарные теги и части речи в текстовых строках, а также дополнительно идентифицировать именованные объекты.Эффект алгоритма лексического анализа Baidu намного опережает опубликованные модели основного китайского лексического анализа.
(нажмите, чтобы увеличить изображение)
короткое сходство текста
Он может обеспечить расчет сходства между различными короткими текстами.Выходное сходство представляет собой реальное значение между -1 и 1, и чем оно ближе к 1, тем выше сходство. Это значение сходства можно использовать непосредственно для ранжирования результатов или в качестве одномерного базового признака для более сложных систем.
(нажмите, чтобы увеличить изображение)
Языковая модель DNN
Языковая модель вычисляет вероятность предложения, составленного из данного слова, чтобы определить, соответствует ли составленное предложение объективным языковым привычкам выражения.существуетМашинный перевод, орфографическая коррекция, распознавание речи, ответы на вопросы, определение частей речи, синтаксический анализ и поиск информациишироко используются в таких системах, как.
векторное представление слова
Представление векторного представления слов заключается в отображении слов в словаре языка в вектор фиксированной длины посредством обучения. Все векторы слов в словаре образуют векторное пространство, а каждое слово является точкой в пространстве векторов слов.Используя этот метод, можно вычислить текст.
(нажмите, чтобы увеличить изображение)
разбор зависимостей
Используйте зависимости между словами в предложении для представления информации о синтаксической структуре слов (например, субъект-сказуемое, глагол-объект, определение и другие структурные отношения).
И используйте древовидную структуру для представления структуры всего предложения (например, подлежащее, сказуемое, дополнение, определенное дополнение и т. д.).
(нажмите, чтобы увеличить изображение)
Как реализована технология семантических вычислений Baidu?
Среди различных открытых интерфейсов НЛП семантические вычисления — очень простая технология. Сунь Ю, главный архитектор отдела НЛП Baidu, в основном проанализировал общую техническую структуру семантических вычислений НЛП и представил основныеТехнология семантического представленияиТехнология семантического сопоставления. Общая структура семантических вычислений Baidu NLP в основном разделена на три части (как показано на рисунке ниже): Нижний уровень опирается на большие данные, данные веб-страниц и данные о поведении пользователей, а также на высокопроизводительные кластеры (GPU, CPU). и FPGA), для создания модели на основе DNN и вероятностных графов.На основе механизма семантических вычислений семантическое представление текста может быть получено путем ввода текста в механизм семантических вычислений, а затем на основе этого семантического представления семантическое представление выполняются уровневые вычисления, включая семантическое сопоставление, семантический поиск, классификацию текста, генерацию последовательности и маркировку последовательности.
(нажмите, чтобы увеличить изображение)
В настоящее время Baidu открыла четыре технологии с точки зрения семантики, в том числе семантические технологии на двух уровнях словарного запаса и предложений. Уровень словарного запаса включает в себя представление семантического вектора слова и вычисление схожести смысла слова; уровень предложения включает вычисление семантического сходства короткого текста и языковую модель DNN. Сунь Ю подробно рассказал о принципах, лежащих в основе этих технологий.
Индустрия технологий семантического представления исследовалась в течение длительного времени, и есть две основные школы: формальный метод и статистический метод. Что касается метода, основанного на формализации, ученый из Принстона предложил в 1980-х годах: построить граф слов на основе лингвистических знаний и встроить знания в этот граф через отношения между словами. В 1990-х годах было предложено, чтобы естественный язык выражался в виде логического выражения, которое можно было бы непосредственно использовать для компьютерных вычислений и выполнения. Однако у этих двух технологий есть проблема: степень автоматизации невысока, а применимость низка, поэтому НЛП Baidu в основном использует метод, основанный на статистике.
Вычисление семантического подобия короткого текста - это технология, на создании которой они сосредоточены и которая широко используется. Базовая модель получена с использованием инфраструктуры семантического сопоставления SimNet, разработанной ими в 2013 году и обученной на сотнях миллиардов реальных данных о кликах. Базовый алгоритм сопоставления фреймворка включает в себя две парадигмы сопоставления, одна из которых фокусируется на моделировании уровня представления, а другая больше фокусируется на моделировании слоя сопоставления. Обе модели имеют преимущества и решают разные проблемы. Кроме того, для различных сценариев приложений они также расширили и разработали технологии сопоставления на уровне символов и сопоставления с несколькими представлениями, которые широко используются во внутренних продуктах Baidu.
Какие технологии и приложения есть в обработке естественного языка Baidu в области анализа настроений?
В своем выступлении Хэ Болей проанализировал принцип и практическое применение технологии анализа настроений в основном для повседневных сценариев использования пользователями. Технология анализа настроений Baidu опирается на базовые технологии, такие как большие данные комментариев, глубокое обучение и семантическое понимание, и создала набор основных технологий для полной классификации настроений и анализа мнений. Что касается классификации настроений, мы разработали анализ ориентации настроений, анализ настроений, распознавание объектов настроений, а также субъективный и объективный анализ предложений. Что касается интеллектуального анализа мнений, мы можем эффективно извлекать мнения из текстовых данных с помощью автоматического построения знаний о сочетаниях мнений и технологии вычисления мнений. Baidu использует эти основные технологии для разработки пользовательских продуктов.
(нажмите, чтобы увеличить изображение)
Здесь мы сосредоточимся на двух типах основных технологий.:
анализ настроений
Цель задачи анализа настроений состоит в том, чтобы иметь возможность судить о том, является ли пользовательский текст положительным, отрицательным или нейтральным. Существует два типа традиционных методов: один заключается в использовании словаря тональности для сопоставления правил, а другой — в построении задачи 2-классификации на основе словаря тональности и текстовых признаков. Основанный на методе глубокого обучения, анализ настроений Baidu установил многогранность на уровне предложений, на уровне сущностей и на уровне глав и выполнил задачи анализа. С точки зрения детализации на уровне предложений, основанной на методе классификации Bi-LSTM, система лучше улавливает информацию, выраженную эмоциональной полярностью в контексте, и эффект значительно улучшается по сравнению с традиционным методом. Концепция задачи детализации на уровне сущностей немного неясна. Например, статья «Взгляд Джеки Чана на Wolf Warrior 2» может иметь несколько тем. Эта задача состоит в том, чтобы проанализировать отношение этой статьи к «У Цзин». В этой задаче, установив метод иерархического семантического выражения, вся система может быть проанализирована и оценена более точно.
Методы извлечения комментариев
Цель извлечения мнений комментария: Учитывая текст, извлеките информацию, выражающую мнения в нем. Например, комментарий пользователя: «Обслуживание в этом отеле неплохое, но номер относительно плохой», наша цель — извлечь ключевую информацию, такую как «хорошее обслуживание, плохой номер». Технология извлечения отзывов широко используется в современных интернет-продуктах, но уровень отзыва не был высоким.Технология извлечения отзывов Baidu подробно анализирует и разбирает задачи из требований приложения.Метод, основанный на прогнозировании измерений, и метод, основанный на прогнозировании измерений плюс Классификация полярности настроений прекрасно решает различные прикладные задачи, что также является классическим случаем сочетания технологии и применения.
Как применяется метод вероятностной графической модели?
Тема, которую разделяет Цзян Ди, - «Структура модели настраиваемой темы Familia», Familia означает семья, семья. Как следует из названия, эта структура характеризуется тем, что охватывает семейство тематических моделей, имеющих большое промышленное значение, так что передовые инженеры имеют большую гибкость в выборе подходящей модели в соответствии с конкретными задачами.
Baidu имеет структуру байесовской технологической системы, которая в основном делится на три категории: первая категория — это тематическая модель, которая характеризуется функцией самонастройки; вторая категория — это модель кликов, которая в основном используется в поисковых системах. Третья категория — это классификационная модель, которая содержит наиболее распространенные байесовские сетевые классификаторы.
В рамках тематической модели существует более дюжины основных тематических моделей, включая модель LDA, модель SentenceLDA, которая вводит структуру предложения, модель SupervisedLDA, которая вводит сигналы наблюдения, и другие тематические модели, имеющие промышленную ценность, и помогают пользователям разрабатывать соответствующие модели под конкретные задачи.
Итак, зачем разрабатывать тему Familia? Большинство инструментов тематических моделей в отрасли поддерживают только две модели, PLSA и LDA. Эти две модели очень похожи. Они поддерживают только одну гипотезу данных. То есть мы можем использовать только одну модель для разных сценариев и не можем поддерживать пользователей. настраиваемые расширения для конкретных задач. Когда сами пользовательские данные и предположения двух моделей сильно различаются, эффект можно себе представить. С другой стороны, текущие инструменты тематической модели не очень дружелюбны к последующим приложениям, и эти работы часто сосредоточены только на обучении модели, игнорируя то, как модель применяется в конкретных задачах. От обучения модели до применения большое расстояние, и наша работа направлена на устранение этого расстояния. На самом деле существует множество сценариев применения Familia в Baidu, включая такие известные платформы, как Baidu Search, Baidu News, Nuomi и Tieba. Они также были развернуты на облачной платформе Baidu для обработки естественного языка. В настоящее время этот инструмент имеет 30 миллионов ответов. каждый день. .
Как фреймворк Familia используется в промышленных сценариях? Первым шагом является предварительная обработка данных, которая может поддерживать различные типы данных, включая общие данные веб-страниц, данные новостей и данные о клейком рисе.Внутренние этапы предварительной обработки данных и сегментация слов Baidu глубоко интегрированы. У нас также есть множество фильтров до и после сегментации слов.Пользователи могут выбирать, какую информацию отфильтровывать, а какую оставить в соответствии со своими потребностями. Вторым шагом является настройка вероятностных графовых моделей.Familia поддерживает множество основных существующих тематических моделей, и пользователи также могут настраивать свои собственные тематические модели. Этот процесс достигается за счет абстракции организации данных, в которой хранится информация из нескольких графовых моделей. Третий шаг — это автоматический вывод формулы выборки Механизм вывода параметров в Familia может автоматически выводить формулу выборки, что снижает математический порог для применения тематических моделей. На четвертом этапе, постобработке модели, Familia дополнительно оптимизирует и сжимает обученную модель темы. На пятом этапе Familia абстрагирует две прикладные парадигмы семантического представления и семантического сопоставления, и пользователи могут использовать соответствующую парадигму в соответствии с конкретными задачами.
В настоящее время Familia завершила открытый исходный код на github (GitHub.com/Baidu/Фамилан…), на первом этапе предоставляются тематические модели промышленного уровня, обученные на нескольких вертикальных корпусах, таких как веб-страницы, новости и романы, и даются рекомендации по большому количеству сценариев применения двух прикладных парадигм семантического представления и семантического сопоставления.
Как лучше использовать открытую платформу Baidu AI для разработчиков?
Чжан Цзинцзин в основном представил вопросы, связанные с использованием естественного языка и использованием всей открытой платформы Baidu AI. В настоящее время технология обработки естественного языка Baidu открыла 8 основных технологий обработки языка.Основываясь на этих основных возможностях, Baidu открыла для внешнего мира многие технологии уровня восприятия и когнитивного уровня и построила нашу открытую платформу на этой платформе.Все наши зрелые технологии искусственного интеллекта здесь открыты для внешнего мира, так что каждый может напрямую вызывать и использовать их через интерфейсы, такие как различные шаблоны, порты, распознавание лиц и т. д. для распознавания речи, синтеза речи и распознавания текста. Кроме того, Baidu также откроет услуги персонализации и настройки, в основном включая лексический анализ, извлечение комментариев и анализ настроений. Настройка лексического анализа может помочь нашим отраслевым клиентам удовлетворить индивидуальные потребности.Если есть слова, которые невозможно распознать, вы можете загрузить словарь, чтобы обучить модель, более подходящую для вас.
AI-платформа Baidu обеспечивает три аспекта поддержки процесса разработки, первый — это разработка и формирование, а второй — функции управления и вспомогательные ресурсы. Что касается компонентов разработки, API и SDK предоставляются стандартным образом в каждой технической области, а также предоставляются справочные коды по некоторым направлениям. Некоторые модули, которые необходимо настраивать независимо, имеют отдельную систему конфигурации, чтобы разработчики могли настраивать их на платформе, а затем вызывать их напрямую. В фоновом управлении есть базовое управление приложениями, а также поддерживается множество персонализированных конфигураций, связанных с корпоративным бизнесом, и вы можете в любое время просмотреть статистическую информацию о вызовах. Разработчики также могут использовать ЛОГОТИП Baidu на продуктах для обозначения технологии искусственного интеллекта Baidu. Если разработчики применят технологию искусственного интеллекта Baidu для решения типичных задач в отрасли, Baidu также будет играть роль болельщика и продвигать свои кейсы.