Когда дело доходит до синтаксического анализатора зависимостей, мы будем думать об обработке естественного языка, а синтаксический анализ является ключевой проблемой в области обработки естественного языка.Как грамматическая система в синтаксическом анализе, синтаксический анализатор зависимостей в последние годы стал центром исследований, и постепенно широко используется в других задачах обработки естественного языка. Вечером 21 марта компания Pegasus пригласила г-на Ху Сяна, магистра компьютерных наук и информации из Шанхайского университета Цзяотун, который работал в UBS и Ant Financial, чтобы поделиться с нами ходом исследований парсера зависимостей и некоторыми из них в прямая трансляция, массовые методы и т. д.
Ниже приводится содержание этого обмена:
1. Основная проблема понимания естественного языка
Сначала нам нужно понять несколько проблем, которые хочет решить область понимания естественного языка. Область обработки естественного языка очень широка, поиск информации, интеллектуальные ответы на вопросы, анализ настроений, автоматический перевод и т. д. можно назвать очень сложными и нерешенными проблемами в этой области.Сегодня мы в основном обсуждаем семантическое выражение и выражение знаний.
Давайте начнем с простого примера, чтобы понять семантические выражения. Два предложения на картинке ниже почти одинаковы в текущей модели семантического автоматического сопоставления, но почему эти два предложения означают совершенно разные вещи, когда их понимают люди?
С семантической точки зрения значение предложения имеет уровни и основные элементы, а с академической точки зрения основным элементом является семантическая рамка, которую мы называем «подлежащее, сказуемое и дополнение». Хотя не все предложения будут охватывать субъект-глагол-объект, здесь в качестве примера возьмем предложение субъект-глагол-объект.
Модель предложения подлежащего, сказуемого и объекта можно понять так: в этом предложении есть три разных типа ячеек, и каждая ячейка может быть заполнена только одним словом или словом. Как только мы структурируем два предложения, разница между ними становится очевидной.
Итак, вопрос в том, существует ли структурированное выражение, которое может эффективно решить проблему семантического выражения? Давайте задумаемся, на самом деле в этой задаче есть несколько сложностей. Во-первых, если такая структура есть, то эта структура должна быть универсальной, а во-вторых, более сложная проблема состоит в том, как заставить компьютер понять, что сериализованное предложение преобразуется в эту структуру.
2. Несколько основных теорий понимания естественного языка
В следующей части мы поговорим о текущих методах и способах решения этих двух проблем. Существуют три основные теории понимания естественного языка.
1. Структура фразы:
Эта теория была выдвинута Хомским.В синтаксической структуре нетерминальный символ может генерировать только меньше или равное двум нетерминальным символам или генерировать терминальный символ.
Неконечные символы - это метки без реальных слов, таких как "S, NP, VP" в этом графе. В структуре наших древовидных узлов под ними также будут подузлы. Для узлов с подузлами , мы все называем это нетерминалом.
Ограничитель — это конкретные реальные слова, такие как «она, купила, машина» в этом графе, которые являются конечными узлами в древовидной структуре.
С уровня предложения предложение может быть выражено в виде бинарного дерева в соответствии с семантической иерархией, то есть теснотой между ними, как показано на рисунке выше.
Что не так с этой синтаксической структурой? Давайте посмотрим на рисунок ниже, в первую очередь это структура с жесткими требованиями к последовательности. Во-вторых, это не универсальная структура для разных языков, она зависит от конкретных языковых правил, и ее универсальность низка. Наконец, он отражает ограниченную семантическую информацию.
2. Структура зависимостей (слой синтаксиса):
Он выражает грамматические отношения допустимыми ребрами между словами, поэтому он будет более простым и интуитивно понятным по форме.
В приведенном выше примере мы можем видеть ребро SBJ, которое относится к подлежащему предложения, OBJ относится к объекту предложения, а NMOD относится к модификатору существительного и определяет отношения между словами по типу край отношение. Видов кромки больше, на данный момент насчитывается более 30 видов.
3.Семантика фреймов:
По сравнению с двумя предыдущими теориями, она больше фокусируется на семантике и выражении знаний.Эта теория считает, что полное выражение должно сочетаться с фоновыми знаниями. Например, слово «есть» нельзя обсуждать независимо от знания о том, как это слово следует употреблять, а следует помещать в законченную семантическую структуру. То же самое и со словом «поворот».
3. Значение парсера зависимостей
Парсер зависимостей — это наш основной контент сегодня, поэтому мы обсудим его основное значение в парсере зависимостей. На самом деле, обсуждение значения синтаксического анализатора зависимостей может быть сложной темой, потому что это относительно базовое исследование в области обработки естественного языка, но его реальный эффект в практических приложениях в основном включает следующие аспекты:
Мы видим, что Tree-LSTM не имеет очевидных преимуществ перед Bi-LSTM, поэтому вопрос о том, «необходимо ли структурирование», по-прежнему остается спорным. эквивалентна некоторому раскрытию природы языка, и результаты его исследований очень полезны для понимания естественного языка, хотя они могут быть неэффективны в практических приложениях.
4. Структура парсера зависимостей
В традиционной структуре парсера зависимостей есть несколько ограничений:
В этих условиях результатом, естественно, является дерево. Спорным моментом является то, что когда мы формируем структуру анализатора зависимостей, независимо от того, есть ли кроссовер или нет кроссовера, на самом деле поддержка кроссовера, семантическое выражение предложения сильнее, но сложность прохода будет выше.
Разобравшись со спецификацией зависимой синтаксической структуры, давайте представим несколько ее основных методов передачи. Так называемый синтаксический анализатор должен научить компьютер автоматически переводить предложение в стандартизированную структуру, поэтому у нас должны быть какие-то методы, помогающие компьютеру комбинировать контекст или какие-то операции, чтобы сузить область поиска и пространство и эффективно сформировать структуру. дерево.
1. Парсер на основе перехода:
Это самый классический метод. Основанный на переходах — это просто ряд определяемых им операций. Пока мы используем этот ряд операций до конца, мы можем, наконец, превратить его в дерево. Это интуитивное понимание.
Этот метод передачи в основном основан на переходе состояний.Давайте рассмотрим пример на следующем рисунке, чтобы интуитивно понять конкретный процесс:
Функция сдвига состоит в том, чтобы переместить жетон или структуру в верхней части текущей временной станции I на станцию S слева.
Затем мы видим операцию Left-Arc (формирование дуги слева) на рисунке 3. Ее конкретное значение состоит в том, чтобы взять элемент из каждого из I и S и вытолкнуть его, нарисовать левую дугу, чтобы соединить их, и бросить его. к самому правому В A значение A - история операций.
Между «она» и «купил» образуется левая дуга, смысл левой дуги в том, на какую сторону указывает дуга, токен, на который указывает, используется как дочерний узел, а токен другого используется как родительский узел. Здесь «куплено» повторно вставляется в станцию как родительский узел, и последующая операция должна повторяться до тех пор, пока станция I не станет пустой, после чего процесс завершается.
Станция А представляет записи операций в этом процессе.Мы можем видеть, какие дуги формируются через станцию А, а затем можно сформировать дерево.
Смысл этого алгоритма в основном таков: «Я всегда буду оперировать только первыми двумя токенами моего предложения». Можно понять, что синтаксический анализатор на основе перехода выполняет локальное слияние посредством комбинации локальных слов, пока все вещи не будут «съедены». ". Он имеет преимущества в производительности во время выполнения и содержит больше семантики.
2. Парсер на основе графа:
По сравнению с локальным методом, описанным выше, синтаксический анализатор на основе графа является глобальным методом.
Его основная идея заключается в том, что независимо от расстояния между каждым словом близость отношения между словами превращается в значение, а затем генерируется диагональное дерево, путь для создания которого является путем парсера зависимостей. Его преимущество в том, что он может достичь локального оптимального решения, поэтому он не приведет к неправильному результату глобального финального прохода из-за предыдущей ошибки.
5. Введение в модель парсера на основе глубокого обучения
Наконец, мы представляем некоторые модели глубокого обучения, основанные на теории перехода.
1. Методы на основе перехода:
Его основная идея состоит в том, чтобы сначала превратить предложение в синтаксическое дерево, а затем в парсер зависимостей, Этот метод немного надуманный, но он работает хорошо. Он также определяет некоторые операции, то есть, выполняя эти операции над последовательностью до ее окончания, можно сформировать дерево. Выделяют три основные операции:
Эта модель представляет собой нетипичную проблему маркировки последовательности, заключающуюся в вставке левых или правых скобок в последовательность.Функция глубокого обучения состоит в том, чтобы выразить каждый токен, заключенный в левые и правые скобки, как более расширенное значение.
2. Графическая модель:
Эта модель превращает проблему построения чисел в проблему вычисления расстояния. По сути, он строит матрицу, строки и столбцы являются маркерами в этом предложении, а точка в каждых двух строках и столбцах представляет вероятность того, что a изменяет b, или оценку вероятности того, что b изменяет a, и, наконец, формирует дерево. Мы просто находим минимальное остовное дерево в этом векторе расстояний, и генерируется анализатор зависимостей.
Поэтому в модели глубокого обучения более важным является то, как рассчитать вектор расстояния, Точно так же из-за открытия встраивания слов мы можем превратить предложение в непрерывный вектор.
Итак, насколько значим парсер зависимостей в практических приложениях? Мы не можем отрицать важность парсера зависимостей, но у него есть несколько больших ограничений:
Так почему же у китайцев такая низкая точность? Есть два основных момента:
Чтобы решить эту проблему, мы придумали упростить аннотацию:
Как это упростить? Это позволить аннотаторам отметить семантическую структуру внутри и идентифицировать семантические блоки внутри, но это все еще несовершенно, мы можем только усилить обучение.
Все вышеперечисленные части являются основным содержанием этой онлайн-трансляции в прямом эфире.Я считаю, что у вас должно быть более глубокое понимание парсера зависимостей.Для тех, кто хочет узнать все более и более подробный контент, вы можете обратить внимание на сервисный номер: FMI Pegasus .com нажмите Вы можете учиться на Pegasus Live в строке меню.