0. Пишите впереди
На этот раз я делюсь классической статьей о сопоставлении текстов НЛП.Основная идея состоит в том, чтобы использовать идею распознавания изображений для решения задачи сопоставления текстов НЛП.Ведь развитие технологии компьютерного зрения было чрезвычайно быстрым в то время.
Личный опыт:
- Задача сопоставления текста может быть преобразована в задачу бинарной классификации, а выходная вероятность — это сходство
- Примените идею распознавания изображений к задачам сопоставления текста и используйте свертку для извлечения текстовых признаков.
Адрес бумаги:
1. Предпосылки
Сопоставление текста широко используется в поисковых системах, системах ответов на вопросы, рекомендации статей, связанных с информационным потоком, и т. д. Цель состоит в том, чтобы найти тексты, которые похожи или связаны с целевым текстом в текстовой библиотеке. Модель TextMathcing, которая будет представлена в этой статье, представляет собой сквозной метод сопоставления текста, который вводит идеи решения задач распознавания изображений в области компьютерного зрения в модель сопоставления текста.Давайте посмотрим, как автор разрабатывает и реализует Это.
2. Архитектура модели
Архитектура модели TextMatching показана на рисунке.
Разбираем архитектуру модели на следующие шаги:
-
встраивание текста Метод в этой статье сначала использует модель вектора слова для получения вектора встраивания каждого слова в текст или предложение.Этот шаг также является очень распространенным шагом.Текущими основными моделями вектора слова являются word2vec/fastText/glove/bert и т. д. , Эта бумага выбирает перчатку.
-
Вычислить матрицу подобия Сопоставляемый текст (в частности, двумерный массив, каждое измерение которого представляет собой вектор вложения каждого слова в текст) является внешним произведением, и получается оценка сходства между каждым словом. Если два текста состоят из M и N слов соответственно, то размер матрицы сходства равен M*N. Автор предлагает три метода расчета показателей сходства между словами:
А. Тип 0-1, соответствующее слово такое же, как 1, в противном случае оно равно 0. Недостатком этого метода является то, что он не может уловить семантические отношения соответствия между похожими словами.
б) косинусное сходство
в. Скалярный продукт
После экспериментов наилучший эффект дает схема 3.
-
Извлечение признаков CNN
Почему вы говорите, что идея этой статьи состоит в том, чтобы сделать сопоставление текста таким же, как распознавание изображений? Ключевым шагом является то, что автор использует сверточный слой CNN, обычно используемый в распознавании изображений, для извлечения текстовых признаков. Модель TextMatching использует двухслойную CNN для извлечения признаков из матрицы подобия. Здесь следует отметить, что размер матрицы сходства текста, сгенерированной разными текстовыми парами, непостоянен.Чтобы сделать карту объектов, извлеченную CNN, согласованной по размеру при вводе в полносвязный слой, автор после первого слой CNN Слой динамического объединения используется для динамической настройки размера карты объектов.
-
полносвязный слой
После того, как функции извлечены CNN, TextMatching отправляет функции на два полностью связанных слоя, а затем получает результат вывода модели через softmax, а выходное значение вероятности можно рассматривать как степень соответствия текстовой пары.
3. Оценка модели
Автор сравнивает модель в этой статье с другими распространенными моделями сопоставления текста.Можно увидеть, что модель TextMatching, предложенная в этой статье, по-прежнему лучше, чем основные модели того времени.
4. Резюме
В этой статье представлена классическая работа по сопоставлению текста, Идея состоит в том, чтобы внедрить идею распознавания изображений на основе CNN в модель сопоставления текста, чтобы улучшить эффект сопоставления текста.