Интерпретация документа: Структурированное извлечение информации в сценарии Zero-Shot

искусственный интеллект

Аннотация: В области извлечения информационной структуры предшественникам обычно необходимо завершить извлечение информационной структуры на основе аннотированных вручную шаблонов. В этой статье предлагается решение на основе сверточной сети с нулевым выстрелом, которое может решить проблему, связанную с тем, что обучающая выборка и тестовая выборка поступают из разных вертикальных доменов.

Эта статья опубликована в сообществе HUAWEI CLOUD.«Шестнадцатая серия интерпретаций документов: структурированное извлечение информации в сценарии нулевого выстрела», Автор: Очаруйте улыбкой.

В области извлечения информационной структуры предшественникам обычно необходимо завершить извлечение информационной структуры на основе вручную аннотированных шаблонов. В этой статье предлагается решение на основе сверточной сети с нулевым выстрелом, которое может решить проблему, связанную с тем, что обучающая выборка и тестовая выборка поступают из разных вертикальных доменов.

Рис. 1. Источники данных для обучения и логического вывода — разные вертикали.

определение проблемы

Рис. 2. Интуитивное понимание OpenIE и ClosedIE.

Relatin Extraction

  • Close Relation Extraction (ClasedIE)

R_R_ представляет собой набор категорий, включая отсутствие категории, и модель может напрямую назначать категорию каждому объекту.

  • Open Relation Extraction(OpenIE)

R_R_ представляет собой набор категорий, а модель классифицирует две категории, чтобы определить, является ли одна сущность ключом другой сущности.

Zero-Shot Extraction

Zero-Shot можно отличить по сложности следующим образом:

  • Unseen-Website Zero-shot Extraction

То есть разные макеты в одной вертикали, например, это все страницы из фильмов. Просто макет веб-страницы, используемый в тесте на вывод, отличается от тренировочного.

  • Unseen-Websiste Zero-shot Extraction

То есть разные макеты в разных вертикальных полях.Например, обучение идет со страницы фильма, а тест рассуждений может использовать веб-страницу рекрутингового сайта.

Решение, предложенное в этой статье, фактически состоит в том, чтобы обнаружить все пары ключ-значение в сети графа, Поскольку задача обнаружения ключей-значений не зависит от формата, она играет роль в анализе структуры междоменного формата.

концепция

  • отношение: относится к ключу

  • объект: относится к значению

  • отношение: относится к ключу -> значение

Кодировщик (построение функций) 

Построение информации об узле завершается графом G_G_, включающим ряд узлов N_N_ (сущностей) и ребер E (ребер) между узлами.

Создавайте отношения между сущностями на основе правил проектирования

Ребра между узлами строятся в следующих случаях (пары ключ-значение часто располагаются сверху вниз или слева направо):

  • Горизонтальный случай: горизонтальные соседи, а других узлов посередине нет;

  • Вертикальный случай: вертикальные соседи без других узлов между ними;

  • Ситуация того же уровня: одноранговый узел;

Используйте графовые сети для моделирования отношений между сущностями 

На основе Graph Attention Network (GAT) для моделирования отношений узлов начальные (входные) функции узла:

  • Визуальные возможности: визуальные описания классов узлов на веб-страницах;

  • Текстовые функции: OpenIE усредняет характеристики предварительно обученного Bert, а CloseIE подсчитывает частоту появления строки узла (похоже, это более дружелюбно к кросс-домену);

Предтренировочный механизм

В статье разработана вспомогательная функция потерь L_{pre}_Lpre_​для наблюдения за тремя категориями классификации: {ключ, значение, другое}. При этом, для предотвращения переобучения в процессе обучения, веса сети графов в задаче OpenIE не будут обновляться после завершения предобучения.

Сеть прогнозирования отношений

OpenIE

Определите, удовлетворяет ли пара узлов содержимому строки первого узла ключ содержимого строки второго узла:

  • Используйте алгоритм идентификации пары кандидатов, чтобы получить потенциальные пары строк;

  • Исходные входные характеристики двух узлов + выходные характеристики GNN + признаки взаимосвязи двух узлов используются в качестве входных данных классификатора;

  • Полностью подключенная сеть для классификации;

ClosedIE

Кросс-энтропийная многоклассовая классификация

эксперимент

  • Это правда, что междоменные задачи сложнее.

  • CloseIE: Это правда, что чем больше URL-адресов, тем лучше эффект.

  • Подтвердите влияние различных факторов на производительность сетевой модели.

Нажмите «Подписаться», чтобы впервые узнать о новых технологиях HUAWEI CLOUD~

Категории