Кратко о PullNet

Бумага: PullNet: Ответы на открытые вопросы предметной области с итеративным поиском по базам знаний и тексту

адрес:АР Вест V.org/ABS/1904.09…

Исходный код: нет исходного кода

предложить фон

Большая БЗ не может полностью хранить все знания, поэтому БЗ является неполной. Корпус обычно хранит знания в относительно полной форме, но он не так структурирован, как БЗ. Заданный вопрос — это не простой одношаговый ответ, а многошаговый вопрос, требующий рассуждений.

PullNet сочетает в себе как базу знаний, так и корпус, и использует итеративный подход для построения конкретных подграфов, содержащих информацию, связанную с проблемой. Исходя из вопроса и сущностей, содержащихся в вопросе, строится разнородный подграф (включая связанные текстовые узлы и тройные узлы).Каждая итерация вычисляет вероятность расширения каждого узла в соответствии с GCN и выбирает k узлов, превышающих порог для расширения. . Затем для выбранных k узлов извлеките связанные с ними документы, объекты и тройки, обновите их до построенного подграфа и, наконец, используйте аналогичный GCN, чтобы получить ответ после T итераций.

конкретный метод

Background

для конкретных проблем $q$ , чей проблемный подграф $G_q = \{V,E\}$ . Подграф задачи содержит $q$ Неоднородные графы связанных корпусов текстов и информации, связанной с базой знаний. $V$ являются узлами в графе.

Есть три вида узлов $V = V_e \cup V_d \cup V_f$ :

$V_e$ : узел объекта, $v_e \in V_e$ , сущность в КБ
$V_d$ : текстовый узел, $v_d \in V_d$ , документ в корпусе, содержащий последовательность токенов: $(w_1,w_2,...,w_{|d|})$ , документ представляет собой всего одно предложение, и его можно найти непосредственно через объект упоминаний.
$V_f$ : узел факта, $v_f \in V_f$ , утраивается в КБ $(v_s,r,v_o)$ , включая головную сущность, хвостовую сущность и связь $r$ .

$E$ это ребро между узлами:

Если узел сущности $v_e$ узел связанного факта $v_f$ ,Так $v_e$ это узел факта $v_f$ Головной объект или хвостовой объект .
Если узел сущности $v_e$ связанные текстовые узлы $v_d$ , то текст $v_d$ упомянуть об этом объекте $v_e$ .

алгоритм

Диаграмма проблемы инициализации в начале $G_q^0 = \{V^0,E^0\}$ . $V^0 = \{e_{q_i}\}$ , список сущностей для вопроса в вопросе. $E^0$ это пустое множество.
повторять $T$ раз, каждый раз, когда вы выбираете $k$ Каждая сущность дополняется, и на каждой итерации для выбранной сущности извлекается соответствующий текстовый набор и набор фактов.
В конце каждой итерации в проблемный граф добавляются новые ребра. $G_q^t$ . и $t$ После субитеративного расширения в конце добавляется этап классификации для определения ответа на графе вопросов.

Тяговая операция

Простая вытяжка:

$pull\_entities(v_d)$ : извлечение всех упоминаний из текста.
$pull\_headtail(v_f)$ : извлечение объектов головы и хвоста из троек.

Сложная поисковая тяга:

$pull\_docs(v_e,q)$ : В его бумажном методе все документы могут быть получены путем связывания объектов, то есть два объекта A и B упоминаются в предложении, а затем предложение может быть получено напрямую с использованием A и B в качестве индекса. В дополнение к сущности можно напрямую получить текст, а также ранжировать текст и вопросы. $q$ Сходство IDF с , вы, наконец, можете получить вершину $N_d$ текстовые предложения.
$pull\_facts(v_e,q)$ : Получить и объект в КБ $v_e$ Связано с тем, чтобы попасть в топ $N_f$ узел факт. Ограничьте узлы фактов в $v_e$ Должна быть его головная сущность или хвостовая сущность, то есть получить сущность в БЗ $v_e$ Подграф с одним переходом и отношение между узлами факта ранга $r$ и вопрос $q$ подобие, основанное на формуле $S(r,q)$ .
- связь $r$ Вложение $h_r$ ,проблема $q$ последовательность слов $q = (w_1,w_2,...,w_{|q|})$ . Сходство - это преобразование LSTM $q$ Представление последнего уровня и отношение $r$ Скалярное произведение вложений. Затем введите в формулу сигмовидной, чтобы получить вероятность.
- $h_q = LSTM(w_1,w_2,...,w_{|q|}) \in R^n$
- $S(r, q) = sigmoid(h_r^Th_q)$

Классифицировать операцию

Два типа $classify$ Операции находятся в подграфах $G_q^t$ Вычисления выполняются на узлах графа (вычисления продолжаются только на сущностных узлах графа). Использование графа CNN, поэтому даже если учитываются только узлы сущностей, некоторые узлы и ребра, не являющиеся сущностями, могут повлиять на окончательный результат классификации.

$classify\_pullnodes(G_q^t)$ : получить узел объекта $v_e$ Вероятность расширения на следующей итерации. Фаза построения подграфа, на каждой итерации выберите только $k$ узел с наибольшей вероятностью.
$classify\_answer(G_q^t)$ : После построения подграфа вычислить, может ли узел сущности ответить на вопрос, и сущность с наибольшей вероятностью является окончательным ответом.
GraftNet: все вышеперечисленные операции классификации рассчитываются GraftNet, который является вариантом графа CNN.

операция обновления

Приведите график, полученный на предыдущей итерации $G_q^{t-1}$ Добавить физический узел $\{v_{e(f)_i}\} \cup \{v_{e(d)_i}\}$ , текстовый узел $\{v_{d_i}\}$ , а узел факта $\{v_{f_i}\}$ . И обновите ребра, соединяющие узлы.

тренироваться

Во время обучения задаются пары вопросов и ответов, где путь вывода неявный. Обучение состоит из вышеперечисленных $classify$ операция и расчет подобия.

Во время обучения, учитывая пару вопросов и ответов, сначала найдите кратчайший путь от сущности вопроса к сущности ответа в базе знаний, а сущности, через которые проходит путь, помечаются какпромежуточные объекты-кандидаты. Для каждого промежуточного объекта-кандидата запишите его кратчайший путь к проблемному узлу. $t_e$ .

$classify\_pullnodes$ в $t$ обучение в следующей итерации, эти положительные примеры $e'$ подключен к потенциальному промежуточному объекту $e$ , а расстояние равно $e_t = t + 1$
$S(r, q)$ Положительное отношение также к промежуточному объекту-кандидату $e$ расстояние $e_t = t + 1$
Таким образом, при извлечении больше внимания уделяется узлам кратчайшего пути к ответу.

Извлекайте все узлы сущностей во время обучения, пока их прогнозируемые оценки превышают заданный порог. $\epsilon$ , а не только k узлов с наивысшей оценкой. В процессе обучения, если операция извлечения не получает промежуточный объект-кандидат, он все равно добавляется в граф сам по себе.

Т и порог $\epsilon$ Все являются гиперпараметрами, и T должен быть больше или равен максимальной длине цепочки деривации.