«Это 13-й день моего участия в ноябрьском испытании обновлений. Подробную информацию об этом событии см.:Вызов последнего обновления 2021 г."

Мастер ведет дверь

【ECAI 2020.09.04】Встраивание графов знаний: от теории к практикевоооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооо

1. Теория КГЭ

1.1 Введение

• Введение, связанное с KG
• Введение в CWA и OWA: предположения о закрытом и открытом мире
• Основные задачи KG на ML: предсказание соединения/тройная классификация (акцент), совместная классификация узлов/кластеризация ссылок, сопоставление сущностей
• Сосредоточьтесь на [предсказание соединения (задача поиска информации — задача сортировки), тройная классификация (задача классификации — задача бинарной классификации)]
• Реляционный метод обучения в традиционном режиме: на основе ограничений правил, на основе графовых моделей (CRF, PRM, RMN, RDN) Недостатком является то, что размер метода KG не дифференцируем, а мощность модели ограничена.
• Опираясь на идею обучения представлению, методы обучения отношениям, основанные на обучении представлению графа: представление узлов (PRA, LINE, DeepWalk, node2vec), нейронные сети графов (GNN, GCN, сети внимания графов), встраивания графов знаний (TransE, DistMult, ComplEX, ConvE)
• Краткий обзор опыта KGE

1.2 KGE model

• Общая структура (оптимизатор, уровень ранжирования, функция оценки, функция потерь, отрицательная выборка)
• Функция подсчета очков
  • Функции оценки на основе перевода Модель перевода {TransE, RotatE}
  • Функции оценки на основе факторизации {RESCAL, DistMult, ComplEx (комплексное пространство)} модель факторизации
  • Deeper Scoring Functions (ConvE, ConvKB) глубокие модели
  • Другие последние модели (HolE, SimpleE, QuatE, MurP, ...)
• функция потерь
  • Функция потери пары интервал-шарнир Hing Loss (из мягкого интервала SVM)
  • Отрицательная выборка — функция правдоподобия/перекрестная энтропия
  • Двоичная перекрестная энтропия
  • Функция состязательных потерь
  • ...
• метод регуляризации
  • Л1, Л2, Л3
  • Dropout(ConvE)
• метод инициализации
  • Случайное (равномерное, нормальное) инициализируется различными функциями распределения.
  • Glorot
• отрицательная выборка
  • Локальное предположение ClosedWorld
  • Он предполагает, что отношение уникально, выбирая разные s и o как неправильные (вырожденные) объекты.
  • Метод: Равномерная выборка (случайная), Completeset (полный набор), 1-n подсчет (партия)
• Шаги обучения и оптимизатор
  • Оптимизатор: SGD (Адам, ...)
  • Взаимные тройки
• выбор модели
  • поиск по сетке
  • случайный поиск
  • Квази-поиск + байесовский

1.3 Оценка и оценка

• Evaluation Metrics
  • Чем меньше средний ранг (MR), тем лучше
  • Чем больше средний обратный ранг (MRR), тем лучше
  • Hits@N чем больше, тем лучше
• Benchmark Datasets
  • FB15K - 237
  • WNI18RR
  • YAGO3-10
• SOTA Results
  • ...

1.4 Продвинутые темы KGE

• Калибровка
  • В основном используется в сценариях, требующих высокой интерпретируемости модели, таких как открытие лекарств, прогнозирование белков и контроль финансовых рисков.
• Мультимодальные графики знаний
• Графики временных знаний
• Неопределенные графики знаний
• Надежность (безопасная ориентация, защита от возмущений)
• КГЭ и нейросимволическое мышление КГЭ и нейросимволическое мышление
  • Нейронные средства доказательства теорем (NTP) Нейронные средства доказательства теорем
  • Аналогия
• Ответ на сложные запросы Ответ на сложную проблему (Query2Vec использует вложения блочного типа)

1.5 Направление будущих исследований

• БОЛЕЕ ВЫРАЗИТЕЛЬНЫЕ МОДЕЛИ Более выразительные модели
• ПОДДЕРЖКА МУЛЬТИМОДАЛЬНОСТИ ПОДДЕРЖКА МУЛЬТИМОДАЛЬНОСТИ
• НАДЕЖНОСТЬ И ИНТЕРПРЕТИРУЕМОСТЬ Надежность и интерпретируемость
• ЛУЧШИЕ СТАНДАРТЫ Лучший эталон
• Помимо прогноз связи за пределы статуса существующих прогнозов ссылок
• НЕЙРОСИМВОЛИЧЕСКАЯ ИНТЕГРАЦИЯ

2. Приложение КГЭ

• Pharmaceutical Industry
• Human Resources
• Products
• Food & Beverage

3. Введение библиотеки зависимостей программного обеспечения KGE

• OpenKE
• AmpliGraph
• DGL-KE

4. Практика КГЭ

Используемое ПО: AmpliGraph среда python: python3.7 >= 3.7 Среда глубокого обучения: тензорный поток >= 1.15.2

5. Боевой код TransE

TransE — это новаторская работа KGE (2013), в которой используется идея «семантического перевода без деформации» из статьи word2vec, и перенос инвариантности перевода на тройку через ||h+ rt||==0 для определения отношений и векторного представления графа знаний. Многие последующие модели KGE были усовершенствованы на базе TrasnE.

Недостатком TransE является то, что он не может решать отношения «один ко многим» и «многие ко многим».

Как понять «один к одному», «один ко многим» и «многие ко многим»? На станции b есть подъем, который очень хорошо это объясняет.Ссылка на сайт

• Если просто рассматривать только h+r==t, то векторы наложниц Сыма И будут очень похожи, и возникнет ситуация, когда госпожа Чжан равна госпоже Фу.
• Рефлексивная связь (Цао Цао - Оценка - Цао Цао), тогда оценка равна 0. Когда (Цао Цао ценит Сыма И), это эквивалентно Цао Цао равно Сыма И. Конечно, в реальной итерации этого не будет. , потому что это похоже на реальную среду (Цао Цао оценивает Сыма И). Большинство примеров, поэтому (Цао Цао - Оценка - Цао Цао) будут рассматриваться как шум, чтобы повлиять на эффект модели.

Способ 1 легкийКГ

Введение в lightKG

• lightKG – это фреймворк для глубокого обучения на основе графов знаний, основанный на Pytorch и torchtext. Он охватывает некоторые простые алгоритмы в области графов знаний. Он легкий и простой и подходит для начинающих в области графов знаний.гитхаб-адрес
• При использовании сначала импортируйте модель алгоритма из lightKG, создайте соответствующий объект модели, затем вызовите метод обучения объекта модели для обучения модели и сохраните обученную модель; при тестировании сначала загрузите обученную модель, а затем протестируйте, с x Возьмем модель Y в каталоге в качестве примера:

from lightkg.x import Y  # 导入算法模型
Ymodel = Y()  # 创建模型对象
Ymodel.train(...)  # 训练模型和保存
Ymodel.load(...)  # 加载训练好的模型
Ymodel.test(...)  # 测试模型

• Обзор метода:

TransE рассматривает отношение как передачу между сущностями, то есть: если выполняется тройка (головная сущность, связь, хвостовая сущность), то вектор головной сущностиhс вектором отношенияrСуммарный и хвостовой вектор объектаtблизко, иначе далеко.

детали миссии

• Знания в графах знаний обычно выражаются в виде троек (головной объект, отношение, хвостовой объект).
• Прогнозирование связи направлено на то, чтобы, учитывая любые два элемента в триплете, предсказать третий элемент, а именно (?, отношение, хвостовой объект), (головной объект, отношение,?) и (головной объект,?, хвостовой объект), in? Представляет прогнозируемые элементы, называемые прогнозированием головного объекта, прогнозированием хвостового объекта и прогнозированием отношения соответственно.

• набор данных:Набор данных прогнозирования ссылок из github, доступный по адресуздесьскачать. В каждой строке есть три поля, разделенные символом ",", которые представляют головной объект, связь и хвостовой объект соответственно. Пример данных выглядит следующим образом:

科学,包涵,自然、社会、思维等领域
科学,外文名,science
科学,拼音,kē xué
科学,中文名,科学
科学,解释,发现、积累的真理的运用与实践

требуемые зависимости

测试环境 Python 3.6.8 Pytorch 1.4.0
# 所需依赖---
torchtext>=0.4.0
tqdm>=4.28.1
torch>=1.0.0
pytorch_crf>=0.7.0
scikit_learn>=0.20.2
networkx>=2.2
revtok
jieba
regex
---------------
# 运行前需要按如下方式安装lightKG库 
!pip install -i https://pypi.douban.com/simple/ lightKG。

ТрансЕ обучение

Основываясь на приведенных выше предположениях о переходе, функция оценки тройки дизайна TransE выглядит следующим образом:
$f(h,r,t)=-{||\mathbf h +\mathbf r-\mathbf t ||}_{L_1/L_2}$

готовые к использованию$L_1$или$L_2$Норма измеряет расстояние (в этом руководстве используется$L_1$норма). Функция оценки используется для измерения вероятности того, что тройка верна, чем выше оценка, тем больше вероятность того, что тройка действительна. Следовательно, положительные тройки имеют высокие баллы, а отрицательные тройки — низкие. Из-за относительно небольшого количества отношений отрицательные примеры получаются только заменой головных или хвостовых сущностей.

Смоделируйте положительные тройки и соответствующие им отрицательные тройки в графе знаний на основе вышеуказанных принципов, подобно машинам опорных векторов, минимизируйте потери, основанные на марже, и сделайте оценку положительного примера как минимум на одну маржу выше, чем оценку отрицательный пример$\gamma$,который:

$L=\sum_{\left(h,r,t \right) \in \bigtriangleup}\ {\sum_{\left(h',r,t' \right) \in \bigtriangleup'}{\max \left(0, f\left(h, r, t \right) + \gamma-f\left(h', r, t' \right) \right)}}$

в,$\bigtriangleup$множество положительных троек в графе знаний,$\bigtriangleup'$на основе$\bigtriangleup$, множество отрицательных троек, полученных заменой в нем головных или хвостовых сущностей положительных троек. Минимизация этой потери дает векторное представление сущностей и отношений.

# 查看数据集
import pandas as pd
train = pd.read_csv('datasets/train.sample.csv',header=None)
train.head(20)

import os
from lightkg.krl import KRL
from lightkg.krl.config import DEFAULT_CONFIG
# 修改epoch，默认1000
DEFAULT_CONFIG['epoch']=10
# 数据路径
dataset_path = 'datasets/train.sample.csv'
model_type = 'TransE'
# 初始化实例
krl = KRL()
if not os.path.exists('./temp/models'):
    os.makedirs('./temp/models')
# 训练
krl.train(dataset_path,
          model_type=model_type,
          dev_path=dataset_path,
          save_path='./temp/models/LP_{}'.format(model_type))

предсказывать

# 读取 模型
krl.load(save_path='./temp/models/LP_{}'.format(model_type), model_type=model_type)
krl.test(dataset_path)

После прочтения модели вызовите соответствующие функции predict_head, predict_tail, predict_rel, чтобы предсказать сущности или отношения начала и окончания.

# 打印函数
def topk_print(l,name):
    print("{}预测：".format(name))
    for i in l:
        print(i)
    print()
        
# 头实体预测
head_pred = krl.predict_head(rel='外文名', tail='science', topk=3)
# 尾实体预测
tail_pred = krl.predict_tail(head='科学', rel='外文名', topk=3)
# 关系预测
relation_pred = krl.predict_rel(head='科学', tail='science', topk=3)

print("三元组：科学 - 外文名 - science \n")
topk_print(head_pred,"头实体")
topk_print(tail_pred,"尾实体")
topk_print(relation_pred,"关系")

Метод 2 Амплиграф

ECAI 2020 дает хорошее видеообъяснение и руководство по ноутбуку Jupyter.

Примечание: для амплиграфа требуется tensorflow 1.14.0 и выше.

ECAI_2020_KGE_Tutorial_Hands_on_Session.ipynb

Метод 3 dgl-ke (тренировка командной строки)

dgl-ke – это инструмент KGE, созданный Amazon. Он основан на фреймворке dgl. dgl теперь совместим с фреймворками глубокого обучения pytorch, mxnet и tensorflow, но в настоящее время dgl-ke совместим только с pytorch и может использоваться только на Системы Ubuntu или maxOS через командную строку Execute, вы можете повторно пройти обучение colab, в любом случае, просто выполните Embedding.

# 使用colab加载dgl-ke训练KGE
# 使用命令行创建data文件夹,手动或者request获取文件
# 参考https://github.com/MaastrichtU-IDS/KGRulEm/blob/7a696485f9506ba6af886b6cc86658a5fa6c696b/embeddings/Train_embeddings.ipynb
!mkdir my_task

# 处理自定义文件
import os
import numpy as np
import pandas as pd

triples_path = "./data/freebase-237-merged-and-remapped.csv"
df = pd.read_csv(triples_path, names=['sub', 'pred', 'obj'])
triples = df.values.tolist()
print(len(triples))
# Please make sure the output directory exist.
seed = np.arange(num_triples)
np.random.seed(666)
np.random.shuffle(seed)
train_cnt = int(num_triples * 0.9)
valid_cnt = int(num_triples * 0.05)
train_set = seed[:train_cnt]
train_set = train_set.tolist()
valid_set = seed[train_cnt:train_cnt+valid_cnt].tolist()
test_set = seed[train_cnt+valid_cnt:].tolist()

with open("./data/FB15K237_train.tsv", 'w+') as f:
    for idx in train_set:
        f.writelines("{}\t{}\t{}\n".format(triples[idx][0], triples[idx][1], triples[idx][2]))
        
with open("./data/FB15K237_valid.tsv", 'w+') as f:
    for idx in valid_set:
        f.writelines("{}\t{}\t{}\n".format(triples[idx][0], triples[idx][1], triples[idx][2]))

with open("./data/FB15K237_test.tsv", 'w+') as f:
    for idx in test_set:
        f.writelines("{}\t{}\t{}\n".format(triples[idx][0], triples[idx][1], triples[idx][2]))

# 使用命令行
!DGLBACKEND=pytorch dglke_train --dataset FB15K237 --data_path ./data --data_files FB15K237_train.tsv FB15K237_valid.tsv FB15K237_test.tsv --format 'raw_udd_hrt' --model_name TransE_l2 --dataset FB15K237 --batch_size 1000 \
--neg_sample_size 200 --hidden_dim 400 --gamma 19.9 --lr 0.25 --max_step 500 --log_interval 100 \
--batch_size_eval 16 -adv --regularization_coef 1.00E-09 --test --num_thread 1 --num_proc 8

Другие ссылки на реализацию кода

[1] Подробное объяснение бумаги TransE и воспроизведение кода
[2] Завершение графа знаний transE, набор данных FB15K-237 (реализация Python)
[3] Анализ базовой идеи кода технологии встраивания графа знаний
[4] [Примечания KG] 10. Встраивание сети знаний (встраивание KG)

НЛП новое, талант и обучение поверхностны, есть ошибки или несовершенства, прошу критиковать и исправлять! !