Обзор графовых нейронных сетей: модели и приложения

В последние годы исследования графовых нейронных сетей стали горячей точкой в области глубокого обучения. Недавно Sun Maosong Group из Университета Цинхуа опубликовала предварительную обзорную статью на arXiv.Graph Neural Networks: A Review of Methods and Applications.

В этой статье обобщаются классические модели и типичные приложения в области графовых нейронных сетей за последние годы, а также предлагаются четыре открытых вопроса.Для читателей, которые хотят быстро разобраться в этой области, вы можете начать с этой статьи.

В дополнение к этому обзору авторы статьи обновили список справочных статей в данной области на Github (GitHub.com/Dizzy Wife/GN NP…) для справки.

введение

Граф — это структура данных, которая моделирует набор объектов (узлов) и их отношений (ребер). В последние годы, благодаря мощной выразительной силе структуры графа, исследованиям анализа графов методами машинного обучения уделяется все больше внимания. Графовые нейронные сети (GNN) — это класс методов, основанных на глубоком обучении, для обработки информации о домене графа. В последнее время GNN стали широко используемым методом анализа графов из-за их лучшей производительности и интерпретируемости.

Первая мотивация для GNN проистекает из сверточных нейронных сетей (CNN).Широкое использование CNN привело к прорыву в области машинного обучения и открыло новую эру глубокого обучения. Однако CNN могут работать только с обычными евклидовыми данными, такими как изображения (двумерные сетки) и текст (одномерные последовательности). Как применить CNN к неевклидову пространству структуры графа, стало предметом рассмотрения модели GNN.

▲ Рисунок 1. Слева: Изображение (евклидово пространство) Справа: Изображение (неевклидово пространство)

Еще одна мотивация для GNN исходит от Graph Embedding, который изучает низкоразмерные представления векторного пространства узлов, ребер или подграфов в графе.Такие методы, как DeepWalk, LINE, SDNE и т. д., достигли больших успехов в области изучения сетевых представлений. Однако эти методы сложны в вычислительном отношении и не оптимальны для крупномасштабных графов, и GNN предназначены для решения этих проблем.

В этой статье представлен обширный обзор графовых нейронных сетей со следующими дополнениями:

В статье подробно представлена классическая модель графовой нейронной сети. В основном включает в себя оригинальную модель, различные варианты и несколько общих фреймворков.
В статье систематически классифицируются приложения графовых нейронных сетей по структурированным сценариям, неструктурированным сценариям и другим сценариям, а также представлены основные приложения в различных сценариях.
В этой статье поднимаются четыре открытых вопроса для будущих исследований. В статье дается подробный анализ каждой проблемы и предлагаются направления будущих исследований.

Модель

В модельной части статья сначала представляет самую классическую графовую модель нейронной сети GNN и конкретно описывает модель и метод расчета GNN.Однако модель GNN все еще имеет определенные ограничения, такие как высокая вычислительная сложность и недостаточная способность представления.Подождите. .

Решению различных задач GNN было посвящено много последующих работ, в разделе 2.2 статьи подробно представлены различные варианты GNN. Конкретно,В статье представлены варианты, которые адаптируются к разным типам графов, используют разные методы передачи информации и используют разные методы обучения.

▲ Рисунок 2. Различные варианты GNN

В разделе 2.2.1 мы представляем варианты GNN, которые обрабатывают различные типы графов, включая ориентированные графы, гетерогенные графы и графы с информацией о ребрах. В разделе 2.2.2,В статье обобщаются и обобщаются варианты, в которых используются разные способы подачи информации. В основном делятся на следующие четыре категории:

свертка.Сверточная сеть графов (GCN) надеется применить операции свертки к данным, структурированным графом, которые в основном делятся на две категории: спектральный метод и пространственный метод (неспектральный метод). Спектральный метод надеется использовать метод спектрального разложения, чтобы применить разложение матрицы Лапласа к графу для сбора информации об узлах. Пространственный метод напрямую использует топологическую структуру графа для сбора информации на основе информации о соседях графа.

механизм внимания.Graph Attention Network предназначена для применения механизма внимания к этапу сбора информации в графах.

дверной механизм.Эти варианты применяют механизм шлюза к фазе обновления узла. Нейронная сеть с закрытым графом применяет механизм GRU для обновления узла. Много работы посвящено применению LSTM к разным типам графов, которые можно разделить на Tree LSTM, Graph LSTM, Sentence LSTM и т. д., в зависимости от конкретного контекста.

Остаточные связи.Отмечая, что наложение многослойных графовых нейронных сетей может вызвать проблемы сглаживания информации, во многих работах применяется остаточный механизм для графовых нейронных сетей.В этой статье представлены два разных метода обработки: Highway GNN и Jump Knowledge Network.

В статье также формулируется резюме различных способов доставки информации. Проще говоря,Функция передачи информации в основном включает две части: сбор информации (агрегация) и обновление информации об узле (обновление)., различные конфигурации для каждого метода перечислены в таблице.

▲ Таблица 1. Сводка вариантов GNN с различными функциями передачи сообщений

В разделе 2.2.3 в статье представлены различные методы обучения GNN. Например, GraphSAGE собирает информацию от ближайших соседей и может применяться в области индуктивного обучения; FastGCN использует метод выборки по важности, который использует выборку вместо использования всей информации о соседях узла, что ускоряет процесс обучения.

В разделе 2.3 в статье представлены MPNN (нейронная сеть передачи сообщений), NLNN (нелокальная нейронная сеть) и GN Deepmind (графовая сеть) — общие основы графовых нейронных сетей, предложенные в последние годы.

MPNN обобщает модель в этап передачи информации и этап обновления узла, обобщая различные методы графовой нейронной сети и графовой сверточной нейронной сети. NLNN обобщает множество методов, основанных на механизме внутреннего внимания. GN предлагает более общую модель, которая может обобщать почти все платформы, упомянутые в документе, и имеет более гибкие возможности представления, легко настраиваемые внутриблочные структуры и легко компонуемые многомодульные архитектуры.

▲ Рисунок 3. Блок GN объединен в приложение сложной сетевой структуры

GNN используется во многих областях.В статье приложения специально разделены на структурированные сценарии, неструктурированные сценарии и три другие категории.

В структурированных сценариях GNN широко используются в социальных сетях, рекомендательных системах, физических системах, прогнозировании химических молекул, графах знаний и других областях. В статье в основном представлены некоторые из его приложений в физике, химии, биологии и графе знаний. В неструктурированной области статья в основном представляет приложения в виде изображений и текста. В других областях статьи представляют модели и сценарии генерации графов, в которых GNN используются для решения задач комбинаторной оптимизации.

▲ Рисунок 4. Пример применения GNN

▲ Таблица 2. Сводка открытых проблем приложения, представленных в статье

Статья завершается четырьмя открытыми вопросами в области графовых нейронных сетей:

1. Неглубокая структура.Эмпирически нейронные сети с большим количеством параметров могут дать лучшие экспериментальные результаты, но наложение нескольких слоев GNN может вызвать проблемы с чрезмерным сглаживанием. В частности, чем больше слоев сложено, тем больше соседей рассматривает узел, что приводит к тому, что окончательное представление всех узлов имеет тенденцию быть согласованным.

2. Динамический график.Большинство современных методов ориентированы на обработку статических графов, и вопрос о том, как работать с графами, в которых информация об узлах и ребрах динамически меняется с временными шагами, все еще остается открытой проблемой.

3. Неструктурированные сценарии.Хотя большая часть работы относится к неструктурированным сценариям (таким как текст), общего подхода к работе с неструктурированными данными не существует.

4. Расширяемость.Хотя были предприняты некоторые попытки решить эту проблему, применение методов графовых нейронных сетей к крупномасштабным данным все еще остается открытой проблемой.

На момент публикации редактор обнаружил, что группа Чжу Вэньу из Университета Цинхуа также опубликовала соответствующий обзор.Deep Learning on Graphs: A Survey.

В отличие от этой статьи,Эта статья посвящена методам глубокого обучения на графах, разделяя их на полууправляемые методы, неуправляемые методы и последние новые методы исследования.Две исследовательские группы опубликовали почти одновременно, что свидетельствует о недавнем энтузиазме в этой области.

Теплое напоминание Xiaobian: эффект лучше, когда их едят вместе.