Резюме:С экспоненциальным увеличением объема данных и ограничением обычных типов данных расширение бизнес-сценария глубокого обучения становится более сложным. Графовая нейронная сеть может делать более точные прогнозы, предоставлять различные персонализированные услуги для каждого пользователя и реализовывать точный маркетинг, что также является технологическим прорывом для второй трансформации интернет-компаний сегодня.
На ежегодных фестивалях онлайн-покупок, таких как акция 618, персонализированное и точное маркетинговое продвижение очень эффективно для платформы электронной коммерции, поэтому как выбрать продукты, которые потребители, скорее всего, купят из массовых продуктов. фокус технологического развития многих платформ электронной коммерции. А за этим стоит ИИ.
Будучи относительно зрелой технологией искусственного интеллекта, глубокое обучение широко использовалось в промышленном производстве и развитии предприятий в качестве экспорта интернет-дивидендов в прошлом.Однако с экспоненциальным увеличением объема данных и ограничением обычных типов данных глубокое обучение расширение сценария стало более сложным.
В результате рынок начал ориентироваться на технологию графовых нейронных сетей (GNN). Графовая нейронная сеть может делать более точные прогнозы, предоставлять различные персонализированные услуги для каждого пользователя и реализовывать точный маркетинг, что также является технологическим прорывом для второй трансформации интернет-компаний сегодня.
В настоящее время облачная графовая нейронная сеть Huawei значительно повышает общую эффективность вычислений благодаря преимуществам эффективного обучения нейронной сети ModelArts, делая приложения графической нейронной сети, включая рекомендации по продуктам, более зрелыми.
Отраслевые применения графовых нейронных сетей
В настоящее время основным направлением глубокого обучения по-прежнему являются CNN, RNN и другие технологии (соответствующие распознаванию изображений, анализу текста и другим областям). Однако традиционные методы глубокого обучения (CNN, RNN) не могут эффективно обрабатывать структурные данные, такие как финансовая сфера, сеть генных белков, социальная сеть, товарные рекомендации и т. д. Если глубокое обучение хочет расшириться до более реляционных сценариев, использование технологии графовой нейронной сети (GNN) для расширенного обучения графическим данным позволит достичь лучших результатов.
Взяв в качестве примера граф знаний, его применение в качестве графовой нейронной сети более знакомо, чем сама технология. В жизни есть много сцен, в которых есть графы знаний, например семантические поисковые системы, интеллектуальное обслуживание клиентов и помощники по жизни. Граф знаний, построенный нейронной сетью графа, может предоставлять субтитры к видео / в реальном времени, обзор контента, интеллектуальное обслуживание клиентов, страховые выплаты, медицинский график, устранение неоднозначности знаний и другие услуги. С помощью графа знаний эксклюзивные отраслевые знания также могут быть преобразованы в сеть графов для анализа отраслевой информации и помощи предприятиям в преобразовании и обновлении.
В будущем работа искусственного интеллекта будет ближе к человеческому мозгу.Появление графовых нейронных сетей позволяет искусственному интеллекту начать понимать мир и распознавать мир, а не только статистическую подгонку. То, как в полной мере использовать прикладную ценность глубокого обучения графов для реализации сценариев приложений многомерных разреженных данных, станет ключом к перестановке гомогенизированных предприятий в следующие десять лет.
ModelArts2.0 знаменует собой посадку нейронной сети Huawei Cloud Map
На прошлогодней конференции HUAWEI CLOUD Full Connect компания HUAWEI CLOUD представила ModelArts 2.0, универсальную платформу для разработки и управления искусственным интеллектом. Объявлено, что HUAWEI CLOUD совершил прорыв в области глубокого обучения графов, и нейронная сеть графов HUAWEI CLOUD официально приземлилась.
Более десяти новых функций и сервисов, выпущенных ModelArts 2.0 на этот раз, включают интеллектуальную проверку данных, интеллектуальную аннотацию данных, интеллектуальный анализ данных, автоматический поиск по нескольким моделям, ModelArts SDK, графовую нейронную сеть, обучение с подкреплением, оценку/диагностику модели, сжатие модели/ преобразование, автоматическое обнаружение сложных случаев, онлайн-обучение и т. д., охватывающие весь жизненный цикл моделей ИИ. Видно, что HUAWEI CLOUD ModelArts играет в большую игру.Внедрение графовой нейронной сети является прорывом для ModelArts в достижении причинно-следственных рассуждений в области глубокого обучения, а также является неотъемлемой частью реализации автоматизированного ИИ. возможности.
Облачная графовая нейронная сеть Huawei — это новая технология графовой нейронной сети, созданная совместно GES Graph Engine и ModelArts.Он использует платформу распределенных графовых вычислений и вычислительную платформу глубокого обучения для параллельного построения новой архитектуры для проведения крупномасштабного графового анализа нейронной сети. возможности.
Архитектор нейронной сети облачного графа Huawei заявил, что принципами проектирования структуры нейронной сети облачного графа Huawei (GNN) являются: четкие обязанности и унифицированная архитектура. Для одного алгоритма разреженные операции обработки, такие как предварительная обработка данных и выборка предметной области, передаются графовому движку; уровень глубокого обучения фокусируется на оптимизации операторов, а структуры различных алгоритмов GNN унифицируются, а унифицированные операторы используются повторно.
Платформа распределенных графовых вычислений для крупномасштабной обработки графовых сетей
При вычислении глубокого изучения графов на уровне предприятия масштаб графов будет достигать десятков миллиардов или даже сотен миллиардов в зависимости от потребностей бизнеса. Графовые сети в независимые распределенные сети Графовая вычислительная платформа.
Большинство современных фреймворков графовых нейронных сетей имеют дело со статическими графами. Это связано с тем, что большинство фреймворков рассматривают алгоритмы графовых нейронных сетей как задачи офлайн-вычислений, а данные для оффлайн-вычислений неизменны (статичны).Для каждого расчета всем необходимо загрузить полный данные снова, поэтому он не подходит для обработки динамических графиков. Однако сами данные графа часто изменяются (динамически), и алгоритм должен непрерывно перемещаться по графу во время выполнения процесса, а затем вызывать данные графа из памяти для глубокого обучения для моделирования, а затем выполнять моделирование в процессе моделирования. Эта проблема не очевидна на маленьком графе, но в сети с миллиардным графом она станет серьезной проблемой производительности, а время прохождения увеличится в геометрической прогрессии и даже вызовет простои.
Предложение Huawei в отношении динамических графиков заключается в использовании графического механизма GES собственной разработки для поддержки графических данных и обеспечения возможности динамического добавления, удаления и изменения данных. В то же время множество различных алгоритмов выполняются на фрагменте данных без необходимости повторной загрузки данных, особенно для крупномасштабных графов, это может значительно сэкономить сквозное время. В настоящее время все еще есть возможности для оптимизации обработки динамических графов. Например, изменения данных на динамических графах можно рассматривать как инкрементные данные. Наилучшей практикой является разработка инкрементных алгоритмов для анализа инкрементных данных, а не выполнения анализа окрестности на полные данные Выборка, случайное блуждание, градиент и другие операции. Исследования алгоритмов нейронных сетей с инкрементным графом все еще относительно продвинуты, и полная теория еще не сформирована.
Графический движок GES в настоящее время имеет более 20 алгоритмов графических сцен и большое количество алгоритмов оптимизации графов.С точки зрения производительности, он может выполнять сотни миллионов графовых запросов за секунды. Что касается графических алгоритмов, графический движок GES интегрирует и реализует более 20 общих алгоритмов, таких как PageRank, в соответствии с потребностями отраслей и предприятий.Сценарии применения охватывают городское промышленное производство, мониторинг трубопроводов, товарные рекомендации, социальные рекомендации, анализ проектов, понимание предприятия, карта знаний, управление финансовыми рисками и контроль, корпоративные ИТ-приложения, интеллектуальный анализ отношений и другие области, а также поддерживает базовые запросы, такие как проверка точек, сторонняя проверка, фильтрация атрибутов и т. д., а также такие функции, как хранилище запросов.
В качестве примера возьмем алгоритм Pixie.Алгоритм Pixie — это алгоритм, разработанный HUAWEI CLOUD для построения многомерных данных в один и тот же граф и настройки соответствующей схемы, атрибутов точек и ребер, а также весов на этом гетерогенном графе. Алгоритм Pixie — это совершенно новый алгоритм рекомендаций в реальном времени, который преодолевает проблему сбора данных и объединения разнородных графов, поддерживает всесторонние рекомендации в узлах с несколькими запросами и может удовлетворить потребности различных сложных, изменяющихся во времени и разнообразных сценарии рекомендаций; большой объем данных. Он может адаптироваться к динамическим изменениям данных без предварительного обучения модели, достигать лучшего эффекта рекомендаций в реальном времени и обладает высокой масштабируемостью.
Новая структура решает проблемы высокочастотного взаимодействия между графовыми алгоритмами и глубоким обучением
Повышение эффективности обработки данных и унифицированной алгоритмической структуры на основе собственного графового движка является серьезной трудностью при разработке текущей платформы графовой нейронной сети.Обход данных графа и взаимодействие с глубоким обучением значительно снизят вычислительную эффективность графики, Одно из узких мест, которое обучение не смогло устранить.
Поэтому, если глубокое обучение графов хочет добиться прорыва в производительности, необходимо перепроектировать новую структуру GNN.Ниже представлена структура нейронной сети Huawei Cloud Graph, авторизованная AI Frontline.
(1) Новая структура GNN на основе графического движка: на основе эффективного оператора обучения нейронной сети в ModelArts в сочетании с возможностями существующей высокопроизводительной платформы графовых вычислений GES с использованием характеристик высокой параллелизма и низкой задержки графа. движок, Процесс обучения GNN сильно распараллелен, например, оценка вероятности перехода на ребро, выборка окрестностей вершин, построение отрицательных выборок и т. д., все из которых сводятся к локальным операциям для каждой вершины; система предоставляет динамический планировщик для выполнения этих локальных операций.Операции могут быть сильно распараллелены, что может значительно повысить общую пропускную способность системы.
(2) Унификация нескольких платформ алгоритмов GNN: использование унифицированной архитектуры для реализации многоклассовых алгоритмов GNN, таких как неконтролируемое крупномасштабное встраивание графа (например, DeepWalk, Node2Vec) и полуконтролируемая свертка графа (например, GCN, GraphSage), снижение затрат на обслуживание Системы.
Рисунок: Схематическая диаграмма встраивания графа и вычисления свертки графа на основе унифицированной архитектуры GNN
(3) Интеграция GNN и управления графическими данными: приложения GNN на уровне предприятия обычно не являются одноразовыми вычислениями, а масштаб данных также велик, поэтому эти данные необходимо поддерживать и управлять ими. Однако существующие GNN обычно не имеют таких соображений, пользователи могут только построить отдельную базу данных для обслуживания, а затем экспортировать данные целиком во время расчета. Он не только потребляет большие ресурсы, но и создает множество проблем, таких как непротиворечивость данных. GES использует модель данных графа свойств (Property Graph) и экологически совместимый де-факто стандартный язык запросов графа Gremlin для управления данными распределенного графа и обслуживания.Когда требуется обучение, различные операторы вызываются локально в графическом движке (на месте). выполнение снижает сквозную потерю производительности.
Персонал отдела исследований и разработок сравнил экспериментальную производительность этого продукта и нескольких версий с открытым исходным кодом при предварительной обработке данных и различных методах выборки на одной и той же платформе (из внутренних данных HUAWEI CLOUD):
Рисунок: (Вверху) Сравнение производительности той же платформы и версии с открытым исходным кодом при предварительной обработке данных и различных методах выборки (Внизу) Результаты теста на масштабируемость системы
Благодаря преимуществам эффективного обучения нейронной сети ModelArts и преимуществам высокопроизводительных графовых вычислений GES, нейронная сеть Huawei Cloud Graph значительно повышает общую эффективность вычислений GNN.Пример алгоритма node2vec в наборе данных PPI, Huawei Cloud Граф Нейронная сеть начинается с выборки. Обучение может быть завершено в течение 2 минут, что в 20 раз быстрее, чем традиционная реализация с открытым исходным кодом.
Компромиссы точности и ресурсов
Что касается точности модели графовой нейронной сети, Huawei Cloud Graph Neural Network регулирует точность модели, устанавливая параметры, и использует ЦП или ГП для обучения алгоритма графовой нейронной сети.
Из-за специфики графических данных в целом для большинства типов данных производительность и эффекты обучения CPU не уступают GPU. В то же время для алгоритмов встраивания графов и свертки графов нейронная сеть облачных графов Huawei использует различные методы оптимизации для уменьшения занятости ресурсов и повышения производительности вычислений.Алгоритмы встраивания графов используют параллельное ускорение и дизайн хранилища для выполнения положительной выборки и отрицательной выборки.Оптимизация; часть свертки графа фокусируется на оптимизации матрицы ускорения из-за высокой сложности математических изменений между слоями. В будущем HUAWEI CLOUD также рассмотрит возможность дальнейшего повышения вычислительной производительности графовой нейронной сети за счет гибридной аппаратной архитектуры на базе собственных чипов искусственного интеллекта.
Управление жизненным циклом моделей нейронных сетей HUAWEI CLOUD опирается на универсальную платформу HUAWEI CLOUD для разработки и управления искусственным интеллектом ModelArts.Обученную модель можно развернуть одним щелчком мыши, а весь жизненный цикл данных-алгоритм-вывод модели можно просмотреть с помощью прослеживаемости. схема предоставлена платформой.
В настоящее время отрасли потребуется некоторое время, чтобы реализовать крупномасштабное применение графовой нейронной сети, но внедрение облачной графовой нейронной сети HUAWEI предоставляет последующим разработчикам теоретический опыт и опыт в социальной, финансовой, генетической, семантике изображений и других областях. многореляционные сценарии Практическая основа, нейронная сеть облачного графа Huawei опубликовала множество статей на глобальных академических конференциях по машинному обучению и интеллектуальному анализу данных и получила награду «Zijin Longpan Award» на Китайском саммите по искусственному интеллекту в 2019 году.
Эпилог
Нейронная сеть Graph — это шаг искусственного интеллекта к достижению реального интеллекта, а также начало искусственного интеллекта для решения реляционных данных, которые трудно обрабатывать для глубокого обучения. Отныне искусственный интеллект может распознавать и изучать сложные взаимосвязи мира. Я верю, что в будущем он будет появляться в нашей жизни в большем количестве способов. Наиболее интуитивный из них - в текущих рекламных акциях онлайн-покупок.
HUAWEI CLOUD 618 Акция, Платформа для разработки ИИ ModelArts также подготовила пакет со скидкой 10% для пользователей Студенты, интересующиеся графовыми нейронными сетями или разработкой ИИ, всем!
Нажмите «Подписаться», чтобы впервые узнать о новых технологиях HUAWEI CLOUD~