латентное пространственное мышление семем

скрытое пространство в НЛП

В области nlp есть некоторые проблемы с прямой операцией скрытого кода с моделью GAN.Рисунок является примером.При путешествии в скрытом пространстве среднее предложение не имеет смысла.

Самое простое решение — использовать VAE вместо GAN. Сам метод обучения GAN очень зависит от непрерывного пространства. Во время обучения нашей целью является значение пикселя в непрерывном пространстве. На данный момент у VAE нет такого предположения. Так что VAE — это естественный выбор.

основная проблема

Существующие методы интерпретации скрытого пространства изображения

• контролировать

Простой классификатор, векторная машина SVM и т. д.
статья:
Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis Interpreting the Latent Space of GANs for Semantic Face Editing
GANalyze Toward Visual Definitions of Cognitive Image Properties

• самоконтроль

Отредактируйте одно и то же изображение до и после, чтобы получить два изображения как$y$и$y'$Тогда тренируйтесь.
Атрибуты должны легко наблюдаться и измеряться (размер, местоположение...).
статья:
On the steerability of generative adversarial networks
Controlling generative models with continuous factors of variations

• неконтролируемый

Разложение матрицы: несколько направлений получаются посредством собственного разложения.
Совместное обучение: В качестве параметра обучения используется матрица, составленная из направлений.
Часто бывает необходимо попробовать атрибуты, соответствующие направлению, один за другим.
статья:
Closed-Form Factorization of Latent Semantics in GANs
Unsupervised Discovery of Interpretable Directions in the GAN Latent Space

считать

Идея 1: Найдите направление с помощью неконтролируемой декомпозиции признаков, избегая проблемы определения атрибутов.

• неконтролируемыйПо сравнению с супервизией/самоконтролем, наш метод может ориентироваться на все более сложные свойства, которые не определены нами заранее.
• По сравнению с текстом атрибуты изображений более четкие, их легче наблюдать и измерять, поэтому построение меток также проще, а атрибуты текста более абстрактны и их трудно измерить количественно.
• Вдохновлен закрытой факторизацией скрытой семантики в GAN.

В нашей построенной сети, если мы сможем получить отображение первого слоя для скрытого кода$F$сетевые параметры$A$, затем используйте его для декомпозиции признаков, чтобы получить несколько направлений, а затем опробуйте их соответствующие атрибуты.

Идея 2: взять направление как матрицу параметров и решить ее с помощью неконтролируемого совместного обучения.

• Он также пытается найти более неожиданные направления, избегая предварительного определения атрибутов посредством неконтролируемого избегания.
• Вдохновленный неконтролируемым открытием интерпретируемых направлений в скрытом пространстве GAN.

федеративное обучение$A$и$B$,фиксированный$Decoder$.

• матрица$А ∈ R^{d×k}$,в$d$равно размерности скрытого пространства,$k$равно количеству направлений, которые мы хотим попытаться обнаружить (в зависимости от модели сети и набора данных).$k$представляет собой однократный вектор$e^k$Первый$k$Размер 1, умножьте матрицу$A$, это эквивалентно выбору$A$k-е направление в .$ε$Мера того, насколько мы меняемся в этом направлении.

• рефакторинг$R$, входом которого является пара слов$W_1$,$W_2$,Сейчас$D(z)$и$D(z + A(εe_k))$.$B$вывести скалярную пару$(k', ε')$, то есть найти ранее выбранное направление$k$, и величина изменения.

оптимизировать цель:

Почему этот подход работает?

• минимизировать$Δk$, то есть попытка определить конкретное направление в A, процесс, который делает изменения различных свойств в слове легко отличимыми друг от друга. Это можно рассматривать как процесс развязки.
• минимизировать$Δε$, заключается в том, чтобы заставить движение в этом направлении быть непрерывным, а не скачкообразным.

Идея 3: Начните с интуитивных свойств слов и проведите обучение под наблюдением.

• Из семантических атрибутов слов выберите те, которые являются более интуитивными и простыми для измерения, и составьте ярлыки, которые можно использовать для надзора или самоконтроля.

Начните со слов:
структурапара слов (x1,x2), например, для глаголов и существительных, построить (рис, есть), (блюдо, есть), (книга, читать), (рисовать, см. картину)...
$z_1$и$z_2$соответствовать$x_1$и$x_2$характеристика,$D$является декодером.
использовать:

$HowNet(D(z1),D(z2))$Он используется для измерения семантического сходства двух слов, а цель оптимизации — свести к минимуму их различия.

Начните с квантификаторов:
за$Number= F(z)$, попытаться найти$n$,сделать$Number' = F(z + αn)$вместе с$α$имеют такие же изменения.