[Бумажное обучение] Алгоритм генерации текста-изображения AttnGAN

Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks

Введение

Автоматическое создание изображений из описаний на естественном языке является фундаментальной проблемой во многих приложениях, таких как создание произведений искусства и автоматизированный дизайн.Методы синтеза текста в изображение на основе генеративно-состязательных сетей (GAN)самая популярная стратегия.

В методах на основе GAN общей стратегией является кодирование всего текстового описания в глобальный вектор предложений в качестве условия для создания изображений на основе сети, однако эта стратегия ограничена глобальными векторами предложений и не имеет важных деталей на уровне слов. информации, что препятствует получению высококачественных изображений. Для преодоления этой проблемы в статье предлагаетсяУправляемая вниманием, многоступенчатая мелкозернистая состязательная сеть, генерирующая внимание к тексту и изображению (AttnGAN)Модель, состоящая из двух новых компонентов:

Первый компонент — это сеть, генерирующая внимание, где механизм внимания используется в генераторе для рисования различных подобластей изображения, фокусируясь на словах, наиболее релевантных рисуемым подобластям. (Как показано на рисунке 1)
Другим компонентом является мультимодальная модель сходства с глубоким вниманием (DAMSM).DAMSM может использовать глобальную информацию на уровне предложений и детализированную информацию на уровне слов для расчета сходства между сгенерированными изображениями и предложениями, поэтому DAMSM является обучающим. -зернистая потеря совпадения изображения и текста.

Генерирующая внимание состязательная сеть AttnGAN

Архитектура AttnGAN показана на рисунке 2 и состоит из двух компонентов: 1. Сеть генерации внимания 2. Модель мультимодального сходства глубокого внимания.

Сеть привлечения внимания

В этом разделе мы предлагаем новую модель внимания, генерирующая сеть которой способна рисовать различные подобласти изображения в соответствии со словами, наиболее соответствующими подобласти.

Как показано на рисунке 2, сеть производства внимания $m$ генераторы $(G_0,G_1,...,G_{m-1})$ , который использует неявное состояние $h_0,h_1,..,h_{m-1}$ В качестве входных данных создайте мелкомасштабные изображения $(\hat{x}_0,\hat{x}_1,...,\hat{x}_{m-1})$ . детали следующим образом:

$z$ — вектор шума, обычно выбираемый из нормального распределения. $\bar{e}$ глобальный вектор предложения, $e$ является векторной матрицей слов. $F^{ca}$ Указывает на усиление кондиционирования, которое используется для преобразования $\bar{e}$ Преобразуйте в кондиционирующий вектор. $F^{attn}_i$ Представляет первый в AttnGAN $i$ модель сценического внимания, $F^{ca},F^{attn}_i,F_i,G_i$ моделируются как нейронные сети.

$F^{attn}(e,h)$ Есть два входа, векторы слов $e\in \mathbb{R}^{D\times T}$ и элементы изображения из предыдущего скрытого слоя $h\in \mathbb{R}^{\hat{D}\times N}$ . Во-первых, путем добавления нового персептронного слоя признаки слова трансформируются в общее семантическое пространство признаков изображения, а именно: $e'=Ue, U\in \mathbb{R}^{\hat{D} \times D}$ . Затем по скрытым признакам образа $h$ (запрос), вычислить вектор контекста слова (вектор контекста слова) для каждой подобласти изображения, а именно $h$ Каждый столбец представляет собой вектор признаков для подобласти изображения. во-первых $j$ субрегионы, чей вектор контекста слова является вектором слова о $h_j$ Динамическое представление , которое вычисляется как:

c_j=\sum^{T-1}_{i=0}\beta_{j,i}e'_{i},\pmb{where}\ \ \beta_{j,i}=\frac{exp(s'_{j,i})}{\sum^{T-1}_{k=0}exp(s'_{j,k})}

в, $s'_{j,i}=h^T_je'_i$ ,и $\beta_{j,i}$ Указывает, что модель генерирует $j$ субрегионы $i$ вес слов. Затем для набора функций изображения $h$ Определите матрицу контекста слова следующим образом: $F^{attn}(e,h)=(c_0,c_1,....,c_{N-1})\in \mathbb{R}^{\hat{D}\times N}$ . Наконец, функции изображения объединяются с соответствующими функциями контекста слова для создания изображений для следующего этапа.

Для генерации реальных изображений с многоуровневыми (на уровне предложений и на уровне слов) условиями конечная целевая функция сети генерации внимания определяется как:

L=L_G+\lambda L_{DAMSM},\pmb{where} \ L_G=\sum^{m-1}_{i=0}L_{G_i}

$\lambda$ два члена в формуле (т.е. $L$ ) параметры баланса.

Первый член - это потери GAN, которые объединяют совместно аппроксимированные условное и безусловное распределения. В первом из AttnGAN $i$ сцена, генератор $G_i$ имеет соответствующий дискриминатор $D_i$ ,но $G_i$ Проигрыш противника определяется как:

Безусловная потеря определяет подлинность изображения, а условная потеря определяет, соответствует ли изображение предложению.

за $G_i$ обучение для каждого дискриминатора $D_i$ Потеря обучается классифицировать ввод как истинный и ложный путем минимизации кросс-энтропийной потери, тогда потеря определяется как:

$x_i$ Изображение из $i$ истинное распределение в масштабе $P_{data_i}$ , $\hat{x}_i$ из модельного распределения в том же масштабе $P_{G_i}$ , дискриминаторы AttnGAN структурно не пересекаются, поэтому их можно обучать параллельно, и каждый дискриминатор фокусируется на одном масштабе изображения.

второй раздел $L_{DAMSM}$ - это потеря точного совпадения изображения и текста на уровне слова, определяемая выражениемDAMSMОн рассчитывается и будет подробно объяснен в следующем разделе.

Мультимодальная модель сходства глубокого внимания DAMSM

DAMSM изучает две нейронные сети,Сопоставление подобластей изображений и слов предложений в единое семантическое пространство, который измеряет сходство изображения и текста на уровне слов и вычисляет мелкие потери при создании изображений.

Кодировщик текста: это двунаправленная сеть долговременной кратковременной памяти (LSTM) для извлечения семантических векторов из текстовых описаний. В двунаправленном LSTM каждое слово соответствует двум скрытым состояниям, а каждое направление соответствует одному скрытому состоянию, поэтому два его скрытых состояния связаны для представления семантического значения слова. Матрица признаков всех слов выражается как $e\in \mathbb{R}^{d\times T}$ , $e_i$ Первый $i$ указан как № $i$ вектор признаков для каждого слова. $D$ - размерность вектора слов, $T$ это количество слов. В то же время последнее скрытое состояние двунаправленного LSTM объединяется в глобальный вектор предложения с использованием $\bar{e}\in \mathbb{R}^D$ Выражать.

Кодировщик изображений: это сверточная нейронная сеть (CNN) для преобразования изображений в семантические векторы. Средний уровень CNN изучает локальные особенности различных субрегионов на изображении, а последний слой изучает глобальные особенности изображения. В частности, изображение encoder Он построен на модели Inception-v3, предварительно обученной с помощью ImageNet. Сначала входное изображение масштабируется до 299×299 пикселей, а затем извлекается из Inception-v3.mixed_6eСлой для извлечения матрицы локальных признаков $f \in \mathbb{R}^{768\times 289}$ (от $768\times 17 \times 17$ увеличить), $f$ Каждый столбец представляет собой вектор признаков подобласти на изображении, 768 — размер локального вектора признаков, а 289 — количество подобластей в изображении. В то же время глобальные векторы признаков извлекаются из последнего уровня объединения платформ Inception-v3. $\bar{f}\in \mathbb{R}^{2048}$ . Наконец, признаки изображения преобразуются в общее семантическое пространство текстовых признаков путем добавления слоя персептрона:

v=Wf,\bar{v}=\bar{W}\bar{f}

в: $v \in \mathbb{R}^{D\times 289}$ , это первый $i$ Список $v_i$ представляет образ $i$ вектор мировых признаков для каждого субрегиона. $\bar{v} \in \mathbb{R}^{D}$ глобальный вектор всего изображения, $D$ Представляет размерность многомодального (модальность текста и изображения) пространства признаков.

Оценка совпадения изображения и текста, ориентированная на внимание: этот показатель предназначен для измерения соответствия пар изображение-предложение на основе модели внимания между изображениями и текстом. Сначала вычислите матрицу сходства для всех возможных сочетаний слов в предложении и подобластях изображения:

s=e^Tv

$s \in \mathbb{R}^{T\times 289}$ , $s_{i,j}$ первое в предложении $i$ слова и образы $j$ Сходство скалярного произведения между субрегионами. Авторы обнаружили, что нормализация матрицы подобия работает лучше:

\bar{s}_{i,j}=\frac{exp(s_{i,j})}{\sum^{T-1}_{k=0}exp(s_{k,j})}

Затем создайте модель внимания для расчета вектора контекста региона для каждого слова (запроса), вектора контекста региона (вектора региона-контекста) $c_i$ является подобластью изображения и первой в предложении $i$ Динамическое представление словесных ассоциаций в виде взвешенной суммы всех региональных визуальных векторов:

c_i=\sum^{288}_{j=0}\alpha_i v_i, \alpha=\frac{exp(\gamma_1\bar{s}_{i,j})}{\sum^{288}_{k=0}exp(\gamma_1\bar{s}_{i,k})}

$\gamma_1$ при вычислении вектора регионального контекста слова,Решите, сколько внимания следует уделять особенностям соответствующих субрегионов.фактор .

Наконец, используйте $c_i,e_i$ Косинусное расстояние между ними определяет первый $i$ Соотношение раба и образа, а именно: $R(c_1,e_i)=(c^T_ie_i)/(||c_i||\ ||e_i||)$ . Вдохновленный формулой минимальной ошибки классификации при распознавании речи, все изображение (с $Q$ представление) и полное текстовое описание (с $D$ Ориентированная на внимание оценка совпадения изображения и текста между представлениями определяется как:

R(Q,D)=\log(\sum^{T-1}_{i=1}exp(\gamma_2 R(c_i,e_i)))^{1/\gamma_2}

в, $\gamma_2$ является фактором, который определяет, как усилить важность наиболее релевантных пар слово-регион-контекст. когда $\gamma_2 \rightarrow \infty$ час, $R(Q,D)$ примерно равно $\max^{T-1}_{i=1}\ R(c_1,e_i)$ .

потеря DAMSM: эта потеря предназначена для изучения моделей внимания в полуконтролируемой манере, где единственным контролем является соответствие между всем изображением и всем предложением (последовательностью слов). Для пакета пар изображение-предложение $\{(Q_i,D_i)\}^M_{i=1}$ , и приговор $D_i$ и соответствующие изображения $Q_i$ Апостериорная вероятность рассчитывается как:

P(D_i|Q_i)=\frac{exp(\gamma_3\ R(Q_i,D_i))}{\sum^M_{j=1}\ exp(\gamma_3\ R(Q_i,D_j))}

здесь $\gamma_3$ – экспериментально определяемый коэффициент сглаживания. Только для этого набора предложений $D_i$ с изображением $Q_i$ совпадение, остальное $M-1$ предложения как несоответствующие описания. Функция потерь определяется как отрицательная логарифмическая апостериорная вероятность изображения, совпадающего с соответствующим текстовым описанием (основная истина) ( $w$ означает слово):

L^w_1=-\sum^M_{i=1}\log P(D_i|Q_i)

Симметрично, минимизировать:

L^w_2=-\sum^M_{i=1}\log P(Q_i|D_i)

в:

P(Q_i|D_i)=\frac{exp(\gamma_3\ R(Q_i,D_i))}{\sum^M_{j=1}\ exp(\gamma_3\ R(Q_j,D_i))}

для приговора $D_i$ с изображением $Q_i$ Апостериорная вероятность совпадения. Аналогичный способ получения $L^s_1,L^s_2$ (вот $s$ для приговора).

Окончательная потеря DAMSM определяется как:

L_{DAMSM}=L^w_1+L^w_2+L^s_1+L^s_2