Метод состязательной атаки НЛП на основе градиента

Это 17-й день моего участия в ноябрьском испытании обновлений.Подробности о событии:Вызов последнего обновления 2021 г.

Facebook предложил общий метод атаки для НЛП, который можно оптимизировать с помощью градиента.Бумага была опубликована в EMNLP2021 под названиемGradient-based Adversarial Attacks against Text Transformers, исходный код находится вfacebookresearch/text-adversarial-attack

Background

Сначала определим модель $h:\mathcal{X}\to \mathcal{Y}$ ,в $\mathcal{X}$ и $\mathcal{Y}$ являются входным и выходным множествами соответственно. проба $\mathbf{x}\in \mathcal{X}$ правильно предсказывается моделью как метка $y$ , то есть $y=h(\mathbf{x})\in \mathcal{Y}$ . если один с $\mathbf{x}$ Состязательные примеры, которые бесконечно близки $\mathbf{x}^{\prime}$ сделать $h(\mathbf{x}^{\prime})\neq y$ ,но $\mathbf{x}^{\prime}$ является хорошим состязательным примером. Мы можем определить функцию $\rho: \mathcal{X}\times \mathcal{X} \to \mathbb{R}_{\ge 0}$ измерять $\mathbf{x}$ и $\mathbf{x}^{\prime}$ близость. Порог $\epsilon > 0$ ,если $\rho (\mathbf{x},\mathbf{x}^{\prime})\leq \epsilon$ , рассматривается состязательный пример $\mathbf{x}^{\prime}$ с образцом $\mathbf{x}$ очень близко

Процесс поиска состязательных примеров рассматривается как задача оптимизации, например, для задач классификации модель $h$ вывести вектор логитов $\phi_h(\mathbf{x})\in \mathbb{R}^K$ , так что $y = \arg \max_k \phi_h(\mathbf{x})_k$ , чтобы сделать прогноз модели неверным, мы можем выбрать маржинальную потерю в качестве состязательной потери:

\begin{aligned} \ell_{\text{margin}}(&\mathbf{x}, y ; h)=\\ &\max \left(\phi_{h}(\mathbf{x})_{y}-\max _{k \neq y} \phi_{h}(\mathbf{x})_{k}+\kappa, 0\right) \end{aligned}\tag{1}

Когда потери равны 0, модель будет $\kappa$ Ошибки прогнозирования под контролем. бумага о маржинальных убытках в 2017 годуTowards evaluating the robustness of neural networks, который доказал свою эффективность в алгоритмах состязания изображений.

В этой части заметки я хочу подробно объяснить, почему потеря маржи может привести к неправильной классификации модели. Конечной целью обучения модели является оптимизация маржинальных убытков таким образом, чтобы их значение убытка было уменьшено до 0, т. е.
$\phi_{h}(\mathbf{x})_{y}-\max _{k \neq y} \phi_{h}(\mathbf{x})_{k}+\kappa \leq 0$
Пока вышеуказанные условия выполняются, значение потерь равно 0. Путем деформации можно получить
$\max _{k \neq y} \phi_{h}(\mathbf{x})_{k}-\phi_{h}(\mathbf{x})_{y} \ge \kappa$
в, $\phi_h(\mathbf{x})_y$ относится к вводу $\mathbf{x}$ правильно предсказывается моделью как класс $y$ логит-значение . может пожелать установить
$\phi_h(\mathbf{x})_i = \max _{k \neq y} \phi_{h}(\mathbf{x})_{k}$
и $i\neq y$ , который показывает, что среди всех категорий ошибок $i$ Логит класса является наибольшим, и, комбинируя приведенные выше неравенства, можно получить
$\phi_h (\mathbf{x})_i - \phi_h(\mathbf{x})_y \ge \kappa$
Подводя итог, наша цель оптимизации всегда состоит в том, чтобы уменьшить значение убытка до 0, но убыток до 0 не обязательно означает, что модель должна правильно предсказывать все выборки.Цель оптимизации маржинальных убытков состоит в том, чтобы модель предсказывала неправильную категорию . $i$ Логит-коэффициент предсказывает правильный класс $y$ логит большой $\kappa$ . Пока есть выборка, которая правильно предсказана, потеря не может быть равна 0

Учитывая потери противника $\ell$ , процесс построения состязательных примеров можно рассматривать как задачу оптимизации с ограничениями:

\min _{\mathbf{x}^{\prime} \in \mathcal{X}} \ell\left(\mathbf{x}^{\prime}, y ; h\right) \quad \text { subject to } \rho\left(\mathbf{x}, \mathbf{x}^{\prime}\right) \leq \epsilon\tag{2}

мы можем поставить ограничения $\rho$ Внесите его в функцию потерь, чтобы изменить исходные жесткие ограничения на мягкие ограничения.

\min_{\mathbf{x}^{\prime}\in \mathcal{X}}\ell(\mathbf{x}^{\prime},y;h) + \lambda \cdot \rho(\mathbf{x}, \mathbf{x}^{\prime})\tag{3}

Если функция ограничений $\rho$ дифференцируем, его можно оптимизировать с помощью оптимизатора на основе градиента

Уравнение (2) широко используется в непрерывных полях данных, таких как изображения или речь, но на самом деле оно не подходит для текстовых данных, в основном по двум причинам:

пространство данных $\mathcal{X}$ является дискретным и поэтому не может быть оптимизирован с помощью градиентов
Ограничивающая функция $\rho$ Трудно измерить текстовые данные, такие как вставка «не» в предложение, слово сводит на нет значение всего предложения, но если мы используем расстояние редактирования для вычисления разницы между двумя предложениями, их расстояние редактирования составляет всего 1

GBDA: Gradient-based Distributional Attack

Метод, предложенный авторами статьи, решает две указанные выше проблемы:

использовать**Gumbel-Softmax**Позволяет оптимизировать процесс отбора проб с помощью градиентов.
Путем введения двух мягких ограничений недоумения и семантического сходства семантика состязательных образцов становится более беглой и приближается к семантике исходных образцов.

Adversarial Distribution

сделать $\mathbf{z} = z_1z_2\cdots z_n$ это предложение $\mathbf{z}$ последовательность токенов, где $z_i$ из фиксированного словарного запаса $\mathcal{V} = \{1,...,V\}$ . Пусть распределение вероятностей $P_{\Theta}$ из параметризованной матрицы вероятностей $\Theta \in \mathbb{R}^{n\times V}$ ,приговор $\mathbf{z}\sim P_{\Theta}$ Каждый токен в независимой выборке по следующей формуле

z_i \sim \text{arg max}(\pi_i)\tag{4}

в, $\pi_i = \text{Softmax}(\Theta_i)$ означает первый $i$ вектор распределений вероятностей маркеров

Наша цель — оптимизировать матрицу параметров $\Theta$ , так что $\mathbf{z}\sim P_{\Theta}$ для модели $h$ Состязательные примеры , чтобы сделать это, нам нужно оптимизировать целевую функцию как

\min_{\Theta \in \mathbb{R}^{n\times V}} \mathbb{E}_{\mathbf{z}\sim P_{\Theta}}\ell (\mathbf{z}, y;h)\tag{5}

в, $\ell$ необязательный состязательный проигрыш, например, маржинальный проигрыш

Extension to probability vector inputs

Уравнение (5) заведомо не является выводной функцией, так как распределение дискретное, и мы получаем его путем выборки, формулы для операции выборки нет, поэтому ее нельзя вывести. Однако мы можем масштабировать уравнение (5), чтобы взять вектор вероятности в качестве входных данных и использовать Gumbel-Softamx в качестве $\arg \max$ Расчетное значение , для введения градиента

приговор $\mathbf{z}$ каждый токен в $z_i$ Индекс в словаре $i$ Соответствующий вектор слов можно найти в таблице Word Embedding. В частности, мы определяем $\mathbf{e}(\cdot)$ является функцией встраивания, поэтому токен $z_i$ Вложение $\mathbf{e}(z_i)\in \mathbb{R}^d$ ,в $d$ является размерностью вложения. задан вектор вероятности $\pi_i$ , который определяет токен $z_i$ Вероятность выборки , то мы определяем

\mathbf{e}(\pi_i) = \sum_{j=1}^V (\pi_i)_j \mathbf{e}(j)\tag{6}

соответствует вектору вероятности $\pi_i$ Вектор встраивания. В частности, если токен $z_i$ Вектор вероятности $\pi_i$ является однократным вектором, то $\mathbf{e}(\pi_i)=\mathbf{e}(z_i)$ . С помощью уравнения (6) мы можем преобразовать последовательность входных векторов вероятности $\boldsymbol{\pi} = \pi_1\cdots \pi_n$ Расширен до серии сращивания вложений:

\mathbf{e}(\boldsymbol{\pi}) = \mathbf{e}(\pi_1)\cdots \mathbf{e}(\pi_n)

Computing gradients using Gumbel-softmax

к модели $h$ Расширение, чтобы взять вектор вероятности в качестве входных данных, позволяет нам использовать Gumbel-softmax для получения гладкой оценки уравнения (5). Пусть входная вероятностная последовательность $\tilde{\boldsymbol{\pi}} = \tilde{\pi}_1\cdots \tilde{\pi}_n$ Из распределения Gumbel-softmax оно получается по следующей формуле:

(\tilde {\pi}_i)_j :=\frac{\exp((\Theta_{i,j} + g_{i,j})/T)}{\sum_{v=1}^V\exp((\Theta_{i,v}+g_{i,v})/T)},\quad T>0\tag{7}

в $g_{i,j}= -\log(-\log(u_{i,j})), u_{i,j}\sim U(0,1)$ ,Сейчас $u_{i,j}$ следовать равномерному распределению. $T$ ближе к 0, $\tilde{\pi}_i$ Чем ближе к одноразовому распределению

Определив гладкое приближение к уравнению (5), мы можем оптимизировать параметры, используя градиентный спуск $\Theta$ охватывать

\min_{\Theta \in \mathbb{R}^{n\times V}} \mathbb{E}_{\tilde{\boldsymbol{\pi}}\sim\tilde{P}_\Theta}\ell (\mathbf{e}(\tilde{\boldsymbol{\pi}}),y;h)\tag{8}

Soft Constrains

Поскольку автор вводит Gumbel-softmax и использует вектор вероятности в качестве входных данных модели, невыводимая формула (5) переписывается в выводимую формулу (8), поэтому любая другая выводимая функция ограничений может быть легко оптимизирована. цель. Воспользовавшись этим преимуществом, авторы вводят ограничения беглости и семантического подобия в целевую функцию, чтобы генерировать более беглые и семантически более близкие состязательные примеры.

Fluency constraint with a Language model

Предыдущая работа основана на атаках на уровне слов, таких как использование Word2vec, GloVe и т. д., или использовании замены синонимов для обеспечения семантического сходства между семантическими исходными образцами и состязательными образцами, но эти методы имеют некоторые проблемы в большей или меньшей степени. сгенерированные состязательные образцы являются грамматически бессвязными и семантически бессвязными

Каузальные языковые модели (CLM) или авторегрессивные языковые модели обучаются максимизировать условные вероятности. $p(x_i\mid x_1,x_2,...,x_{i-1})$ . Более конкретно, для CLM с выходом логарифмической вероятности $g$ , последовательность $\mathbf{x} = x_1\cdots x_n$ Отрицательное логарифмическое правдоподобие (NLL) рассчитывается с помощью авторегрессии.

\text{NLL}_g(\mathbf{x}) = -\sum_{i=1}^n\log p_g(x_i\mid x_1\cdots x_{i-1})

в, $\log p_g(x_i\mid x_1\cdots x_{i-1})=g(x_i\mid x_1\cdots x_{i-1})$

Поскольку входными данными модели, которую мы определили ранее, является вектор вероятности токена, мы также можем расширить определение NLL:

\text{NLL}_g({\boldsymbol{\pi}}) := -\sum_{i=1}^n\log p_g(\pi_i\mid \pi_1\cdots \pi_{i-1})

\begin{aligned} -\log p_g(&\pi_i \mid \pi_1\cdots \pi_{i-1})=\\ & -\sum_{j=1}^V (\pi_i)_j g(\mathbf{e}(\pi_1)\cdots \mathbf{e}(\pi_{i-1}))_j \end{aligned}

Similarity constraint with BERTScore

Автор предлагает использоватьBERTScore, который представляет собой метод оценки сходства сгенерированного текста. Предполагать $\mathbf{x} = x_1\cdots x_n$ а также $\mathbf{x}^{\prime}={x}_1^{\prime}\cdots {x}_m^{\prime}$ представляет собой последовательность из двух токенов, пусть $g$ Для языковой модели мы можем получить контекстное векторное представление

\begin{aligned} &\phi(\mathbf{x}) = (\mathbf{v}_1,...,\mathbf{v}_n)\\ &\phi(\mathbf{x}^{\prime})=(\mathbf{v}^{\prime}_1,...,\mathbf{v}^{\prime}_m) \end{aligned}

тогда последовательность $\mathbf{x}$ и $\mathbf{x}^{\prime}$ BERTscore определяется следующим образом:

R_{\text{BERT}}(\mathbf{x}, \mathbf{x}^{\prime}) = \sum_{i=1}^n w_i \max_{j=1,...,m} \mathbf{v}_i^{\top} \mathbf{v}_j^{\prime} \tag{9}

в, $w_i = \text{idf}(x_i) / \sum_{i=1}^n \text{idf}(x_i)$ это токен $x_i$ Нормализованная частота обратного документа

Мы можем легко использовать последовательность векторов вероятности, описанную в уравнении (6) $\boldsymbol{\pi}=\pi_1\cdots \pi_m$ заменить $\mathbf{x}^{\prime}$ и использовать $\rho _g(\mathbf{x},\boldsymbol{\pi})=1- R_{\text{BERT}}(\mathbf{x},\boldsymbol{\pi})$ как производное мягкое ограничение

Objective function

Наконец, мы объединяем маржинальные потери, ограничения беглости и ограничения сходства BERTscore, чтобы сформировать нашу конечную цель оптимизации:

\begin{aligned} \mathcal{L}(\Theta)=&\mathbb{E}_{\tilde{\boldsymbol{\pi}}\sim \tilde{P}_{\Theta}}\ell (\mathbf{e}(\tilde{\boldsymbol{\pi}}),y;h)\\ &+\lambda_{\text{lm}}\text{NLL}_g(\tilde{\boldsymbol{\pi}}) + \lambda_{\text{sim}}\rho_g(\mathbf{x}, \tilde{\boldsymbol{\pi}}) \end{aligned}\tag{10}

в, $\lambda_{\text{lm}},\lambda_{\text{sim}}>0$ являются гиперпараметрами, каждая итерация начинается с $\tilde{P}_{\Theta}$ Попробуйте пакет входных данных и минимизируйте их с помощью оптимизатора Adam. $\mathcal{L}(\Theta)$ . В частности, гиперпараметры в документе установлены как

\begin{aligned} \text{lr} &= 0.3\\ \text{batch size} &= 10\\ \text{iterations} &= 100\\ \lambda_{\text{lm}} &= 1\\ \lambda_{\text{sim}} &\in [20, 200]\\ \kappa &\in \{3, 5, 10\} \end{aligned}

Result

Экспериментальные результаты показывают, что наша атака способна снизить точность модели до уровня ниже 10% почти во всех случаях, сохраняя при этом высокий уровень семантического сходства (косинусное сходство выше 0,8).

В то же время автор провел эксперимент по абляции, чтобы наблюдать за наличием ограничений беглости речи, их влиянием на сгенерированные предложения и окончательные результаты.

Персональное резюме

Честно говоря, было немного неловко. Когда я листал Принятые документы EMNLP, мне вдруг в глаза бросилось слово «Состязательный». Сначала я подумал, что это новый метод состязательной подготовки, поэтому я открыл бумаги и посмотрел на нее.Во время написания этой статьи выяснилось, что что-то не так, когда я написал ее ближе к концу.Я обнаружил, что эта статья в основном не о Adversarial, а об атаке, но я не занимаюсь глубоким изучением атаки, так что я в основном потратил много времени на просмотр чего-то, не связанного с моими исследованиями. Поскольку я мало что знаю об атаках глубокого обучения, у меня нет особых идей.