Неуслышанное имя подсказки (3)

Это 12-й день моего участия в ноябрьском испытании обновлений. Узнайте подробности события:Вызов последнего обновления 2021 г.

Дискретные подсказки

Кратко расскажу о вышеперечисленных методах, первый дискретныйPrompt Mining, Эта статья была опубликована в TACL 2020. В ней рассказывается о том, как использовать предварительно обученную языковую модель в качестве «базы знаний», и вводятся такие методы, как дерево зависимостей и Paraphrase (перефразирование), для разработки более качественных «шаблонов». Экспериментальные результаты

Можно видеть, что результаты нескольких «предикатов соединения», которые были раскопаны, значительно улучшились по сравнению с созданным вручную «шаблоном».

Есть много способов реализовать Prompt Paraphrsing, например, «обратный перевод», давайте посмотрим на пример через перевод DeepL:

Итак, мы получаемx shares a border with yБыстрое перефразирование:x and y share a boundary

бумагаBARTScoreПросто дайте нам таблицу с синонимичными заменами для различных фраз, с которыми я слишком хорошо знаком, потому что я уже запоминал подобные вещи в тестах по английскому языку раньше.

Gradient-based Search(поиск на основе градиента) предложен в статье AUTOPROMPT, которая была опубликована в EMNLP 2020. Ее основную идею можно представить следующей картинкой.

На картинке вышеa real joyисходное входное предложение $x_{\text{inp}}$ , красные жетоны-триггеры создаются $x_{\text{inp}}$ Подборка слов, связанных со словом «вдохновлять». $x_{\text{trig}}$ , согласно Шаблону $\lambda$ конфигурация, будет $x_{\text{trig}}$ и $x_{\text{inp}}$ объединены для создания окончательного ввода $x_{\text{prompt}}$ , который передается в Masked LM для прогнозирования меток тональности. В таблице ниже добавлено множество примеров других задач НЛП.

о том, как генерировать $x_{\text{trig}}$ Коллекция, по сути, в основном использует идею HotFlip и обучения конфронтации.Заинтересованные студенты могут прочитать оригинальную статью иHotFlip: White-box adversarial examples for text classification,Universal Adversarial Triggers for Attacking and Analyzing NLPэти две статьи

Prompt GenerationЭто работа команды Чена Данки, главным образом, для применения модели T5 предварительного обучения Seq2Seq к процессу поиска шаблонов. T5 предварительно обучен на основе множества неконтролируемых целей.Одной из наиболее эффективных неконтролируемых целей является замена одного или нескольких непрерывных интервалов на или , а затем создание соответствующего вывода. Например:

Thank you <X> me to your party <Y> week

T5 появится в for inviting, созданный в last. Очевидно, что T5 очень подходит для генерации шаблонов, и нет необходимости указывать количество токенов в шаблоне. В частности, существует три возможных способа создания

\begin{align} \langle S_1\rangle &\to \langle \text{X}\rangle \ \mathcal{M}(y) \ \langle \text{Y} \rangle\ \langle S_1\rangle\\ \langle S_1\rangle &\to \langle S_1\rangle\ \langle \text{X}\rangle \ \mathcal{M}(y) \ \langle \text{Y} \rangle\\ \langle S_1\rangle ,\langle S_2 \rangle &\to \langle S_1\rangle\ \langle \text{X}\rangle \ \mathcal{M}(y) \ \langle \text{Y} \rangle\ \langle S_2\rangle\\ \end{align}

Конкретный процесс генерации шаблона показан на следующем рисунке:

Сначала добавьте биты заполнения и до и после слова тега (три метода генерации, упомянутые выше), а затем отправьте их в модель T5, T5 автоматически сгенерирует последовательность в бите заполнения, и, наконец, слово тега (великий или ужасный) в теги [MASK], образуя несколько шаблонов. В конкретном процессе метод Beam Search используется для создания нескольких шаблонов-кандидатов, а затем каждый шаблон-кандидат настраивается с помощью набора разработчика, и выбирается один из лучших шаблонов.

Я также хотел бы сказать еще один интересный момент в этой статье.Предложение, отправленное модели для прогнозирования, также сращивается с «Демонстрацией» каждой категории, как показано на следующем рисунке.

Дизайн этой подсказки немного похож на выполнение задачи на семантическое сходство, $X$ исходное входное предложение, известное $Y$ Для положительного примера, $Z$ Для отрицательного примера строится вход вида:

X是[MASK]例？Y为正例；Z为负例

Это немного похоже на тернарный оператор в языках программирования или эквивалент сравнения моделей. $X$ и $Y$ , $Z$ смысловое сходство. Здесь мы, естественно, хотим спросить: $Y$ , $Z$ Как это было выбрано? Фактически, согласно следующим двум правилам:

Для каждого исходного входного предложения образец «пример» случайным образом выбирается из каждой категории и встраивается в подсказку.
Для каждого исходного входного предложения в каждой категорииПроизвольно выберите образец «пример» из 50% лучших образцов с наибольшим сходством, выполнив расчет сходства с помощью Sentence-BERT.