Неуслышанное имя подсказки (2)

алгоритм

Это 11-й день моего участия в ноябрьском испытании обновлений. Узнайте подробности события:Вызов последнего обновления 2021 г.

Оперативный выбор очень важен и сложен

Основываясь на вышеупомянутой подсказке, мы можем знать, что дизайн подсказки в основном состоит из двух частей:

  1. Шаблон Т:Например[X]. Overall, It was [Z]
  2. Сопоставление слов тегов:который[Z][Z]Набор словарных запасов и наземные метки для вывода предсказания положенияyyсоставляют отношения отображения. Например, метка «положительно» соответствует слову «великолепно», а метка «отрицательно» соответствует слову «ужасно».

В методе тонкой настройки на основе подсказок большое влияние на конечный результат оказывают различные шаблоны и слова-метки.На рисунке ниже показана команда Чена Данци.бумагаЭкспериментальные результаты в

На приведенном выше рисунке мы видим две вещи:

  1. Используя один и тот же «шаблон», разные «теговые слова» будут иметь разные эффекты. Напримерgreat/terribelиcat/dogЭффекты этих двух групп слов-тегов различны, и даже если они являются одними и теми же словами-тегами, замена порядка приведет к изменению конечного эффекта, напримерcat/dogиdot/cat
  2. При использовании одного и того же «тега» небольшие изменения в «шаблоне» (например, добавление или удаление знаков препинания) также приведут к другим результатам.

Дизайн подсказки

Подсказка может быть разработана со следующих трех точек зрения:

  • Форма подсказки
  • Шаблон оформления вручную
  • Шаблоны автоматического обучения

Форма подсказки

Форма Prompt в основном относится к[X][X]и[Z][Z]расположение и количество. упомянутый вышеCloze PromptОн очень похож на метод обучения языковой модели Maksed, поэтому для задач MLM больше подходит Cloze Prompt, для задач генерации или задач, решаемых с помощью авторегрессионного LM,Prefix Promptболее подходящий

Шаблон оформления вручную

Шаблон Prompt был первоначально разработан вручную.Искусственный дизайн, как правило, основан на знании человеческого естественного языка и направлен на получение «шаблона», который является семантически гибким и эффективным. Например, Петрони и др.Набор данных ЛАМАСозданные вручную шаблоны Cloze для задачи проверки знаний;Браун и др.Шаблоны префиксов предназначены для таких задач, как вопросы и ответы, перевод и зондирование. Преимущество разработки шаблона вручную заключается в том, что он интуитивно понятен, а недостаток в том, что он требует большого количества экспериментов, опыта и знания языка. На картинке нижеGPT Understands, TooРезультат эксперимента в статье

Видно, что между разными Подсказками есть лишь тонкие отличия, а некоторые даже просто добавляют или убирают одно слово, но итоговый результат будет на десятки баллов хуже

Шаблоны автоматического обучения

Чтобы устранить недостатки ручного проектирования шаблонов, многие исследователи начали изучать способы автоматического изучения подходящих шаблонов. Автоматически заученные шаблоны можно разделить на две категории: дискретные (Discrete Prompts) и непрерывные (Continuous Prompts). К дискретным методам в основном относятся:Prompt Mining, Быстрое перефразирование,Gradient-based Search,Prompt GenerationиPrompt ScoringНепрерывный, в основном в том числеPrefix Tuning,Tuning Initialized with Discrete prompts,Hard-Soft Prompt Hybrid Tuning,P-Tuning v2

Категории