Неуслышанное имя подсказки (1)

Это 11-й день моего участия в ноябрьском испытании обновлений. Узнайте подробности события:Вызов последнего обновления 2021 г.

Лично я считаю двумя самыми популярными идеями НЛП в 2021 году.Контрастное обучение, другой подсказка

Говоря о моем понимании Prompt

Подсказка проста и проста.Прочитав несколько статей и блогов, я обнаружил, что на самом деле это построение языкового шаблона. Но когда я думаю об этом, это кажется сложным, потому что я всегда чувствую, что в нем много деталей, поэтому в этой статье я разберу Промпт с самого начала (Промпт во многих местах будет переведен как «парадигма», но слово « «парадигма» сама по себе непроста для понимания, поэтому читатели воспринимают его как «шаблон»)

Сегодня я также обсудил со своим соседом по комнате, что делает предварительно обученная модель (такая как BERT), и дал следующий ответ:

Предобучающая модель обеспечивает очень хороший параметр инициализации.Этот набор параметров очень хорошо работает на предобучающей задаче (потери до обучения очень малы), но из-за разнообразия последующих задач нам необходимо выполнить Fine - на основе этого набора параметров настроить под нашу нисходящую задачу (чтобы значение потерь нисходящей задачи было очень низким)

Вышеприведенный абзац на самом деле подразумевает общий процесс выполнения задач НЛП в настоящее время, то есть «Предобучение, тонкая настройка», но для нас большую часть времени мы напрямую используем заранее обученные модели других людей в качестве тонкой настройки. . настроить, нет шага Pre-train

Режим, который включает подсказку, можно грубо охарактеризовать как «Предобучение, подсказка и прогнозирование», в котором нижестоящая задача преобразуется в форму, аналогичную задаче предварительной подготовки. Например, обычная предтренировочная задача — MLM (Masked Language Model).В задаче классификации тональности текста для ввода «Мне нравится этот фильм» можно добавить Подсказка: «фильм — ___», которая состоит следующим образом В одном предложении:

I love this movie, the movie is ___

Затем пусть предварительно обученная модель заполнит пробелы ответами, отражающими настроения (например, «отлично», «ужасно» и т. д.), и, наконец, преобразует ответ в метку для классификации настроений. Таким образом, мы можем обучить модель на небольшом выборочном наборе данных для решения множества последующих задач, создав подходящий «шаблон».

Обратите внимание, что задачи закрытия и MLM, разработанные Prompt, различны. Хотя оба являются классификациями слов, наборы кандидатов различны. Слова-кандидаты MLM - это весь словарь, но если это задача генерации, то Prompt это то же самое, что и набор кандидатов МЛМ, это весь тезаурус

Как построить подсказку

для ввода текста $x$ , есть функция $f_{\text{Prompt}}(x)$ ,будет $x$ Конвертировано в $x^{'}$ форма, то есть

x^{'}=f_{\text{Prompt}}(x)

Эта функция обычно выполняет два шага:

Используйте шаблон, который обычно представляет собой предложение на естественном языке, и предложение содержит две пустые позиции: используется для заполнения ввода $x$ позиция $[X]$ , используется для генерации текста ответа $z$ позиция $[Z]$
поместите ввод $x$ заполнять $[X]$ позиция

Взяв в качестве примера упомянутый выше пример, в задаче классификации тональности текста предполагается, что входные данные

x = "I love this movie"

Используемый шаблон

[X]. Overall, it was a [Z] movie

затем получить $x^{'}$ должно быть

I love this movie. Overall, it was a [Z] movie

В практических ситуациях позиция, в которой подсказка заполняет ответ, обычно находится в середине предложения или в конце предложения. Если в предложении этот тип подсказки обычно называетсяCloze Prompt; Если в конце предложения этот тип подсказки обычно называетсяPrefix Prompt. $[X]$ и $[Z]$ Положение, количество и использование шаблонных предложений могут повлиять на результаты, поэтому их необходимо гибко настраивать.

Выше приведены схемы подсказок для простых задач классификации настроений. Читатели, естественно, будут думать о том, как разработать подсказку для других задач НЛП. На самом деле, Бог Лю Пэнфэй находится в своембумагадает нам некоторые ссылки

В сводной задаче в Text Generation есть ключевое слово.TL;DR, что на самом делеToo Long; Don't Readаббревиатура