Обучение гендерно-нейтральному встраиванию слов GN-Glove

Скомпилировать:weakish

вложение словТехнология стала фундаментальной частью многочисленных приложений обработки естественного языка (NLP), однако встраивание слов, обученное на существующих корпусах, часто подвержено социальным предубеждениям, таким как гендерные стереотипы. Например, «программист» — гендерно-нейтральное слово. слова), но модель встраивания, обученная на базе новостей, кажется, более тесно связана со словами «программист» и «мужчина», чем «женщина».

Модели встраивания слов с такими предубеждениями создадут серьезные проблемы для последующих приложений НЛП. Например, автоматическая система проверки резюме или автоматическая система рекомендаций по работе, основанная на технологии встраивания слов, будет дискриминировать кандидатов определенного пола (имя кандидата отражает пол). В дополнение к этой очевидной дискриминации предвзятые встраивания могут также неявно влиять на приложения НЛП, которые мы используем каждый день. Например, введите в поисковик «ученый-компьютерщик», поскольку в пространстве встраивания «ученый-компьютерщик» ближе к мужскому имени и дальше от женского имени, алгоритм поиска, основанный на технологии встраивания, стремится ранжировать ученых-мужчин. еще больше усугубляет гендерный дисбаланс в компьютерных науках, препятствуя признанию женщин-ученых перед женщинами-учеными.

Изображение предоставлено: Толга Болукбаси и др.

Болукбаси и др. предположили, что гендерные стереотипы во встраиваниях слов можно устранить с помощью постобработки (arXiv:1607.06520). Мы делаем это, проецируя гендерно-нейтральные слова в подпространство, ортогональное гендерному измерению, определяемому словами, определяющими пол. К так называемым гендероопределяющим словам относятся слова, которые естественным образом ассоциируются с гендером в определении, например «мать» (мать), «официантка» (официантка).

Однако у этого подхода есть два ограничения:

Прежде чем проецировать гендерно-нейтральные слова, гендерно-нейтральные слова должны быть сначала идентифицированы классификатором. Если классификатор допустит ошибку, ошибка распространится по всей модели, что повлияет на окончательную производительность.
Гендерная информация полностью удалена, но в некоторых областях (например, в медицине, социальных науках) гендерная информация незаменима.

А Jieyu Zhao, Ychao Zhou, Zeyu Li, Wei Wang, Kai-Wei Chang из Калифорнийского университета в Лос-Анджелесе опубликовали статью «Изучение гендерно-нейтральных вложений слов» на предстоящей конференции EMNLP 2018, основанную на защищенных атрибутах. Разделение гендерной информации преодолевает два вышеуказанных ограничения.

метод

Эта бумага переделанаGloVeМодель, поверх которой добавлены свойства защиты пола. Хотя в статье в качестве базовой модели вложения выбрана GloVe, метод, предложенный в статье, является общим и может применяться к другим моделям и свойствам встраивания.

GloVe

Сначала кратко рассмотрим GloVe.

Основная интуиция GloVe заключается в том, что по сравнению с вероятностью появления слова в одно и то же время,Отношение вероятности появления слов одновременноСпособен лучше различать слова. Например, предположим, что мы хотим представить слова «лед» и «пар». Для слов, связанных со словом «лед» и не связанных со словом «пар», таких как «твердое», мы можем ожидать $P_{冰-固体}/P_{蒸汽-固体}$ больше. Точно так же для слов, не связанных со словом «лед», но относящихся к слову «пар», таких как «газ», мы можем ожидать $P_{冰-气体}/P_{蒸汽-气体}$ меньше. И наоборот, для таких слов, как «вода», которые относятся и к «льду», и к «пару», и таких слов, как «мода», которые не относятся ни к «льду», ни к «пару», мы можем ожидать $P_{冰-水}/P_{蒸汽-水}$ , $P_{冰-时尚}/P_{蒸汽-时尚}$ должно быть близко к 1.

В частности, GloVe основан на взвешенной регрессионной модели наименьших квадратов, а входными данными является матрица частот совпадения слов и контекста:

в,является весовой функцией для уменьшения влияния слишком большой частоты одновременных событий.

GN-GloVe

В этой статье предлагается гендерно-нейтральный вариант GloVe, называемый GN-Glove, который преобразует вектор словаразделен на две части $w = [w^{(a)}; w^{(g)}]$ ,в $w^{(a)}∈ ℝ^{d-k}$ представляет собой нейтральный компонент, а $w^{(g)} ∈ ℝ^k$ представляет гендерный компонент,параметр, зарезервированный для гендерной информации (будетУстановите значение 1, чтобы зарезервировать параметр для информации о поле).

Целью обучения GN-GloVe является выделение гендерных признаков в w(g) в качестве защитного атрибута, чтобы информация в w(a) не зависела от пола. Соответственно, целевая функция состоит из трех частей:

в, λ_d и λ_e — гиперпараметр, который регулирует влияние различных частей целевой функции.

J_G — целевая функция GloVe, которую мы дали ранее, J_D и J_E принуждение к тому, чтобы гендерная информация была ограничена $w^{(g)}$ среди $w^{(a)}$ Будьте гендерно нейтральны.

Теперь рассмотрим, как определить J_D , так что гендерная информация может быть максимально изолирована в $w^{(g)}$ , то есть пусть $w^{(g)}$ Укажите больше гендерной информации?

Мы можем рассмотреть эту проблему в контексте обучения с учителем. Предположим, что у нас есть некоторые (аннотированные человеком) термины, определяющие пол, тогда, если $w^{(g)}$ Если информация этих слов, определяющих пол, может быть хорошо представлена, разрыв между словами, определяющими пол, представляющими мужчин, и словами, определяющими пол, представляющими женщин, будет большим, что полностью отражает гендерные различия. Например, «Отец». $w^{(g)}$ есть 2.0, "мама" $w^{(g)}$ составляет -2,0 по сравнению с «родителем» $w^{(g)}$ 0,02, "мама" $w^{(g)}$ составляет 0,03, и в целом первое лучше. Отсюда даем следующее J_D определение:

Кратко объясните приведенную выше формулу, Ω_M и Ω_F Это наборы слов мужского и женского определения соответственно.В статье эти два набора разделены на основе определения WordNet. Рассматривается общая ситуация, поэтому осуществляется накопление. Поскольку в документе зарезервировано измерение для гендерной информации, в приведенном выше примере непосредственно используется реальное числовое представление. $w^{(g)}$ , но на самом деле гендерная информация может занимать более одного измерения, поэтому J_D Определение использует матричные операции. Наконец, нам нужно максимизировать разрыв между определяющими мужчинами и женщинами, но в конце концов нам нужно минимизировать значение целевой функции, поэтому операция отрицания выполняется в конце.

Конечно, J_D Существует более одного определения . Мы также можем $w^{(g)}$ Значение ограничено определенным диапазоном, например [-1, 1], а затем, насколько это возможно, $w^{(g)}$ Нажмите на оба конца: (1- $w_父^{(g)}$ )2+(-1- w_母 ) 2. Например, предположим, что «родительский» вектор $w^{(g)}$ равен 1, а "материнский" вектор $w^{(g)}$ равно -1, подставьте в приведенную выше формулу, результат равен 0.

Отсюда мы можем получить J_D Второе определение. Конечно, также, $w^{(g)}$ на самом деле является вектором, поэтому мы вводим вектор e ∈ ℝ^k , все компоненты этого вектора равны 1. Тогда рассмотрим также Ω_M и Ω_F Общая ситуация на высоте, так что добавляйте. Наконец, [-1, 1] — подходящий диапазон значений, но мы можем выбрать и другие диапазоны значений. Поэтому мы вводим еще два коэффициента и устанавливаем диапазон значений равным [β_2, β_1] , окончательный J_D определяется как:

Хорошо, давайте обсудим J_E , которая является частью, которая имеет дело с w (a).

Здесь мы вводим $v_g ∈ ℝ^{d-k}$ , гендерная ориентация пространства встраивания. Концепция гендерной ориентации проста. Предположим, у нас есть много пар родовых слов, таких как «отец» (отец) и «мать» (мать), «мужчина» (мужчина) и «женщина» (женщина), «король» (король) и «королева» ( queen) , вычтите эти парные векторы слов пола, такие как «отец-мать», «мужчина-женщина», «король-королева», а затем усредните, чтобы получить направление пола. В частности, его можно выразить с помощью следующей формулы:

В приведенной выше формулепредставляет собой предопределенный набор парных векторов гендерных слов. Здесь мы не преобразовываем вектор слова напрямуювычитать, а вместо $w_{(a)}$ вычесть. Это связано с тем, что, как правило, для сохранения гендерных векторов используется несколько измерений (в документе используется только одно измерение), тогда как вектора слов обычно имеют по крайней мере несколько сотен измерений. Кроме того, в начале обучения $w_{(a)}$ Также содержит много гендерной информации (иначе никакого обучения не требуется).

Затем что-то вроде Ω_M и Ω_F , мы можем разделить гендерно-нейтральный набор слов на основе WordNet Ω_N . Поскольку это гендерно-нейтральные слова, мы ожидаем, что их проекции в гендерном направлении будут близки к нулю. с участиемBolukbasiи др. проецируют гендерно-нейтральные слова в подпространство, ортогональное гендерному измерению.

Таким образом, мы оптимизируем с помощью помеченных терминов, определяющих пол. w^g , оптимизированный с помеченными гендерно-нейтральными словами w^a , плюс первоначальная цель оптимизации GloVe, достигается цель оптимизации GN-GloVe.

При этом вся целевая функцияОн дифференцируем, поэтому в статье можно использовать стохастический градиентный спуск для оптимизации во время обучения. Чтобы упростить вычислительную сложность обучения встраиванию слов, в статье предполагается гендерная ориентация. v^g является фиксированным вектором (то есть после обновления $w^{(a)}$ не засчитывается v^g градиент на ), обновляется только в начале каждой эпохи v^g .

контрольная работа

В статье проводятся всесторонние эксперименты для проверки эффективности идеи разделения гендерной информации по конкретным измерениям:

Пространство встраивания визуализируется, показывая, что GN-GloVe отделяет защитные свойства от других скрытых свойств.
Способность GN-GloVe различать слова, определяющие пол, и слова, определяющие гендерный стереотип, измеряется в новом аннотированном наборе данных.
GN-GloVe оценивается на стандартных наборах данных для встраивания слов, показывая, что изоляция гендерной информации не влияет на функцию встраивания слов.
Демонстрирует влияние GN-GloVe на снижение предвзятости по признаку пола в последующих приложениях.

настраивать

Базовыми показателями для сравнения являются родные GloVe и Hard-Glove (т.е.Bolukbasiи др. предлагаемый способ).

Все вложения основаны на дампе английской Википедии 2017 года со значениями по умолчанию для гиперпараметров GloVe.

При обучении GN-GloVe документ ограничивает диапазон значений каждого измерения до [-1, 1], чтобы избежать числовых проблем. И λd, и λe установлены равными 0,8.Согласно предварительным исследованиям автора, модель не чувствительна к этим гиперпараметрам. Кроме того, если не указано иное, J_D Используйте первое определение (L1).

Визуализация встраиваемого пространства

В статье показано распределение гендерной компоненты wg вектора слов в пространстве вложений (для удобства просмотра горизонтальная ось растянута до [-2, 2]).

На картинке выше красные точки обозначают женские слова (например, официантка, монахиня, горничная, домохозяйка, деловая женщина, балерина, актриса), а зеленые треугольники — мужские слова (например, официант мужчина). , монах, домовладелец, директор школы, разнорабочий, конгрессмен). Слова определения пола на рисунке расположены на обоих концах горизонтальной оси, что не является неожиданным, в конце концов, в целевой функции $w^{(g)}$ Часть оптимизации основана на наборе определяющих пол слов. Ω_M и Ω_F .

Синие крестики обозначают гендерно-нейтральные слова. Как видно из приведенного рисунка, хотя действительно наблюдается тенденция, что чем ближе к 0, тем плотнее распределены гендерные компоненты гендерно-нейтральных слов, но в целом гендерные компоненты гендерно-нейтральных слов более рассеяны, что показывает что распределение по полу, основанное на обучении Википедии. Нейтральные слова по-прежнему содержат гендерную информацию. Среди них фиолетовые пять звезд — некоторые гендерно-нейтральные слова, обозначающие занятия. Визуализация этих слов показывает, что GN-GloVe может правильно сохранять гендерную информацию в гендерно-нейтральных словах. Например, гендерная составляющая «медсестры» (медсестры) на картинке более женская, а гендерная составляющая «капитана» (капитана) — более мужская, что соответствует бытовым стереотипам.

Чтобы убедиться, что GN-GloVe хорошо разделяет гендерную информацию, в документе визуализируются нейтральные компоненты приведенных выше слов, представляющих занятия. $w^{(a)}$ в гендерном направлении v_g проекция на (т.е. $w^{(a)}$ и v_g косинусное сходство).

Слева: GloVe, справа: GN-GloVe

Видно, что проекция нейтрального компонента GN-GloVe в гендерном направлении близка к нулю по сравнению с GloVe, имеющей серьезные гендерные стереотипы, что говорит о том, что GN-GloVe хорошо изолирует гендерную информацию.

В статье подсчитывается прогнозируемая средняя длина словарного запаса, представляющего профессию в гендерном подпространстве. GloVe составляет 0,080, а GN-Glove — 0,052.То есть, по сравнению с GloVe, GN-Glove снижает гендерную предвзятость на 35%. Конечно, Hard-GloVe, который полностью удаляет гендерную информацию, может достигать лучших результатов, 0,019, однако это также означает, что Hard-GloVe теряет гендерную информацию и имеет более низкую способность различать гендерно-стереотипные слова и слова, определяющие пол.

SemBias

Для изучения качества гендерной информации, представленной моделью, статья следуетSemEval 2012 Task2образом, создал набор данных SemBias. Каждая выборка в этом наборе данных содержит 4 пары слов, пару определяющих пол слов (например, официант - официантка, официант - официантка), пару гендерно-стереотипных слов (например, доктор - медсестра, врач-медсестра), две пары близких по значению слов независимо от пола (например, собака-кошка, собака-кошка, чашка-крышка, чашка-крышка). Модель должна сравнить, какая из четырех пар слов ближе к «он — она». В идеале модель должна выбирать пары определяющих пол слов.

Из приведенной выше таблицы видно, что GN-Glove достигает точности 97,7% в SemBias, что значительно выше, чем у GloVe и Hard-GloVe. SemBias (подмножество) — это подмножество данных, содержащих пары слов, которые не использовались в качестве исходного словаря при обучении. В этом подмножестве производительность GN-GloVe еще более заметна, что указывает на то, что GN-GloVe может хорошо обобщать способность распознавания, полученную на основе тренировочного набора, на другие слова, определяющие пол. Напротив, Hard-GloVe, в котором была удалена вся гендерная информация, работала плохо, почти наугад.

Лексическое сходство и аналогия

Оценки стандартного набора тестовых данных для встраивания слов показывают, что GN-GloVe достигает более высокой точности в задаче на сходство с небольшим снижением оценки в задаче на аналогию. В целом GN-GloVe работает примерно на одном уровне с GloVe и Hard-GloVe, а изоляция информации о поле не влияет на общую функциональность встраивания слов.

Кратко объясните приведенную выше таблицу. Задача аналогии отвечает на вопрос «A соответствует B, точно так же, как C соответствует _?», Который состоит в том, чтобы найти вектор слов w, ближайший к wA - wB + wC в пространстве вложения. Задача подобия оценивает модель вложения слов как возможность захвата сходства слов (по сравнению с человеческой аннотацией).

Ссылочное разрешение

Наконец, в документе тестируется производительность GN-GloVe при ссылочном разрешении для последующих приложений.

Ссылочное разрешение

В статье используются два набора данных: Ontonotes 5.0 и WinoBias. Среди них набор данных WinoBias состоит из двух частей: подмножество PRO смещено в сторону стереотипов, а подмножество ANTI — против стереотипов. Например, образец в поднаборе данных PRO: «Генеральный директор повысил зарплату портье, потому что он щедрый» (Генеральный директор повысил зарплату секретарю, потому что он щедрый.) В этом предложении местоимение «он» ( Он) относится к «генеральному директору» в соответствии с общественными стереотипами. Поднабор данных ANTI содержит почти идентичные образцы, за исключением того, что родовые местоимения изменены на противоположный пол, то есть «он» (он) заменен на «она» (она). Это идет вразрез со стереотипом общества, где женщины-генеральные директора составляют гораздо меньший процент от всех генеральных директоров, чем мужчины.

В приведенной выше таблице Avg представляет среднее значение F1 набора данных WinoBias (среднее значение F1 значений PRO и ANTI), а Diff представляет абсолютное значение разницы между значениями F1 PRO и ANTI ( чем ниже Diff, тем ниже гендерная предвзятость в системе). В целом, в наборе данных OntoNotes GN-GloVe достигает производительности, сравнимой с GloVe и Hard-GloVe. В наборе данных WinoBias GN-GloVe значительно снижает гендерную предвзятость по сравнению с GloVe. Используя только нейтральный компонент w(a), уровень гендерной предвзятости GN-GloVe близок к уровню Hard-GloVe, который полностью удаляет гендерную информацию.

Эпилог

В конце этой статьи давайте рассмотрим преимущества GN-GloVe:

Высокая универсальность, применимость к любому языку (просто укажите предопределенный исходный словарь), масштабируемость для встраивания моделей, отличных от GloVe, и атрибутов защиты, отличных от пола.
Изоляция гендерной информации не только облегчает проблему усугубления стереотипов в последующих приложениях, но также может использоваться в таких сценариях, как исследования в области социальных наук, которые требуют гендерной информации без переобучения встраивания слов.
После выделения гендерной информации улучшается интерпретируемость вложений слов.
Он не полагается на классификатор для различения гендерно-нейтральных слов, что позволяет избежать проблемы распространения ошибок классификации.