Обзор
Word2vec — это языковая модель, основанная на нейронной сети, целью которой является вычисление вероятности P(w|context), то есть условной вероятности слова w в его контексте. Контекст здесь — это n слов, непосредственно окружающих слово w в предложении. С P(w|context) вероятность предложения может быть рассчитана аналогично модели n-грамм. Языковые модели имеют широкий спектр приложений в области НЛП, таких как интеллектуальный метод ввода пиньинь, распознавание речи и машинный перевод, а также в других областях, где необходимо использовать языковые модели. Тем не менее, реальная сила модели word2vec заключается не только в том, что это инструмент с более высокой точностью, чем в традиционных языковых моделях, таких как n-gram, но и в том, что придатки (слововекторы), созданные в процессе ее обучения, имеют более широкий спектр приложений. .
Так что же такое вектор слов? В задачах НЛП мы передаем естественный язык алгоритмам машинного обучения, но машины не могут напрямую понимать человеческий язык. Итак, первое, что нужно сделать, — это математизировать язык, а векторы слов — отличный способ математизировать естественный язык.
Одним из простейших векторов слов является горячее представление, которое заключается в использовании очень длинного вектора для представления слова.Длина вектора равна размеру N словаря D. Только один компонент вектора равен 1, а все остальные равны 0 и 1. Позиция соответствует индексу слова в словаре. Это векторное представление слов имеет некоторые недостатки: оно легко страдает от проклятия размерности, особенно применительно к сценариям глубокого обучения; в то же время оно не может хорошо описать сходство между словами.
Другим вектором слов является распределенное представление, которое было впервые предложено Хинтоном в 1986 году и может преодолеть указанные выше недостатки прямого представления. Основная идея состоит в том, чтобы с помощью обучения преобразовать каждое слово в языке в короткий вектор фиксированной длины. Все эти векторы образуют векторное пространство слов, каждый вектор является точкой в пространстве, и, вводя в это пространство «расстояние», о расстоянии между словами можно судить по расстоянию между ними (лексически, семантически) сходства. Побочным продуктом модели Word2vec является вектор слов этого распределенного представления.
Как получить вектор слова распределенного представления? Существует множество различных моделей, которые можно использовать для оценки векторов слов, включая модель факторизации матрицы LSA, вероятностную модель латентно-семантического анализа PLSA и модель генерации документов LDA. Кроме того, использование алгоритмов нейронных сетей также является распространенным методом, хорошим примером является word2vec.
Векторы слов имеют широкий спектр применений при поиске информации, например, на основе векторов слов можно выполнять анализ связанных слов. Обратите внимание, что векторы слов упоминаются только для «слов». На самом деле, мы также можем обобщать для более мелкозернистых или крупнозернистых, таких как векторы слов, векторы предложений и векторы документов, которые могут быть словами, предложениями, документами и т. д. Ячейки обеспечивают лучшее представление. Крупнозернистые текстовые векторные представления имеют более практичное и широкое применение.
Для нейронной сети машина очень глупа, она не может понять построенный нами естественный язык более высокого уровня, она должна сначала преобразовать слова в математическую форму, которую она может понять, то есть преобразовать слова в векторы слов.
Для изображений само изображение является своего рода исходными экологическими данными.То, что видит человеческий глаз, является такими данными.Оно не подвергалось никаким изменениям и обобщениям.Так как мозг человека обрабатывает изображение,нейронная сеть может быть использована для сделать машину, чтобы имитировать метод обработки человеческого мозга, чтобы завершить такое событие. Но текст другой.Текст-это данные, организованные некоторыми символами, которые люди определяют сами после того, как они обретут мудрость, а не исходные экологические данные, поэтому вы должны восстановить текст в форме, которую может понять компьютер, то есть слово векторное кодирование, которое будет обсуждаться здесь.
Кодирование слов должно обеспечивать сходство слов
Подобие распределений векторного пространства
Между языками, построенными разными цивилизациями, есть сходство
Мы надеемся, что из одной языковой семьи (английской) в другую языковую семью (испанский) их распределение может быть сохранено после отображения в векторное пространство.Например, два слева на рисунке ниже соответствуют dos в испанском векторном пространстве , и позиции у них примерно одинаковые.
векторное космическое основание
Мы увидим, что word2vec позволяет нам изучать такие отношения.Многие места любят называть это синонимом, но на самом деле это просто отношения, поэтому мы надеемся, что сможем получить некоторые отношения более низкого уровня между словами, такие как отношение между королем и королевой на самом деле очень и очень похоже на отношения между мужчиной и женщиной. Поэтому я надеюсь, что Vking минус Vqueen и Vman минус Vwomen результат должен быть одинаковым, король и королева, мужчина и женщина, по сути, одно и то же. После такого кодирования некоторая информация об исходном тексте может быть надежно гарантирована. Имея так много фоновых знаний, люди понимают такую информацию, и мы надеемся, что после кодирования слов мы сможем сохранить понимание этих вещей в фоновых знаниях.
представить слово в компьютере
Традиционный способ — создать словарь (Dict).
Дискретное представление: однократное представление (горячее кодирование)
Дискретное представление: мешок слов
Дискретные представления: биграммы и N-граммы
Предыдущая модель мешка слов заботится только о встречаемости слов, а не о порядке их появления, например: Майк любит тебя, ты любишь Майка Это два разных предложения.
Мы хотим зафиксировать этот порядок, поэтому порядок предложений сохраняется через 2-грамм.
Частота появления некоторых n-граммных терминов очень и очень мала, но вам нужно освободить место для их хранения. , очень длинный. , очень очень редкий (разреженный).
языковая модель
Языковая модель часто видит слова, которые следуют за этими словами. Как определить неправильные выражения, такие как: ты любишь меня, ты любишь меня.
Проблема дискретного представления
Распределенное представление
Анализ распределенного представления: Вам трудно позволить мне взяться за эту вещь, поэтому я распределяю ее, бросаю на каждый дочерний узел или класс, а затем суммирую эти вещи обратно.
Распределенное представление слова рядом с другими словами.
Матрица совпадения
Размер окна: если вы хотите знать свое финансовое положение, вы должны знать, что несколько друзей вокруг вас подходят.
Частота сочетаемости: один или несколько раз.
Те люди, которые рядом с ним, будут считаться, а это проблема локального окна.
Определяет текущее слово со словами, окружающими текущее слово.
Проблемы указанные выше
Размерность слишком велика и очень разрежена, так как же уменьшить размерность, сохранив при этом исходную информацию?
Уменьшение размерности СВД
Из координат видно, что расстояние между i и like и enjoy одинаково.
Проблема уменьшения размерности СВД
Самое страшное в нейронных сетях то, что размерность слишком велика.Если размерность слишком велика, объем вычислений будет очень большим при соединении со следующими нейронами, поэтому я надеюсь, что эти разреженные векторы можно будет встроить в плотный вектор, а вектор сжат SVD Вроде бы такую задачу можно решить, но разница между SVD и нейронной сетью немного большая, проблема в том, что вы увидите, что word2vec во многих местах заранее не обучен, например, FM делает встраивание, есть такая ссылка, что они будут FM Embedded в большой фреймворк, такой как deeplearning, условием встраивания должно быть то, что его собственный режим или метод аналогичен, но SVD не является таким набором логики, поэтому он не подходит. Для решения этой проблемы был предложен NNLM, который является предшественником word2vec.
NNLM
NNLM (языковая модель нейронной сети) является предшественником word2vec. Первоначально она была разработана для решения проблемы языковой модели. Когда ваша языковая модель поднимается до биграммы, возникает много проблем с разреженностью, статистика не очень хорошая и эффект сглаживания это нехорошо Очень хорошо, поэтому использование статистического метода очень хорошее время, вам нужно пройти через весь корпус, и, наконец, вам нужно большое пространство для хранения, потому что вам нужно сохранить все вероятности появления всех слов.
Целевой функцией является максимальное правдоподобие, и параметр t (окно) можно сдвигать, чтобы переместить окно вперед. Строго говоря, это соотношение умножения, но из-за инженерного соотношения оно преобразуется в логарифмическую форму суммирования. Скользящее окно будет проходить по всему корпусу для суммирования, поэтому сумма его вычислений пропорциональна размеру корпуса.
ННЛМ: Структура
Следующий слой входного слоя называется проекционным слоем.Матрица состоит в том, что C - это вектор слов ваших 10w слов, а векторы-столбцы слов комбинируются один за другим.Предположим, теперь вам нужно сопоставить с 300-мерный плотный вектор, то матрица C представляет собой матрицу 300 * 10 Вт. Вес этого C инициализируется случайным образом, потому что я не знаю, каков окончательный вес.
Почему он называется проекционным слоем, ведь только одна позиция one-hot encoded вектора равна 1, а остальные позиции равны 0, а операция с матрицей C эквивалентна выниманию соответствующего столбца матрицы C.
После получения 300-битных плотных векторов трех слов w1, w2 и w3 он (проекционный слой) сделает одну вещь: объединит эти три вектора слов, чтобы получить 900-мерный вектор. Предположим, следующий скрытый слой проекционного слоя составляет 500 измерений, то 900 сделают полное соединение с этими 500.
Последний слой представляет собой линейный классификатор softmax. Размер последнего слоя такой же, как размер вашего словарного запаса, а также 10 Вт. Конечный результат, который я хочу получить, — это результат с наибольшей вероятностью векторов слов 10 Вт в словарь.
Вычислительная сложность NNLM
word2vec: CBOW (Мешок слов)
В word2vec задействованы две модели: модель CBOW (модель непрерывного набора слов) и модель Skip-gram (модель непрерывного Skip-gram). CBOW предсказывает текущее слово, зная контекст текущего слова, в то время как Skip-gram предсказывает его контекст, когда известно текущее слово.
Согласно тому, какое слово из 10 слов нужно предсказать.
CBOW: Hierarchical Softmax
Краткое описание.com/fear/53457027…
Я люблю смотреть чемпионат мира по футболу в Бразилии.Согласно предыдущему методу мне нужно преобразовать его в 6-мерный вектор.Если я думаю, что сгладить 6-мерный вектор очень проблематично, я могу использовать дерево Хаффмана для справиться с этим.Решение в дереве только Идти налево и идти направо (0 и 1). Как вес последнего слоя приведенной выше модели будет кратен θ (весам) 300*10w, потому что вы должны убедиться, что после умножения вы получите вектор 1*10w, этот расчет слишком велик. Здесь он сделал одну вещь. После кодирования этих слов в дерево Хаффмана он поставил θ на дереве и оставил веса на узлах дерева для принятия решения.Каждый раз, когда достигается узел, он вычисляется один раз, в каком направлении идти , Идти, потому что четыре слова пропали, и, наконец, произведение этих четырех решений должно быть максимизировано, и каждое решение рассматривается как LR-модель.
Для слова футбол мы можем получить следующие результаты:
CBOW: выборка отрицательного образца
Вопрос в том, почему часть отрицательных образцов может быть выбрана.Его подход: