Tell me, I will forget; Show me, I may remember; Involve me, I will understand. Блог Парк титульная страница новое эссе соединять подписка
Когда модели глубокого обучения в НЛП нужна древовидная структура?
Когда модели глубокого обучения в НЛП нужна древовидная структура?
Некоторое время назад я прочитал статью «Когда необходимы древовидные структуры для глубокого изучения представлений?», опубликованную Jiwei Li и др. [1] на EMNLP 2015. В этой статье в основном сравниваются рекурсивные нейронные сети, основанные на древовидной структуре и на основе рекуррентная нейронная сеть со структурой последовательности (рекуррентная нейронная сеть), проводятся эксперименты на 4 типах задач НЛП, чтобы обсудить, когда модели глубокого обучения требуется древовидная структура. Ниже я расскажу, когда нам нужны знания о древовидной структуре, поделившись этой статьей и рассмотрев некоторые связанные материалы.
1 Дерево разбора синтаксиса
Согласно различным библиотекам деревьев аннотаций, существует две основные формы деревьев синтаксического анализа: 1) Дерево структуры фразы (дерево составляющих) и 2) Дерево зависимостей (дерево зависимостей). Вот простой пример, «Моя собака любит есть колбасу».
После того, как мы визуализируем это, дерево структуры фразы и дерево зависимостей:
Древовидная структура, упомянутая в статье [1], представляет собой синтаксическую древовидную структуру, полученную после синтаксического анализа в НЛП.
2 Сравнение моделей
В статье две группы моделей в основном разделены на две группы для сравнительных экспериментов, а именно:
- Standard tree models (standard Recursive neural models), standard sequence models (standard Recurrent neural models), standard bi-directional sequence models (bi-directional recurrent neural models).
- LSTM tree models[2], LSTM sequence models vs LSTM bi-directional sequence models.
Каждая группа состоит из трех моделей, модель дерева, модель односторонней последовательности и модель двусторонней последовательности.Для конкретных моделей вы можете обратиться к литературе.Ниже я привожу только структурную схему стандартной модели.
Standard Recursive/Tree Models
Standard Recurrent/Sequence Models
Bidirectional Recurrent Models
3 Экспериментальные данные
В этой статье были проведены эксперименты по 4 типам и 5 задачам в области НЛП. Конкретные экспериментальные данные можно найти в статье. Здесь я в основном анализирую характеристики каждой задачи и результаты финального эксперимента:
- Sentiment Classification on the Stanford Sentiment Treebank
Это проблема классификации тонкой тональности. Согласно библиотеке синтаксического дерева Стэнфорда, тип тональности отмечен на каждом узле, поэтому эксперимент разделен на уровень предложения и уровень фразы. Судя по результатам, древовидная структура для предложения несколько отличается. Помогите, не работает на уровне фраз.
- Binary Sentiment Classification
Это также проблема классификации настроений, в отличие от вышеизложенного, она имеет только бинарную классификацию и аннотируется только на уровне предложения, и каждое предложение относительно длинное. Экспериментальный результат состоит в том, что древовидная структура не имеет никакого эффекта.Возможная причина в том, что предложение длинное и нет богатой аннотации на уровне фразы, что приводит к потере усвоенной эмоциональной информации при дистанционном обучении.
- Question-Answer Matching
Это задание представляет собой викторину, которая состоит в том, чтобы дать описание, обычно состоящее из 4–6 предложений, а затем дать ответ на уровне фразы, основанный на описании, таком как географические названия, имена людей и т. д. В этой задаче древовидная структура также не играла роли.
- Semantic Relation Classification
Задача состоит в том, чтобы дать существительные в двух предложениях, а затем определить, какое смысловое отношение имеют эти два существительных. Древовидный подход значительно улучшает эту задачу.
- Discourse Parsing
является задачей классификации, для которой характерна короткая единица ввода, а древовидная структура не имеет значения.
в заключении
На основании вышеизложенных экспериментов автор делает следующие выводы.
Требуется древовидная структура:
- Задачи, требующие информации о семантической зависимости дальнего действия (например, вышеприведенная задача классификации семантических отношений) Извлечение семантических отношений
- Вход представляет собой длинную последовательность, то есть сложную задачу, и в сегменте достаточно аннотационной информации (например, задача классификации Стэнфордского эмоционального дерева на уровне предложения).Кроме того, автор также разделил эту задачу по знакам препинания Использование модели двунаправленной последовательности для каждого подсегмента, а затем использование модели однонаправленной последовательности в целом дает лучшие результаты, чем древовидная структура.
Древовидная структура не требуется:
- Длинные последовательности и недостаточное количество задач по маркировке сегментов (например, бинарная классификация настроений выше, задача сопоставления вопросов и ответов)
- Простые задачи (такие как классификация настроений на уровне фраз и задачи анализа дискурса), каждый входной сегмент короткий, и синтаксический анализ может не изменить порядок ввода.
Кроме того, Че Ваньсян из Харбинского технологического института также опубликовал в публичном аккаунте WeChat Харбинского технологического института: «Опираются ли модели глубокого обучения при обработке естественного языка на древовидные структуры? 》[3], в котором упоминалось, что «даже если мы сталкиваемся со сложными проблемами, пока мы можем получить достаточно данных для обучения», древовидная структура может быть устранена.
Благодаря этой статье, сообщению в блоге г-на Че и некоторым связанным с ним материалам, мы должны судить о том, нуждается ли синтаксическая древовидная структура в нашем внимании в соответствии с задачами, которые мы выполняем, а также преимуществами и недостатками синтаксического анализа.Я резюмирую следующее:
Что может дать нам синтаксический анализ?
- дальнодействующие семантические зависимости
- Фрагменты последовательности, содержащие лингвистические знания
- Упрощение ядра извлечения сложных предложений
Недостатки синтаксического анализа
- Самоанализ содержит ошибки и вносит шум
- Простые задачи сложные
- долгое время разбора
основная ссылка
[1] Дж. Ли, М.-Т. Луонг, Д. Джурафски, Э. Хови, Когда необходимы древовидные структуры для глубокого изучения представлений?, EMNLP (2015) 2304–2314.
[2] К. С. Тай, Р. Сочер, К. Д. Мэннинг, Улучшенные семантические представления из древовидных сетей долговременной кратковременной памяти, Acl-2015 (2015) 1556–1566.
[3] HIT Wanxiang: Зависит ли модель глубокого обучения при обработке естественного языка от древовидной структуры?
posted on 2015-11-29 11:33 robert_aiЧитать(2366) Комментарии(0)редактировать собирать обновить комментарийобновить страницуBack to topЗарегистрированные пользователи могут оставлять комментарии только после авторизации.Авторизоватьсяилирегистр,доступдомашняя страница сайта.[Рекомендуется] Более 500 000 исходных кодов VC++: крупномасштабное промышленное управление конфигурацией, моделирование мощности САПР и библиотека исходного кода ГИС![Событие] Конференция 2050 – Воссоединение молодежи с помощью технологий (5.26–27 Ханчжоу · город Юньци)
[Событие] Новое поколение облачных серверов HUAWEI CLOUD · Специальное временное предложение со скидкой 54%
[Подбор персонала] Мы серьезно относимся к тому, чтобы потратить много денег на поиск технических специалистов!
[Событие] Награда за продвижение Tencent Cloud cps, высокая конверсия + комиссия 20% ждет вас
· Uber выбирает текущего финансового директора VMware в качестве финансового директора, готовится к IPO в 2019 году
· Meituan трудно стать сервис-ориентированным Amazon, и бизнес не может полагаться только на рассказывание историй.
· Является ли Япония редкоземельной державой? Эксперт: Копать не так-то просто
· Сотни миллиардов Pinduoduo и его популярная головоломка
· Обнародована «Core War»: отечественная индустрия чипов обнажает недостатки
» больше новостей...
· Как определить технические способности и уровень людей?
· Руководство для начинающих для самостоятельных студентов
· влюбиться в программиста
· учиться учиться
· Управленческие ловушки превосходных техников
» Другие статьи базы знаний... сегодня в истории:
2014-11-29 Difference between stem and lemma
Никнейм:robert_ai
Возраст сада:3 года 7 месяцев
вентилятор:39
обрати внимание на:2 +Добавить подписку
|
||||||
| день | один | два | три | Четыре | пять | шесть |
|---|---|---|---|---|---|---|
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 1 | 2 | 3 | 4 | 5 |
поиск
Самая используемая ссылка
последнее эссе
- 1. Механизм внутреннего внимания при обработке естественного языка
- 2. Совместное обучение распознаванию сущностей и извлечению отношений на основе нейронной сети
- 3. Применение структуры нейронной сети в распознавании именованных объектов (NER)
- 4. Использование Википедии для обучения векторов слов на упрощенном китайском языке
- 5. Применение механизма внимания при обработке естественного языка
- 6. Как генерировать хорошие векторы слов
- 7. Говорите о макросредних и микросредних показателях оценки
- 8. Когда модель глубокого обучения в НЛП нуждается в древовидной структуре?
- 9. Установка инструмента MetaMap под Windows
- 10. Перепечатка — Как выбрать алгоритм машинного обучения
мой ярлык
- машинное обучение(9)
- NLP(7)
- глубокое обучение(6)
- Deep Learning(4)
- Нейронные сети(2)
- attention(2)
- обработка естественного языка(2)
- механизм самоконтроля(1)
- Минимальное расстояние редактирования(1)
- BioNLP(1)
- Более
Классификация эссе(32)
Архив эссе (25)
- Март 2018 (1)
- Октябрь 2017 (1)
- Май 2017 (1)
- март 2017 г. (1)
- Октябрь 2016 (1)
- июнь 2016 г. (1)
- март 2016 г. (1)
- ноябрь 2015 г. (1)
- июнь 2015 г. (1)
- Апрель 2015 (2)
- март 2015 г. (2)
- Февраль 2015 (1)
- январь 2015 г. (1)
- ноябрь 2014 г. (3)
- Октябрь 2014 (3)
- Сентябрь 2014 (4)
Классификация статей (1)
Архив статей (2)
Очки и рейтинг
- Кредиты - 29650
- Ранг - 13377