скрытое пространство
Скрытое пространство можно понимать как сжатое представление парных данных.Это сжатие сохраняет только наиболее важные особенности и игнорирует некоторую неважную информацию. Взяв в качестве примера сеть кодер-декодер, мы сначала используем полностью свёрточную нейронную сеть (FCN) сети для изучения признаков изображения, мы рассматриваем уменьшение размерности данных при извлечении признаков как своего родасжатие с потерями. Но так как декодеру нужнореконструкцияданные, поэтому модель должна научитьсяХраните всю необходимую информациюиигнорировать шум. Таким образом, преимущество сжатия (уменьшения размерности) заключается в том, что оно позволяет удалить избыточную информацию и сосредоточиться на наиболее важных функциях.
выразительное обучение
В репрезентативном обучении скрытое пространство может преобразовывать более сложные формы необработанных данных в более простые представления данных, которые более удобны для обработки данных. В скрытом пространстве различия в признаках между похожими образцами удаляются как избыточная информация, и сохраняются только их основные признаки. Итак, когда точки данных сопоставляются со скрытым пространством,Точки с похожими характеристиками ближе. На рисунке ниже трехмерные данные отображаются в двумерном скрытом пространстве, и аналогичные образцы в скрытом пространстве расположены ближе.
Архитектура кодировщик-декодер
Автоэнкодер на основеРасстояние данных в скрытом пространствеОбученная сетевая модель, целью которой является вывод чего-то похожего на входные данные, похожего на функцию идентификации. Красная часть на рисунке ниже — это скрытое пространство. Модель сначала сохраняет свойства, связанные с данными, в сжатом представлении, а затем точно реконструирует представление, то есть сначала отображает пространство данных в скрытое пространство, а затем — из скрытого пространства в пространство данных.
Во многих приложениях nlp мы часто используем выходные данные кодировщика (то есть скрытое пространство) в качестве нашего представления входного вектора именно потому, что скрытое пространство имеет свойство сохранять ключевые функции.
интерполяция
В полностью сверточной сети нам нужно увеличить размерность данных за счет деконволюции, а в структуре кодер-декодер нам нужно увеличить размерность данных за счет декодера, и то, и другое можно понимать как интерполяцию. Чтобы интерполяция имела хороший эффект, несомненно, критично качество скрытого пространства.