Обзор

В сфере глубокого обучения мы часто видим новости о том, что некая модель есть в списке. Большой прорыв в определенной задаче алгоритма нейронной сети, первый зависит от набора данных, а второй зависит от структуры модели.

Прорыв в области изображений, набор данных ImageNet незаменим, в этом важность набора данных, поскольку он записывает информацию о целевой функции. Но мы знаем из предыдущего раздела, что набор данных ущербен, он не может полностью записать информацию о целевой функции, и часть ее будет потеряна. Качество набора данных заключается в его уровне сохранения информации о целевой функции.

Задача этапа обучения — использовать информацию из набора данных (функция набора данных$d(\mathbf x)$), восстановить целевую функцию$o(\mathbf x)$. Из-за различных ограничений мы получим только функцию, которая аппроксимирует целевую функцию$f(\mathbf x)$.

Для хорошей модели ее соответствующая форма функции ближе к целевой функции, так что она может лучше компенсировать дефекты набора данных и получать лучшие результаты.

Визуальный дисплей

2 балла

Ссылаясь на пример в предыдущем разделе, набор данных имеет 2 балла, и скорость сохранения информации в этом наборе данных очень низкая.

набор данных:

Сделайте различные предположения о его функциональной форме:

Прямая форма:

Параболическая форма:

Путем настройки параметров$w$, мы можем получить бесконечное количество парабол, и они могут идеально имитировать функцию набора данных$d(\mathbf x)$

Есть много других функциональных форм, и сами функциональные формы бесконечны. Другие функциональные формы также могут идеально имитировать функции набора данных.$d(\mathbf x)$

3 балла

Прямая форма:

Полиномиальная форма:

5 баллов

Прямая форма:

Полиномиальная форма:

По мере увеличения точки данных, форма функции приближается к прямой линии, но возможно возможна возможность.

Суммировать

Информацию в виде целевой функции нельзя получить из данных, а возможности безграничны.

Спроектировать структуру нейронной сети

Информации в наборе данных недостаточно, и нам нужно получить дополнительную информацию из других мест, чтобы использовать ее для управления структурным проектированием нейронной сети, чтобы компенсировать недостаток информации.

особая структура

В различных задачах глубокого обучения хорошие модели используют узкоспециализированные структуры. как:

• Задача изображения: 2D CNN
• Текстовые задачи: Embedding, 1D CNN, RNN, CRF, Transformer и т. д.

Многие специализированные структуры разработаны с привязкой к обработке целевой функции. Например, CNN моделирует организационную структуру зрительного нерва. Хотя конкретная форма целевой функции неизвестна, люди часто могут получить некоторую информацию о ней и получить лучшие результаты, моделируя обработку целевой функции.

структурный дизайн

Структура нейронной сети является скелетом алгоритма, который напрямую определяет конечный потенциал алгоритма. Скелет устроен не очень хорошо, как бы вы его ни тренировали, в итоге он будет только неудовлетворительным.

Неподходящая структура:

Правильная структура:

Структуру нейронной сети нельзя получить путем обучения, и обычно ее необходимо проектировать вручную. Существуют также поиски архитектуры с помощью алгоритмов, то есть пробование различных архитектур и выбор лучшей по конечному эффекту обучения, что требует огромных вычислительных мощностей и подходит только для очень небольшого числа учреждений с сильными финансовыми ресурсами. .

Чтобы вручную спроектировать хорошую структуру нейронной сети, вам необходимо:

1. иметь определенное представление или разумное предположение о целевой функции, соответствующей поставленной задаче;
2. Ознакомьтесь с распространенными структурами в нейронных сетях и поймите их принципы;
3. Используйте эти структуры, чтобы собрать структуру, аналогичную целевой функции.

Суммировать

1. Набор данных не может предоставить достаточно информации, и недостаток информации должен быть компенсирован структурой нейронной сети.
2. Информация о структуре нейронной сети исходит из понимания и моделирования процесса обработки целевой функции.

проблема

Разве не сказано, что нейронная сеть может моделировать любую функцию, зачем нам проектировать ее структуру?

Справочное программное обеспечение

Для получения дополнительной информации и интерактивной версии, пожалуйста, обратитесь к приложению:

Нейронные сети и глубокое обучение

Доступно для скачивания в App Store, Mac App Store, Google Play.