Текстовый / Технологический отдел для новичков - Yihao
предисловие
Как мы все знаем, глубокое машинное обучение требует большого количества данных для обучения, чтобы улучшить обобщение модели, и эти данные часто составляют порядка сотен тысяч или миллионов или даже больше. Итак, зачем нам столько выборочных данных? Давайте посмотрим на пример:
Для модели глубокого обучения или машинного обучения мы не только требуем, чтобы она хорошо соответствовала обучающему набору данных (ошибка обучения), но также ожидаем, что она хорошо подходит для неизвестного набора данных (тестового набора) (способность к обобщению). результирующая ошибка теста называется ошибкой обобщения. Чтобы измерить способность к обобщению, наиболее интуитивно понятным является переоснащение и недообучение модели.
Переобучение и недообучение используются для описания двух состояний модели во время обучения. В общем случае тренировочный процесс будет представлять собой график, как показано ниже:
В начале обучения модель все еще находится в процессе обучения и находится в области недообучения. По мере обучения как ошибка обучения, так и ошибка теста уменьшаются. После достижения критической точки ошибка обучающего набора уменьшается, а ошибка тестового набора увеличивается, и в это время он входит в область переобучения — поскольку обученная сеть превосходит обучающий набор, производительность данных, отличных от обучающих поставил Но нехорошо. Поскольку ошибку обобщения нельзя оценить по ошибке обучения, слепое уменьшение ошибки обучения не обязательно означает, что ошибка обобщения уменьшится.
следовательно,Модели машинного обучения и глубокого обучения должны уделять больше внимания уменьшению ошибок обобщения, чтобы действительно отражать способность прогнозирования.
Основными причинами ошибки обобщения являются:
- Размер выборки обучающего набора данных. Вообще говоря, если количество выборок в наборе обучающих данных слишком мало, это, скорее всего, приведет к переобучению.
- Образец набора данных для обучения один. Если тип данных выборки не является исчерпывающим, это повлияет на эффект прогнозирования.
- Образец шумный. Слишком большое количество отвлекающих факторов в выборке также повлияет на эффективность прогноза.
- Сложность модели. Найдите подходящую функцию F(X,Y) для представления набора данных. Если сложность модели слишком низкая, ее легко недообучить, но если сложность слишком высока, ее легко переобучить.
В центре внимания этой статьи будут образцы, рассказывающие о том, как мы производим высококачественные образцы, которые соответствуют ожиданиям в нашем собственном бизнесе.
Часто используемые решения для изготовления образцов
-
Ручная аннотация. Соберите большое количество картинок страниц, отметьте на картинках блоки, базовые компоненты и бизнес-компоненты (какие компоненты, где они находятся), а также соберите компоненты с разными входными параметрами Трудозатраты всего процесса генерации выборки очень высок.
-
Индивидуальные сгенерированные образцы. Моделируйте генерацию страниц с помощью кода. В первые дни мы также использовали этот метод, вводя большое количество компонентов в соответствии с характеристиками нашего собственного бизнеса.Гибкость действительно очень высока, но производственный цикл очень долог и требует высоких затрат на обслуживание.
Производитель образцов
После нащупывания и разработки карьеров на ранней стадии наш образец производственного плана выглядит так, как показано на рисунке ниже, который будет расширен в свою очередь:
материальный центр
Основой генерации образцов является использование компонентов.Стек технологий в основном включает системы React и Vue, бизнес-подразделение в основном включает базовые компоненты и бизнес-компоненты. Создавайте образцы компонентов, которые можно выбрать из библиотеки материалов или пользовательских импортированных пакетов компонентов NPM.
параметр
Модели глубокого обучения обычно имеют высокую сложность, Взяв в качестве примера полиномиальную функцию высокого порядка, полином можно записать как P (x):
P(x) определяется следующим полиномом:
в,
Нетрудно заметить, что модельные параметры полиномиальной функции высшего порядка очень велики. Переобучение более вероятно, если количество выборок в обучающем наборе данных слишком мало, особенно меньше, чем количество параметров модели (в элементах). Основываясь на теории, мы поддерживаем различные формы компонентов, атрибуты, правила... в конфигурации компонентов.
Описание DSL
Мы определяем набор описаний DSL промежуточного состояния в процессе изготовления образца и выражаем поступающие материалы и параметры. В настоящее время поддерживает имя компонента [будет автоматически использоваться как имя метки], атрибут, имя пакета, версия, тип импорта [разрушение, деструктурирование], стиль; другие пакеты и сценарии инициализации, такие как тема и шаблоны, которые зависят от инициализации; глобальные настройки стиля
,
Scheduler
В качестве центра управления задачами Scheduler сначала анализирует входной DSL, просматривает компоненты и импортирует компоненты, свойства и т. д. Запланируйте соответствующие плагины для выполнения различных задач. Например, страница RF в нашем бизнесе использует компоненты Vue. После разбора стека технологий vue планировщик вызовет адаптер для упаковки и адаптации компонентов vue. Наконец, создание образцов страниц завершается планированием симулятора.
Центр плагинов
Отвечает за выполнение подзадач. В настоящее время в основном существует четыре типа подключаемых модулей: адаптер [адаптация], генератор [генерация], фильтр [фильтрация и шумоподавление] и установщик [установка].
эмулятор
После того, как планировщик завершит обработку задачи ввода DSL, симулятор соберет результат настройки параметров для отображения изображения страницы и одновременно автоматически сгенерирует аннотацию. Общий процесс выглядит следующим образом: