Что такое нейронные сети глубокого обучения
Вообще говоря, существует четыре основных способа обучения сетей глубокого обучения:
- контролируемое обучение
- неконтролируемое обучение
- Полуконтролируемое обучение
- обучение с подкреплением
контролируемое обучение
Это относится к использованию уже помеченных данных для обучения модели прогнозированию категории новых данных.
неконтролируемое обучение
Это относится к кластеризации данных напрямую без предварительной маркировки данных.
полуконтролируемое обучение
Это относится к использованию контролируемых методов обучения и неконтролируемых методов обучения одновременно. Чтобы быть точным, он используется как для помеченных данных, так и для немаркированных данных.
обучение с подкреплением
Обучение с подкреплением также использует неразмеченные данные, но каким-то образом знает, приближаетесь ли вы к правильному ответу или отдаляетесь от него.
Вышеупомянутое дано только для каждого метода обучения нейронной сети.Базовые концепты, по сути, когда вы впервые соприкасаетесь с глубоким обучением, вы в основном не знаете, о чем идет речь, и все их определения взяты изплоскость данныхЧтобы увидеть, нужно сначала понять, что называетсяпомеченные данныеиНеразмеченные данные,Говорить о глубоком обучении без данных в принципе бессмысленно.Мы обучаем модель, чтобы компьютер чему-то научился, а данные, можно сказать, являются частью нашегоПредыдущие знания.
Что такое размеченные данные?
Например, например, у нас есть много изображений кошек и изображений собак, мы приводим эти изображения соответственнометка, который используется, чтобы сообщить компьютеру, какие изображения кошек и какие изображения собак, и подобные данные помечены как данные. Неразмеченные данные не помечаются.
Изображение взято из:Не беспокоить ПИТОН
Какие наборы данных существуют для контролируемого обучения?
В настоящее время автор не имеет большого контакта с глубоким обучением, и они все еще находятся на стадии обучения с учителем, поэтому упомянутый здесь набор данных также основан на обучении с учителем.
В нашем контролируемом обучении нейронной сети мы часто говорим о следующих наборах данных:
- обучающий набор (обучающий набор данных)
- набор данных проверки
- тестовый набор данных
Обучающий набор
Буквально набор данных, используемый для обучения модели.
набор проверки
Функция состоит в том, чтобы использовать каждую модель для прогнозирования проверочного набора после обучения нескольких моделей с помощью обучающего набора и записи точности модели.
тестовый набор
Набор тестов отделяется от исходных данных для прогнозирования обученной модели и обычно используется для измерения производительности и способности модели к классификации. Следует отметить, что тестовый набор не может появляться в обучающем наборе, иначе он будет бессмысленным.
Вопрос: Как следует разделить три набора данных?
Да, это также сомнение, которое у меня возникает, когда я получаю исходные данные и делю данные.Какие три набора данных?ОпытНу на самом деле есть:
небольшой набор данных
- тренировочный сет 60%
- Проверочный набор 20%
- Тестовый набор 20%
большой набор данных
Например, 1 миллион данных мы можем разделить согласно следующим пропорциям:
- 98/1/1 (обучение/валидация/тестирование)
- 99,5/0,4/0,1 (как указано выше)
Подробную информацию см. в курсе глубокого обучения Wu Enda.
Каковы метрики оценки для моделей классификации?
Когда набор данных доступен и модель обучена, как мы оцениваем производительность и эффект модели?Здесь мы используемклассификационная модельПоговорим о том, как измерить качество модели.Показатели оценки у разных моделей разные.Я поделюсь с вами тем, что я узнал в будущем.
классификационная модельКаковы общие показатели?
- Точность
- Точность
- Отзывать
- Значение F1 (F1-мера)
Определите вычисляемые переменные для выборки:
TP(True Positive): Положительный класс прогнозируется как количество образцов положительного класса.
FP(False Positive): положительный класс прогнозируется как количество образцов отрицательного класса
TN(True Negative): Отрицательный класс прогнозируется как количество образцов отрицательного класса.
FN(False Negative): количество выборок, для которых прогнозируется, что отрицательный класс будет положительным классом.
Вы можете быть сбиты с толку, положительные образцы здесь относятся кположительный класс, например, если я хочу идентифицировать изображение кошки, изображение кошки является нашим положительным образцом, а изображения других типов — нашими отрицательными образцами, например изображение собаки.отрицательный классМы не хотим, чтобы его идентифицировали как кошачий.
Правильная ставка
Для заданного набора тестов классификаторКоличество правильно классифицированных образцовиобщее количество образцовСоотношение.
Формула расчета:Acc = (TP + TN) / all
точность
Положительный класс прогнозируется как количество образцов положительного классаЗаниматьПрогнозируется, что положительный класс будет суммой количества образцов положительного класса, а отрицательный класс будет равен количеству положительных классов.пропорция.
Формула расчета:prec = TP / TP + FN
отзывать
Положительный класс прогнозируется как количество образцов положительного классаЗаниматьПрогнозируется, что положительный класс будет суммой образцов положительного класса, а положительный класс будет отрицательным классом.пропорция
Формула расчета:recall = TP / TP + FP
F1-measure
точностьиотзыватьГармоническое среднее .
Формула расчета:F1 = 2PR / P + R
Простой взгляд на формулу расчета в основном сбивает с толку.Автор иногда путает индикаторы в этой области.Я обращаюсь к картинке, чтобы увидеть несколько индикаторов, чтобы увидеть, будет ли это лучше понятно:
A: (Я тоже хочу то, что нашел)
B: Получено, но не имеет значения (искал, но бесполезен)
C: не найдено, но актуально (не найдено, но на самом деле разыскивается)
D: Не найдено и не актуально (не найдено и бесполезно)
Когда мы на самом деле рассматриваем эффект модели, мы не обязательно смотрим на все индикаторы.Мы должны объединить наши сценарии применения, чтобы увидеть, на какие индикаторы мы обращаем больше внимания.Например, мы делаемМодерация деликатного текста, мы можем уделить больше вниманияточность, мы можем допустить случайную травму, но если мыОчистка деликатного текста, мы можем уделить больше вниманияотзывать, потому что нам нужно убедиться, что большинство положительных образцов идентифицированы,отсутствующая частьМожем решить вручную.
Суммировать
В этой статье кратко представлены некоторые из современных методов глубокого обучения для обучения нейронных сетей, представлено разделение наборов данных для обучения с учителем, а также представлено, как мы оцениваем качество модели классификации и каковы их показатели.Это то, что думает автор. Некоторые моменты, на которые мы, такие как новички в глубоком обучении, можем обратить внимание, включая данные и методы оценки, надеемся быть полезными для вас.