Оригинальная ссылка:Tickets.WeChat.QQ.com/Yes/VW RI FAQ G Z…
Сегодня я в основном делюсь двумя проектами Github, оба из которых используют PyTorch для реализации моделей сетей глубокого обучения, в основном некоторых часто используемых моделей, включая ResNet, DenseNet, ResNext, SENet и т. д., а также дают соответствующие экспериментальные результаты, включая полную обработку данных и загрузка, построение модели, построение процесса обучения и реализация тестового кода.
Далее мы представим эти два проекта.
1. PyTorch Image Classification
Этот код в настоящее время имеет более 200 звезд, в основном реализует следующие сети и проводит эксперименты с наборами данных MNIST, CIFAR10, FashionMNIST и другими.
Способ применения следующий:
Затем следует привести экспериментальные результаты собственного обучения автора, а затем сравнить их с экспериментальными результатами оригинальной статьи, включая разницу в настройках обучения, а затем также отдельно указать количество итераций обучения и время обучения.
После этого автор также изучил влияние остаточных единиц, стратегий скорости обучения и увеличения данных на производительность классификации, например
- Дизайн остаточных единиц в стиле PyramidNet
- Косинусный отжиг скорости обучения
- Cutout
- Случайное стирание
- Mixup
- Предварительная активация ярлыков после даунсэмплинга
Результаты эксперимента показывают:
- Остаточный дизайн блока, такой как пирамидальная сеть, полезен, но не подходит для использования с предварительной активацией ярлыков после понижения дискретизации.
- Стратегия снижения скорости обучения, основанная на косинусе, имеет небольшое улучшение
- Вырезание, случайное исключение и смешивание работают хорошо, когда смешивание требует дополнительной подготовки.
В дополнение к этому эксперименту автор продолжил несколько экспериментов, в том числе множество экспериментов по размеру партии, размеру начальной скорости обучения, сглаживанию меток и т. д., и дал соответствующие экспериментальные результаты.
Наконец, приводятся статьи по этим сетевым моделям и статьи по различным стратегиям обучения.
В дополнение к реализации соответствующей сетевой модели этот проект может дать нам некоторое вдохновение, используя различные методы или изучая базовый размер пакета и начальную скорость обучения.Некоторые методы могут быть применены к сети для повышения производительности классификации.
Ссылка на сайт:
GitHub.com/Хе Юнши на сцене/ру Тор…
2. PyTorch Image Models
Этот код в настоящее время имеет более 600 звезд и был обновлен в последние дни с добавлением большего количества сетей, включая DPN, Xception, InceptionResNetV2 и недавно популярную EfficientNet.
Этот проект имеет следующие характеристики:
- Все модели инкапсулированы, то есть все они имеют интерфейсы конфигурации и API по умолчанию, включая унифицированный интерфейс классификатора вызовов.
get_classifier,reset_classifier, интерфейс прямых вычислений для функцийforward_features - Модель имеет согласованный загрузчик предобучающей модели, то есть она может решить, использовать ли последний слой предобучающей модели или нужно изменить входной слой с 3 каналов на 1 канал;
- Сценарии обучения можно использовать в различных режимах, включая распределенный, многоплатный для одной машины, одноплатный для одной машины или ЦП для одной машины.
- Динамически реализовывать операции слоя пула, включая объединение среднего, максимальное объединение, среднее + максимальное или среднее и максимальное объединение результатов, которые объединяются, а не накладываются друг на друга;
- Реализация различных стратегий обучения, таких как косинусная скорость обучения, случайное исключение, сглаживание меток и т. д.
- Реализовать смешение
- Предоставьте сценарий предсказания
Автор также дает экспериментальные результаты обучения, а дальше идут методы использования, и данные тоже готовятся в указанном месте, и их можно использовать.
Кроме того, автор также дает список дел и будет продолжать улучшать проект.
Ссылка на сайт:
Добро пожаловать в мой общедоступный аккаунт WeChat--Рост алгоритма обезьяныили отсканируйте QR-код ниже, чтобы общаться, учиться и развиваться вместе!