введение
Отличие и сложность мелкозернистых изображений по сравнению с обычными/общими изображениями заключается в ихДетализация категории, к которой принадлежит изображение, более точная., также является популярным направлением в области компьютерного зрения, включая классификацию, поиск и генерацию изображений.
Появляется все больше и больше наборов данных с подробными категориями изображений. В самом начале, примерно в 2011 году, эталонными наборами данных были цветы, птицы (CUB200), наборы данных о кошках и собаках, а также набор данных о собаках с наибольшим объемом данных. около 20 000 изображений, и теперь есть больше наборов данных, включающих больше категорий, включая одежду, фрукты и овощи, розничные товары и т. д., а с развитием глубокого обучения предлагаются различные модели классификации.Точность классификации набора составляет тоже все выше и выше.
Что я рекомендую сегодня, так это веб-сайт о ресурсах для мелкозернистого анализа изображений. Автор - Вэй Сюсан, глава Нанкинского научно-исследовательского института Megvii. Адрес веб-сайта следующий:
На этом веб-сайте в основном представлены документы, коды и наборы данных, связанные с детальным анализом изображений. Все документы представляют собой очень новые результаты, в основном результаты с 2017 по 2019 год.
Основное содержание следующее:
Они представлены в 9 аспектах:
- Введение
- руководство
- Научно-исследовательская работа
- Эталонный набор данных
- Детальное распознавание изображений
- Детализированный поиск изображений
- Генерация мелкозернистых изображений
- будущее направление
- Рейтинг точности классификации
1. Введение
Он в основном знакомит с содержанием веб-сайта, то есть показывает некоторые репрезентативные документы, коды и наборы данных, основанные на глубоком обучении на мелкозернистых изображениях.Направления их исследований включают классификацию, поиск, создание изображений и так далее.
2. Учебник
Здесь рекомендуются два учебника, оба сделаны самим автором, версия 2018 и версия 2019 соответственно.
3. Исследовательская работа
Также два экземпляра:
- Deep Learning for Fine-Grained Image Analysis: A Survey. 2019
Адрес бумаги:АР Вест V.org/ABS/1907.03…
- A Survey on Deep Learning-based Fine-Grained Object Classification and Semantic Segmentation. 2017
Адрес бумаги:lincoln.springer.com/article/10. …
4. Эталонный набор данных
Здесь показано 11 наборов данных, как показано на рисунке ниже, гдеBBoxУказывает, что набор данных предоставляет информацию о ограничивающей рамке объекта,Part annoзаключается в том, что набор данных содержит информацию о местоположении ключевых частей,HRCHYУказывает на наличие иерархических меток,ATRПредставляет метки атрибутов (например, цвет крыла и т. д.),TextsУказывает, что предоставляется текстовое описание изображения.
11 наборов данных здесь в основном содержат различные категории объектов, такие как птицы, цветы, одежда, кошки и собаки, фрукты и овощи, розничные товары и т. д. Обычно используемые наборы данных должны бытьCUB200Этот набор данных о птицах с 200 категориями включен в наборы экспериментальных данных многих статей.
5. Детальное распознавание изображений
Здесь методы мелкозернистого распознавания изображений делятся на следующие три типа:
- Детальное распознавание подсетями локализации-классификации
- Детальное распознавание с помощью сквозного кодирования признаков
- Использование дополнительной информации (мелкозернистое распознавание с внешней информацией), включая сетевые данные, мультимодальные данные (текст, аудио и т. д.), добавление операций человека
Здесь будет больше статей о первых двух методах, представленных здесь Самые старые из приведенных статей относятся к 2014 году, а затем есть последние статьи CVPR 2019, а кодовые адреса указаны для тех, у кого есть открытый исходный код. Поскольку статей слишком много, я не буду перечислять их одну за другой, а перечислю последние статьи отдельно.
На основе сети классификации местоположения
Бумага: Слабо контролируемые модели дополнительных частей для мелкозернистой классификации изображений снизу вверх, CVPR, 2019
Адрес бумаги:открытый доступ Tianhe City VF.com/content_CV P…
Сквозное кодирование функций
Бумага: Обучение разрушению и построению для мелкозернистого распознавания изображений, CVPR, 2019 г.
Адрес бумаги:открытый доступ Tianhe City VF.com/content_CV P…
Гитхаб:github.com/JDAI-CV/DCL
Используйте дополнительную информацию, включая сетевые данные, мультимодальные данные (текст, аудио и т. д.), добавьте манипуляции с человеком.
Документ: Изучение веб-данных с использованием состязательных дискриминационных нейронных сетей для мелкозернистой классификации, AAAI, 2019 г.
Адрес бумаги:GitHub.com/Впервые в человеческом теле/узнайте…
6. Детализированный поиск изображений
Направление мелкозернистого поиска делится на два направления
Без присмотра с предварительно обученными моделями
Название статьи: Избирательная сверточная агрегация дескрипторов для получения мелкозернистых изображений. 2017 г.
Под наблюдением с метрическим обучением
- Centralized Ranking Loss with Weakly Supervised Localization for Fine-Grained Object Retrieval.IJCAI,2018
Адрес бумаги:Woohoo IJcai.org/proceedings…
- Towards Optimal Fine Grained Retrieval via Decorrelated Centralized Loss with Normalize-Scale layer.AAAI,2019
Адрес бумаги:Mac.Item.Amount.Talent/Softener/Papers…
7. Генерация мелкозернистого изображения
Также делится на два направления:
Генерация из мелкозернистых дистрибутивов изображений
- CVAE-GAN: Fine-Grained Image Generation through Asymmetric Training. ICCV,2017
Адрес бумаги:открытый доступ. Город Тяньхэ VF.com/content_ICC…
Гитхаб:GitHub.com/Групповые карточки/CVA…
- FineGAN: Unsupervised Hierarchical Disentanglement for Fine-Grained Object Generation and Discovery. CVPR,2019
Адрес бумаги:открытый доступ Tianhe City VF.com/content_CV P…
Гитхаб:GitHub.com/Посмотрите на книгу/FI…
Генерация из текстовых описаний
Документ: AttnGAN: мелкозернистое преобразование текста в изображение с помощью генерирующих внимание состязательных сетей. CVPR, 2018 г.
Адрес бумаги:открытый доступ. Город Тяньхэ VF.com/content_CV с…
Гитхаб:GitHub.com/taoxugit/at…
8. Направление будущего развития
Перечислены два возможных направления:
1. Детальное обучение за несколько выстрелов
Бумага: Сопоставления кусочных классификаторов: обучение мелкозернистых учащихся для новых категорий с несколькими примерами, TIP, 2019 г.
Адрес бумаги:вооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооо
2. FGIA в более реалистичных условиях
Ниже приведены три документа:
- Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach. ICCV,2017
Адрес бумаги:Love.Stanford.Amount/~Физическое не так хорошо/Боюсь...
- The iNaturalist Species Classification and Detection Dataset. CVPR,2018
Адрес бумаги:открытый доступ. Город Тяньхэ VF.com/content_CV с…
- RPC: A Large-Scale Retail Product Checkout Dataset. 2019
Адрес бумаги:АР Вест V.org/ABS/1901.07…
9. Рейтинг точности классификации
Здесь в основном в наборе данныхCUB200-2011Уровень точности теста в наборе данных указывает текущий лучший метод и использует ли он стандартную информацию, дополнительные данные, используемую структуру сети, размер входного изображения и точность классификации:
На этом веб-сайте собрана текущая информация о детальном анализе изображений, включая документы, код и наборы данных, особенно самый последний представленный обзорный документ: «Глубокое обучение для мелкозернистого анализа изображений: обзор».
Адрес бумаги:АР Вест V.org/ABS/1907.03…
Кроме того, г-н Вэй Сюсань также опубликовал обзор мелкозернистого анализа изображений на Zhihu в 2017 году. Если вам интересно, вы также можете взглянуть:
Эксклюзивный мастер-код ИИ My DiDi Cloud: 9192, купите графический процессор DiDi Cloud и другие продукты ИИ и введите мастер-код, чтобы получить скидку 10%. Нажмите www.didiyun.com, чтобы перейти на официальный сайт Didiyun для покупки.
Добро пожаловать в мой общедоступный аккаунт WeChat--Рост алгоритма обезьяныили отсканируйте QR-код ниже, чтобы общаться, учиться и развиваться вместе!