«Это второй день моего участия в первом испытании обновлений 2022 года. Подробную информацию о мероприятии см.:Вызов первого обновления 2022 г."
?авторское право: Эта статья изначально была создана [Morocracy AI], все большие ребята, прочитайте ее в одной статье, пожалуйста, ознакомьтесь с ней. ?утверждение: Как один из блоггеров с самым большим количеством галантереи в области ИИ во всей сети, ❤️ не отказываюсь от своего времени ❤️
? Этот пост в блоге посвящен восстановлению изображений и лишь кратко знакомит с работой этой статьи.
? Основная информация
- Image Inpainting with External-internal Learning and Monochromic Bottleneck
- Изображение Inpainting с внешними в обучении и монохромными узкими местами
- GitHub.com/ten G бандит-ван…
- АР Вест V.org/ABS/2104.09…
Абстрактный перевод
Хотя последние методы рисования продемонстрировали значительные улучшения в глубоких нейронных сетях, они по-прежнему страдают от артефактов, таких как тупые структуры и резкие цвета при заполнении отсутствующих областей. Чтобы решить эти проблемы, мы предлагаем внешне-внутреннюю схему отрисовки с монохромным узким местом, которая помогает моделям отрисовки изображения устранять эти артефакты. На этапе внешнего обучения мы реконструируем недостающие структуры и детали в монохроматическом пространстве, чтобы уменьшить измерение обучения. На этапе внутреннего обучения мы предлагаем новый метод внутреннего распространения цвета, который использует прогрессивную стратегию обучения для восстановления согласованных цветов. Обширные эксперименты показывают, что предложенная нами схема помогает моделям рисования изображений давать более структурно-сохраняющие и визуально привлекательные результаты.
Основные вклады можно резюмировать следующим образом:
- Насколько нам известно, мы являемся первой компанией, внедрившей внешне-внутренний подход к обучению для глубокого рисования изображений. Он изучает семантические знания извне посредством обучения на больших наборах данных, используя при этом внутреннюю статистику одного тестового изображения.
- Мы разрабатываем прогрессивную внутреннюю сеть затенения изображений, которая в нашем случае обеспечивает превосходную производительность затенения.
- Мы обобщаем предложенный нами метод на несколько моделей глубокого рисования и наблюдаем явные улучшения визуального качества и возможности обобщения модели на нескольких наборах данных.
- Conclusion
В этой статье мы предлагаем общую внешне-внутреннюю схему обучения живописи с монохромным узким местом.
Сначала он восстанавливает монохроматические цвета, используя семантические знания, полученные за пределами большого набора данных, а затем восстанавливает цвета из одного тестового изображения. По сравнению с предыдущими методами наш метод позволяет создавать более согласованные структуры и визуально более гармоничные цвета.
Обширные эксперименты показывают, что наш метод может постоянно улучшаться качественно и количественно на нескольких моделях магистральных сетей. Основным ограничением нашего метода является скорость вывода. Наш метод медленнее, чем современные методы, из-за дополнительных этапов, необходимых для раскрашивания.
В будущем мы планируем еще больше ускорить процесс затенения и распространить предложенную схему на другие низкоуровневые задачи зрения, такие как суперразрешение.
? Настройка среды
Библиотека зависимостей очень лаконична
- Python 3.6
- Pytorch 1.6
- Numpy
conda create -n torch16 python=3.6.6
conda activate torch16
# CUDA 10.1
conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=10.1 -c pytorch
pip install pillow==5.2.0
pip install opencv-python
pip install scikit-image
pip install scipy
pip install thop
? Тестирование исходного кода
В настоящее время код очень лаконичен, вы можете запустить его напрямую, обратившись к официальному файлу readMe.
? Этап 1: Раскрашивание
git clone https://github.com/Tengfei-Wang/external-internal-inpainting.git
cd external-internal-inpainting
conda activate torch16
Colorization [команда проверки метода окраски]
python main.py --img_path images/input2.png --gray_path images/gray2.png --mask_path images/mask2.png --pyramid_height 3
Вывод выглядит следующим образом
starting colorization. Scale 0
starting colorization. Scale 1
starting colorization. Scale 2
Наилучшие результаты следующие
Анализ исходного кода на данном этапе выглядит следующим образом
? Фаза 2: Реконструкция
Слепое предположение: смысл здесь в том, что, заменив вход других магистралей [Repair Network] изображением после окраски, можно добиться лучшего эффекта восстановления; официальные лица не сделали дальнейших инструкций по подключению, и тест не будет проводиться здесь пока;
Мало по малу
? Рендеринг бумаги
Если вас интересует подробная классификация восстановления изображений, вы можете просто обратиться к следующему сообщению в блоге.
? Удаление цели
? Исправление неправильной маски
Необъяснимое здесь, упомянутоеОценка набора данных? ? ?
Непосредственное понимание: модель обучена на Places2, эффект приложения протестирован на наборе данных DTD.
? Исправления под руководством пользователя
??Классические сообщения в блогах, созданные платформой Nuggets, выглядят следующим образом??
Область компьютерного зрения, классические посты в блогах
-
?Используйте ИИ для преобразования фотографий хороших друзей в карандашные наброски —— 【?2020 U2Net?】
-
?Создание среды NiceGAN, перенос стилей (с исходным кодом) | [CVPR 2020]
-
?Раскрашивание изображений на основе глубокого обучения — обзор【Последний обзор за 2021 год】
-
?Написание формулы LaTeX2021, графическая установка, подробный туториал, чтение одной статьи
Обучение ИИ, построение среды глубокого обучения
-
?# Ubuntu устанавливает графический учебник cuda11.2 для текущего пользователя
-
?# Установите Pytorch и Torchvision в cuda10.0 под Linux [прочитайте статью]
?? Молеологический ИИ
?Как один из блогеров с самой галантереей в области ИИ во всей сети, ❤️ я доживаю свое время ❤️ ❤️ Если статья была вам полезна,Ставьте лайки и комментируйте, чтобы поощрять каждое серьезное творение блоггера.