Сегодня я хочу представить проект Github. Адрес проекта следующий. Он реализует функцию автоматического окрашивания черновиков линий. Эффект по-прежнему очень хороший. Давайте посмотрим.
GitHub.com/serial LAI может 3…
Введение
Этот проект в основном реализует функцию автоматического преобразования штрихового рисунка в цветное изображение. Конечно, мы можем научить нейросеть работать только с лайн-артом, но для практического применения нам нужна функция раскрашивания лайн-арта заданным цветом заранее. Существует множество способов реализации затенения, включая предоставление подсказок.
- без подсказки
- Способ окрашивания без подсказок
- Ввод: только штриховой рисунок
- Atari
- Методы окраски с подсказками, которые обычно представляют собой линии желаемого цвета в определенной области (например, PaintsChainer).
- Ввод: Lineart и atari
- Этикетка
- Подсказка в том, как окрашена этикетка
- Ввод: штриховой рисунок и метки
- ссылка
- Метод раскрашивания, использующий эталонное изображение в качестве подсказки (например, style2paints V1).
- Входные данные: Штриховые рисунки и эталонные изображения.
Метод извлечения строки
Существует множество улучшенных версий онлайн-методов извлечения, таких как **XDoG** илиSketchKeras. Однако, если модель обучена только одному типу штриховой графики, модель будет накладываться на этот тип штриховой графики, что сделает невозможным автоматическое окрашивание других типов штриховой графики. Следовательно, иTag2PixТочно так же здесь используются различные наброски линий в качестве обучающих данных для обучения сети.
Используются следующие три типа линий:
- XDoG: Извлечение линии с использованием разницы со стандартным отклонением двух распределений Гаусса;
- SketchKeras: Извлечение строки с использованием UNet. Линии, полученные этим методом, будут напоминать карандашные наброски;
- Эскиз Лайт: Продолжить извлечение строк через полностью свернутую сеть. Аналогичные цифровые эскизы, полученные таким образом.
Результаты извлечения тремя вышеуказанными методами показаны ниже:
Кроме того, я также рассматриваю три метода увеличения данных для набросков линий, чтобы предотвратить переоснащение.
- увеличить силу;
- Случайные морфологические преобразования обрабатывают линии разной ширины;
- Произвольный выбор значений RGB для обработки линий разной глубины;
Эксперимент без подсказок
мотивация
Во-первых, мне нужно было подтвердить, что метод на основе нейронной сети может точно и разнообразно раскрашивать без подсказок.Трудность в основном заключается в отображении линий в цветные изображения, потому что есть различия в цвете.. Итак, я думаю, что нейронная сеть без подсказок учится рисовать только одним цветом в любой области. Чтобы не застревать в локальных минимумах, помимо потери контента,Я также добавил враждебный проигрыш, потому что состязательное обучение, обучающее нейронную сеть раскрашиванию, может более точно соответствовать распределению данных.
метод
- pix2pix
- pix2pix-gp (pix2pix плюс штраф за центросимметричный градиент)
- pix2pixHD
результат
- pix2pix
- pix2pix-gp
- pix2pixHD
Эксперименты с Атари
мотивация
Глядя на приведенные выше результаты, кажется, что даже с добавлением состязательных потерь нейронная сеть все равно застряла в локальном минимуме. Хотя существуют разные степени цветовых вариаций, нейронная сеть запоминает только один цвет на одном символе в любой области. Без подсказок тренировать отображение линий на цветные картинки сложно, поэтому я решил добавить подсказки, а именно atari, как вход сети (ps. Строка с заданным цветом сверху, что говорит о том, что это часть сеть должна быть окрашена).
метод
добавлены подсказки
результат
Поэкспериментируйте с эталонными изображениями
мотивация
Я также рассматривал возможность использования эталонного изображения в качестве сигнала для передачи в нейронную сеть. Сначала я пытался добитьсяstyle2paints V1.Но мне сложно воспроизвести первоначальные экспериментальные результаты из-за развала тренинга. Поэтому я решил поискатьstyle2paints V1альтернативный метод.
метод
- style2paints
результат
Эксперимент по раскрашиванию видео
результат
Наконец, снова дайте адрес проекта:
GitHub.com/serial LAI может 3…
Добро пожаловать, обратите внимание на мой публичный аккаунт - рост алгоритма обезьяны, и общайтесь и учитесь вместе.