Видео введение:Создавайте волшебных существ с помощью GAN
Создание иллюстраций для цифровых видеоигр требует высокой степени художественного творчества и технических знаний, а также требует, чтобы художники игр быстро перерабатывали идеи и создавали большое количество ресурсов, часто в сжатые сроки. Что, если бы кисть художника была не столько инструментом, сколько помощником? Модели машинного обучения, которые действуют как такие кисти, могут сократить время, необходимое для создания высококачественного искусства, не жертвуя художественным выбором, и, возможно, даже повысить креативность.
Сегодня мы представляем Chimera Painter, модель машинного обучения (ML), обученную автоматически создавать полностью детализированные визуализации на основе предоставленных пользователем очертаний существ. В качестве демонстрационного приложения, когда пользователь нажимает кнопку «Преобразование», Chimera Painter добавляет функции и текстуры к контуру существа, сегментированного с помощью меток частей тела, таких как «крылья» или «когти». Ниже приведен пример использования демо с предустановленными контурами существ.
В этой статье мы описываем некоторые проблемы, связанные с созданием модели машинного обучения для Chimera Pain, и демонстрируем, как использовать этот инструмент для создания ресурсов, готовых к видеоиграм.
Прототипы новых моделей
При разработке модели машинного обучения для создания изображений существ, готовых к видеоиграм, мы создали прототип цифровой карточной игры, основанный на концепции объединения существ в новые гибриды, которые могут сражаться друг с другом. В этой игре игроки начнут с карт реальных животных (таких как саламандры или киты), а затем сделают их сильнее, комбинируя их (создавая ужасающую химеру саламандры-кита). Это обеспечивает творческую среду для демонстрации моделей, генерирующих изображения, поскольку количество возможных химер требует способа быстрого создания большого количества художественных активов, которые можно комбинировать естественным образом, сохраняя при этом узнаваемые визуальные характеристики исходного существа.
Поскольку наша цель — создавать высококачественные изображения карт существ, руководствуясь мнением художников, мы экспериментировали с генеративно-состязательными сетями (GAN) на основе отзывов художников, чтобы создать изображения существ, подходящие для нашего прототипа фэнтезийной карточной игры. GAN соединяют две сверточные нейронные сети друг с другом: сеть генератора, которая создает новые изображения, и дискриминатор, который определяет, являются ли эти изображения образцами из набора обучающих данных (в данном случае изображениями, созданными художниками). Интернет. Мы использовали вариант, называемый условным GAN, где генератор получает отдельный вход для управления процессом создания изображения. Интересно, что наш подход сильно отличается от других работ GAN, которые обычно сосредоточены на фотореализме.
Для обучения GAN мы создали набор данных полноцветных изображений, содержащий биоконтуры одного вида, адаптированные из трехмерных биомоделей. Контуры существ характеризуют форму и размер каждого существа и обеспечивают карты сегментации, которые идентифицируют отдельные части тела. После того, как модель обучена, перед моделью ставится задача создать многовидовые химеры на основе контуров, предоставленных художником. Затем наиболее эффективные модели объединяются в Chimera Painter. Ниже мы покажем несколько примеров активов, созданных с использованием этой модели, включая одновидовые организмы, а также более сложные многовидовые химеры.
Обучение генерации имеет структуру
Одна из проблем с использованием GAN для создания существ заключается в том, что анатомическая и пространственная согласованность может быть потеряна при рендеринге тонких или низкоконтрастных частей изображения, несмотря на то, что они имеют большое значение для восприятия людьми. Примерами этого могут быть глаза, пальцы или даже различение перекрывающихся частей тела с похожими текстурами (см. ласково названный BoggleDog ниже).
Для создания химер требуется новый нефотографический набор данных в стиле фэнтези с уникальными характеристиками, такими как драматическая перспектива, композиция и освещение. Существующие репозитории иллюстраций не подходят в качестве наборов данных для обучения моделей машинного обучения, поскольку на них могут распространяться лицензионные ограничения, конфликтующие стили или просто не хватает разнообразия, необходимого для этой задачи.
Чтобы решить эту проблему, мы разработали новый полуавтоматический метод под руководством художника для создания наборов обучающих данных машинного обучения из трехмерных биологических моделей, который позволяет нам работать в масштабе и быстро выполнять итерации по мере необходимости. В ходе этого процесса художник создаст или приобретет набор 3D-моделей существ, по одной для каждого типа существ (например, гиены или льва). Затем художник использовал Unreal Engine для создания двух наборов текстур, наложенных на 3D-модель — один с полноцветными текстурами (слева, внизу), а другой — со сплошными цветами для каждой части тела (например, головы, ушей, шеи и т. д.). Текстура, называемая «разделенной картой» (справа, внизу). Второй набор фрагментов частей тела предоставляется модели во время обучения, чтобы гарантировать, что GAN понимает конкретные структуры, формы, текстуры и пропорции частей тела различных существ.
Все 3D-модели существ помещаются в простую 3D-сцену, опять же с использованием Unreal Engine. Затем набор автоматизированных сценариев возьмет эту 3D-сцену и интерполирует между различными позами, точками обзора и уровнями масштабирования каждой 3D-биологической модели, создавая полноцветные изображения и карты сегментации, которые составляют набор обучающих данных GAN. Используя этот подход, мы сгенерировали более 10 000 пар изображение + карта сегментации для каждой 3D-модели существа, сэкономив художнику миллионы часов по сравнению с ручным созданием таких данных (примерно 20 минут на изображение).
тонкая настройка
GAN имеют множество различных гиперпараметров, которые можно настраивать, что приводит к различному качеству выходных изображений. Чтобы лучше понять, какие версии модели были лучше других, художникам дали образцы различных типов существ, созданных этими моделями, и попросили просеять их до нескольких лучших примеров. Мы собрали отзывы о желаемых характеристиках, присутствующих в этих примерах, таких как восприятие глубины, стиль с точки зрения биотекстур и реалистичность лиц и глаз. Эта информация используется для обучения новой версии модели, и после того, как модель сгенерировала сотни тысяч биологических изображений, лучшее изображение выбирается из каждого биологического класса (например, газель, рысь, горилла и т. д.).
Мы настраиваем GAN для этой задачи, сосредоточив внимание на потерях восприятия. Этот компонент функции потерь (также используемый в Stadia Style Transfer ML) вычисляет разницу между двумя изображениями, используя функции, извлеченные из отдельной сверточной нейронной сети (CNN), ранее использовавшейся в наборе данных ImageNet, обученном на миллионах фотографий. Эти функции извлекаются из разных слоев CNN, и к каждому слою применяются веса, что влияет на их вклад в окончательное значение потерь. Мы обнаружили, что эти веса имеют решающее значение для определения внешнего вида окончательного сгенерированного изображения. Ниже приведены несколько примеров из GAN, обученных с разными весами потерь восприятия.
Некоторые различия на изображении выше связаны с набором данных, содержащим несколько текстур для каждого существа (например, красные или серые версии летучих мышей). Однако если не учитывать окраску, многие различия напрямую связаны с изменением значения потери восприятия. В частности, мы обнаружили, что определенные значения приводили к более четким чертам лица (например, правый нижний по сравнению с правым верхним) или «гладким» по сравнению с «узором» (правый верхний по сравнению с левым нижним), делая результирующее существо более реалистичным.
Ниже приведены некоторые созданные GAN существа, обученные с различными весами потери восприятия, показывающие небольшую выборку выходных данных и поз, с которыми может справиться модель.
Chimera Painter
Обученный GAN теперь доступен в демо-версии Chimera Painter, что позволяет художникам итеративно использовать модель вместо того, чтобы рисовать десятки похожих существ с нуля. Художники могут выбрать начальную точку, а затем настроить форму, тип или положение биологических частей, что позволяет быстро исследовать и создавать большое количество изображений. Демонстрация также позволяет загружать силуэты существ, созданные во внешних программах, таких как Photoshop. Просто загрузите предустановленный контур существа, чтобы получить желаемый цвет для каждой части существа, и используйте его в качестве шаблона, чтобы нарисовать одну вне Chimera Painter, а затем используйте кнопку «Загрузить» в демонстрации, чтобы конкретизировать свое создание.
Мы надеемся, что эти модели GAN и демо-инструмент Chimera Painter вдохновят других по-новому взглянуть на свои художественные пайплайны. Что можно создать, используя машинное обучение в качестве кисти?
Инструкции по обновлению: Приоритет отдается обновлению общедоступной учетной записи WeChat «Блог дождливой ночи», а блог будет обновлен позже, а затем будет распространен на различные платформы.Если вы хотите узнать больше заранее, обратите внимание на Публичный аккаунт WeChat «Блог дождливой ночи».
Источник блога:Блог Дождливой ночи