Вы знаете, что большинство программ для редактирования изображений обычно используют их для исправления вашего лица, добавления фильтра и т. д., эффект довольно хороший.
Но когда вы используете их для «подлачивания» фотографий, производительность не такая яркая. Обычно инструменты редактирования изображений могутЗаимствовать пиксели из соседних областей(как это делает фотошоп)заполнить недостающие части, но недостатки очевидны:Невозможно определить, что изначально отсутствовало на изображении.
Поэтому их можно использовать только для ремонта углов и углов, а восстановить изображение в целом нельзя. Этот недостаток проявляется при восстановлении фотографий, особенно когда вы хотите восстановить фотографию, которой несколько десятков лет, и вы знаете, какой изначально была недостающая часть фотографии.
Но ничего, ИИ решил эту проблему. Недавно исследователи из Nvidia разработали чрезвычайно продвинутую технику глубокого обучения, которая может восстановить то, что изначально отсутствовало в изображениях. Например, если есть фотография лица с отсутствующими глазами, если вы используете инструменты редактирования, такие как Photoshop, для восстановления, вы можете только заполнить пиксели соседних частей и не можете восстановить человеческие глаза, но ИИ разработка NVIDIA умеет заполнять недостающие детали человеческому глазу, даже если результат иногда выглядит не очень гармонично.
На самом деле, многие люди и раньше пытались использовать технологию на основе ИИ для восстановления изображений, но они ограничивались восстановлением прямоугольных участков, сосредотачиваясь только на восстановлении центральной части изображения, и не могли восстановить недостающие части фотографии. и это часто занимает много времени Постобработка, но ИИ Nvidia отличается.
Он устойчив к отсутствующим частям любой формы, размера или на любом расстоянии от края фотографии. Более того, даже если недостающая часть фотографии продолжает увеличиваться, ИИ спокойно справится с ней и изящно восстановит ее.
Почему этот ИИ такой мощный?
Исследователи объяснили в своей опубликованной статье, что они применили метод под названием «частичная свертка», который заключается в добавлении в нейронную сеть слоя частичной свертки, который включает перенормировку, подобную маске.Свертка и обновление маски — это две части. свертка также называется сверткой с учетом сегментации в задачах сегментации изображения. Этот метод гарантирует, что выходные данные модели для исправления отсутствующих пикселей не будут зависеть полностью от входного значения, что позволяет исправлять отсутствующие части произвольной формы, размера и местоположения. Затем часть сверточного слоя может нормализовать каждый вывод в соответствии с правильностью соответствующего принимающего поля, тем самым гарантируя, что выходное значение не зависит от значения отсутствующего пикселя каждого принимающего поля. Кроме того, исследователи также применили некоторые функции потерь, потерю функции сопоставления модели VGG, потерю стиля и т. д., чтобы сделать сгенерированные результаты ИИ более реалистичными и соответствующими.
Таким образом, эффект восстановления изображения ИИ невероятен.Даже если ИИ не может точно знать, чего не хватает, восстановленный результат часто выглядит очень близко и не имеет чувства несоответствия.
Как создается AI Complement Master?
Для того, чтобы обучить этот ИИ, также потребовалось немало усилий. Исследователи сначала создали 55 116 изображений масок с отсутствующими частями произвольной формы и размера для обучения и около 25 000 для тестирования. Затем они разделили эти изображения на 6 категорий в зависимости от размера отсутствующих частей, чтобы оптимизировать восстановление ИИ.
Используя графический процессор NVIDIA Tesla V100 и платформу глубокого обучения PyTorch на основе cuDNN, исследователи обучили построенную модель, применяя ранее созданные изображения масок к изображениям из наборов данных ImageNet, Place2 и CelebA-HQ.
На этапе обучения исследователи представили отсутствующие части изображений полным обучающим изображениям из этих наборов данных, что позволило ИИ научиться восстанавливать отсутствующие пиксели на изображениях.
На этапе тестирования исследователи ввели недостающие части изображений, которые не использовались на этапе обучения, в тестовые изображения, чтобы беспристрастно проверить точность реконструкции отсутствующих пикселей ИИ.
Окончательная обученная модель ИИ, эффект исправления изображений убивает другие методы исправления изображений за считанные секунды. В статье исследователи сравнили четыре других метода рисования изображений, а именно:
-
PatchMatch: сокращенно PM — это очень продвинутый метод исправления изображений без технологии машинного обучения.
-
GL: Техника рисования изображения, предложенная Iizuka et al.
-
GntIpt: генеративное рисование изображений с контекстуальным вниманием, автор Yu.J et al.
-
Conv: традиционная архитектура нейронной сети без применения «частичной свертки».
Исследователи назвали свой AI PConv, и на следующем рисунке показано сравнение результатов этих 5 методов исправления одного и того же изображения:
Мы видим, что независимо от того, какое изображение, эффект восстановления искусственного интеллекта NVIDIA намного выше, чем у других методов. больше эффектов можеткликните сюда.
Конечно, результаты ретуши ИИ не всегда идеальны.В видео вы обнаружите, что некоторые черты лица явно "позаимствованы" из других мест.Если отсутствующая часть велика и ИИ не хватает информации для восстановления пикселей, ИИ восстанавливает Эффект меньше.
Но в целом это по-прежнему очень волшебная и удивительная практичная технология. С его помощью некоторые, казалось бы, безнадежные фотографии в прошлом могут в наибольшей степени восстановить недостающий контент, и не нужно тратить часы на мучительное восстановление. Кроме того, исследователи Nvidia утверждают, что ИИ также может увеличивать фотографии, не искажая изображение. Возможно, дни, когда мы использовали инструменты ретуши для ретуширования и вырезания изображений, уйдут навсегда.