Вы думаете, что очертания волос этих фигур сделаны PS?
Нет! Это эффект алгоритма ИИ!
Какая технология искусственного интеллекта может точно идентифицировать волосы и даже иметь градиент прозрачности? После некоторого исследования редактора эта технология называетсяMatting, относится к технологии извлечения переднего плана из изображения путем вычисления цвета и прозрачности переднего плана и создания альфа-карты.
Данные относятся к общедоступным наборам данных [1]
Недавно команда PaddleSeg воспроизвела классический алгоритм матирования MODNet и внесла некоторые улучшения, чтобы предоставить более богатый выбор моделей магистрали, которые подходят для различных сценариев задач, таких как периферия и сервер.
Здесь редактор быстро вставляет вам адрес ссылки проекта. Добро пожаловать, друзья, в звездную коллекцию:GitHub.com/paddle pad DL…В то же время команда PaddleSeg предоставляет приложение APP, которое можно развернуть на мобильном телефоне.Вы можете отсканировать код, чтобы испытать эффект матирования портрета Matting.
Ссылка для скачивания приложения:цвет весла G.Beijing.Northside Doctor.com/Ma Tingting/touch…Матирование широко используется в различных отраслях, таких как монтаж видео, синтез видео и других областях.
Увидев такую хорошую технологию, некоторые друзья обратят больше внимания на то, как она реализована технически, поэтому давайте посмотрим на технологическую эволюцию матирования.
Базовая структура алгоритма матирования
Матирование, основанное на глубоком обучении, делится на две категории:
1. Один **** на основе ввода вспомогательной информации. То есть, в дополнение к исходному изображению и аннотированному изображению необходимо ввести другую информацию, чтобы помочь предсказанию. Наиболее распространенной вспомогательной информацией является Trimap, которая делит изображение на три части: передний план, фон и область перехода. Кроме того, фон или точки взаимодействия используются в качестве вспомогательной информации.
2. Одна из них заключается в том, что **** не опирается ни на какую вспомогательную информацию., который напрямую реализует альфа-прогнозирование.
В этой статье мы познакомим вас с двумя типами алгоритмов матирования соответственно и разберем процесс разработки матирования с друзьями.
DIM -Matting
DIM (Deep Image Matting) — первая иллюстрация того, что альфа-канал может быть изучен сквозным образом с использованием изображения и вспомогательной информации Trimap. Его сеть разделена на два этапа: первый этап — это глубокая сверточная сеть кодирования-декодирования, а второй этап — небольшая сверточная нейронная сеть, которая используется для уменьшения потери деталей, вызванной сетью кодирования-декодирования, и улучшения качества. точность и точность альфа-прогноза краевой эффект. После DIM родилось большое количество сетей Matting на основе Trimap.
Изображение предоставлено: Сюй, Нин и др. «Глубокое матирование изображения».Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.
БГМВ2:
Использовать фон как вспомогательную информацию
BGMv2 (Background Matting v2) изменяет способ мышления и использует фоновые изображения для замены Trimap, чтобы помочь сети в прогнозировании, эффективно избегая трудоемкой и трудоемкой проблемы получения Trimap, и делит сеть на две части: базовая сеть и уточнение. . На этапе базовой сети, который требует больших вычислительных ресурсов, предварительно прогнозируется низкое разрешение, а карта ошибок используется на этапе уточнения для уточнения соответствующих срезов изображения с высоким разрешением. Это позволяет прогнозировать изображения с высоким разрешением в реальном времени.
Изображение предоставлено: Линь, Шаньчуань и др. "Матрирование фона с высоким разрешением в режиме реального времени". Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
MODNet
Получение вспомогательной информации значительно ограничивает применение матирования.Чтобы улучшить применимость матирования, MODNet отказывается от вспомогательной информации в области портретного матирования, напрямую реализует альфа-прогнозирование, реализует матирование в реальном времени и значительно повышает прикладную ценность матирования. Матирование на основе глубокого обучения. MODNet разбивает матирование на три подцели для оптимизации и повышает точность альфа-прогнозирования за счет декомпозиции задач.
Изображение предоставлено: Ke Z, Li K, Zhou Y и др. Действительно ли необходим зеленый экран для матирования портретов в реальном времени?[J] Препринт arXiv arXiv:2011.11961, 2020.
Текущий алгоритм матирования, предоставляемый PaddleSeg, является воспроизведением алгоритма MODNet и, основанный на оригинальной работе, предоставляет несколько моделей предварительного обучения для различных магистральных сетей, таких как RestNet50_vd, HRNet_w18, для удовлетворения потребностей пользователей в развертывании в различных сетях. сценарии, такие как пограничный и серверный.
Справочное описание данных изображения:
[1]Christoph Rhemann, Carsten Rother, Jue Wang, Margrit Gelautz, Pushmeet Kohli, Pamela Rott. A Perceptually Motivated Online Benchmark for Image Matting.
Нажмите, чтобы получить дополнительную техническую информацию~~