Видео введение:Портретное освещение: улучшенное портретное освещение с помощью машинного обучения
-
Профессиональные фотографы-портретисты могут делать потрясающие фотографии, используя профессиональное оборудование, такое как выносная вспышка и зеркала, а также умея правильно подобрать освещение для своих объектов. Чтобы предоставить пользователям лучший способ имитации профессионально выглядящих портретов, мы недавно выпустили «Портретный свет» — новую функцию пост-съемки для камеры Pixel и приложения Google Фото, которая добавляет к портретам имитацию направленного света с настройками направленности и интенсивности в дополнение к освещению. оригинальной фотографии.
-
В Pixel Camera на устройствах Pixel 4, Pixel 4a, Pixel 4a (5G) и Pixel 5 портретный свет автоматически применяется к изображениям в режиме по умолчанию и к фотографиям, снятым в режиме ночного видения, на которых есть люди после съемки — только один человек или даже один маленький группы людей. На фотографиях в портретном режиме портретный свет обеспечивает более эффектное освещение в сочетании с уже примененным эффектом малой глубины резкости, в результате чего получается изображение студийного качества. Но поскольку освещение может быть личным выбором, пользователи Pixel, снимающие в портретном режиме, могут вручную изменить положение и отрегулировать яркость освещения, применяемого в Google Фото, по своему вкусу. Для пользователей, использующих Google Фото на Pixel, эта функция повторного освещения также работает со многими уже существующими портретными фотографиями.
-
-
Сегодня мы покажем технологию портретного света. Вдохновленный внешним освещением, используемым портретными фотографами, Portrait Light имитирует перемещаемый источник света, который можно добавить в сцену, автоматически выбирая начальное направление освещения и интенсивность, чтобы дополнить существующее освещение на фотографии. Мы делаем это, используя новые модели машинного обучения, каждая из которых обучается с использованием разных наборов данных фотографий, снятых в системе вычислительного освещения Light Stage. Эти модели включают две новые алгоритмические возможности:
-
- Автоматическое размещение направленного света: для заданного портрета алгоритм помещает синтетические направленные источники света в сцену в соответствии с тем, как фотографы размещают внешние источники света в реальном мире.
- Повторное освещение захвата после компоновки: для заданного направления освещения и портрета добавьте синтетический свет таким образом, чтобы он выглядел реалистично и естественно.
-
Эти инновации позволяют Portrait Lights создавать привлекательное освещение для каждого портрета в любое время — и все это на вашем мобильном устройстве.
-
Автоматическое размещение света
-
Фотографы часто полагаются на сигналы восприятия, когда решают, как использовать внешние источники света для улучшения окружающего освещения. Они оценивают интенсивность и направленность света, падающего на лицо, и корректируют положение головы объекта, чтобы дополнить его. Чтобы сообщить об автоматическом размещении света в Portrait Light, мы разработали вычислительные эквиваленты этих двух сигналов восприятия.
-
Во-первых, мы обучаем новую модель машинного обучения для оценки профиля сцены с широким динамическим диапазоном и всенаправленным освещением на основе входного портрета. Эта новая модель оценки освещения может определять ориентацию, относительную интенсивность и цвета всех источников света в сцене со всех направлений, рассматривая лица как детекторы света. Мы также оценили положение головы портретируемого с помощью MediaPipe Face Mesh.
-
Используя эти подсказки, мы можем определить, откуда исходит синтетическое освещение. В студийной портретной съемке, если смотреть на сцену сверху, основной источник света вне камеры или ключевой источник света располагают примерно на 30° выше линии глаз и между 30° и 60° от оси камеры. Мы следовали этому правилу для создания классического портретного вида, улучшая любую уже существующую направленность освещения в сцене, стремясь к сбалансированному, тонкому соотношению ключевого и заполняющего освещения примерно 2:1.
-
Портреты, управляемые данными снова
-
Освещение Учитывая желаемое направление освещения и портрет, мы затем обучили новую модель машинного обучения, чтобы добавить освещение от направленного источника света к исходной фотографии. Для обучения модели требуются миллионы пар портретов с дополнительным светом или без него. Съемка такого набора данных при нормальных настройках невозможна, поскольку требует почти идеальной регистрации портретов, снятых в разных условиях освещения.
-
Вместо этого мы сгенерировали обучающие данные, сфотографировав 70 разных людей с помощью вычислительной системы освещения Light Stage. Это сферическое осветительное устройство включает в себя 64 камеры с разными точками обзора и 331 индивидуально программируемый светодиодный источник света. Мы сфотографировали каждого человека, освещаемого одной лампой за лампой за раз (OLAT), что создает их отражающее поле — или их внешний вид при освещении дискретными частями сферической среды. Поля отражения кодируют уникальный цвет и светоотражающие свойства кожи, волос и одежды объекта — то, насколько блестящим или тусклым выглядит каждый материал. Благодаря принципу суперпозиции света эти OLAT-изображения затем можно линейно сложить вместе, чтобы воспроизвести реалистичное изображение объекта в том виде, в каком он будет выглядеть в любой среде освещения, основанной на изображении, и правильно представить сложные явления переноса света, такие как подповерхностное рассеяние.
-
Используя Light Stage, мы сфотографировали множество людей с разной формой лица, полом, оттенком кожи, прическами и одеждой/аксессуарами. Для каждого из них мы создаем синтетические портреты в различных условиях освещения, с добавлением направленного света или без него, визуализируя миллионы пар изображений. Этот набор данных способствует повышению производительности модели в различных условиях освещения и у разных людей.
-
Использование частных изображений для обучения повторному освещению с сохранением деталей
-
Вместо того, чтобы пытаться предсказать выходное изображение с повторным освещением напрямую, мы обучаем модель повторного освещения для вывода частного изображения с низким разрешением, попиксельного множителя, который при повышении дискретизации может применяться к исходному входному изображению для получения желаемого выходного изображения. , И добавить вклады от дополнительных источников света. Этот метод эффективен в вычислительном отношении, поощряя только низкочастотные изменения освещения, не затрагивая высокочастотные детали изображения, которые передаются непосредственно с входа для сохранения качества изображения.
-
Контролируемое повторное освещение с использованием геометрической оценки
-
Когда фотограф добавляет в сцену дополнительный источник света, он определяет яркость каждой части лица относительно геометрии лица объекта. Чтобы смоделировать оптическое поведение источника света, отраженного от относительно непрозрачной поверхности, мы сначала обучаем модель машинного обучения для оценки нормали к поверхности данной входной фотографии, а затем применяем закон Ламбера для расчета «представления световой энергии объекта». направление света" ". Мы предоставляем эту визуальную карту световой энергии в качестве онлайн-предсказателя изображения, чтобы обеспечить модель обучения, основанную на физическом понимании.
-
Мы оптимизировали весь конвейер для работы с интерактивной частотой кадров на мобильных устройствах с общим размером модели менее 10 МБ. Вот несколько примеров использования портретного освещения.
-
Максимально используйте портретный свет
-
Вы можете попробовать портретный свет в Pixel Camera и изменить положение и яркость света по своему вкусу в Google Фото. Для тех, кто использует двойное управление экспозицией, портретный свет может быть применен после съемки для дополнительной творческой гибкости, чтобы найти правильный баланс между светом и тенью. На существующем изображении в вашей библиотеке Google Фото попробуйте использовать портретный свет, где лицо слегка недоэкспонировано, чтобы осветить и подчеркнуть ваш объект. Это особенно хорошо для изображений одного человека, позирующего прямо перед камерой.
Инструкции по обновлению: Приоритет отдается обновлению общедоступной учетной записи WeChat «Блог дождливой ночи», а блог будет обновлен позже, а затем будет распространен на различные платформы.Если вы хотите узнать больше заранее, обратите внимание на Публичный аккаунт WeChat «Блог дождливой ночи».
Источник блога:Блог Дождливой ночи