3D-реконструкция человеческого тела (1) — приложение AR/VR

алгоритм
3D-реконструкция человеческого тела (1) — приложение AR/VR

В последние годы, с постоянным улучшением производительности компьютерного оборудования и активным развитием технологии программного обеспечения 3D, сложность создания и обработки 3D-данных значительно снизилась.В то же время интерес людей к 3D-данным также начался. увеличить. По сравнению с другими цифровыми медиаданными, такими как текст, изображения и видео, 3D-данные имеют более богатое стереоскопическое представление и больше подходят для 3D-мира. Среди различных 3D-данных 3D-тело и одежда человека являются наиболее распространенными 3D-данными и всегда были ключевыми объектами исследований в области компьютерной графики.Они широко использовались в фильмах, играх, дизайне одежды, виртуальной примерке и других областях. .

Применение 3D человеческого тела и одежды в кино и на телевидении

С момента рождения первого 3D-функции анимации «История игрушек» (1995) (рис 1 (а)), 3D человек и моделирования одежды была разработана в области 3D-фильмов в течение почти трех десятилетий, в течение которых он играет важная роль. эффект. В прошлом году, трехмерный фильм «Alita: Battle Angel», который сочетает в себе CG (Computer Graphic) и реальную жизнь, принес шокирующий визуальный опыт для аудитории. Фильм использует много методов 3D моделирования. Главный герой фильма виртуальный персонаж по имени Alita (см Рисунок 1 (с)), но детали тонкие персонажа делают его почти невозможно отличить от реального человека или модель CG. За это технология моделирования человеческого топ-оф-лайн Weta студии. Для того, чтобы реально представлять глаза Алита, в производстве команда использовала до 8,3 миллионов полигонов для моделирования радужной оболочки глаза. Кроме того, реалистичная трехмерная одежда еще больше повышает реализм и визуальные эффекты виртуальных персонажей. В мультфильме «Frozen», народные костюмы, которые носили герой имеют уникальные характеристики Севера, среди которых наиболее удивительным является волшебным платьем героини, которая приносит особый визуальный праздник для зрителей с его умной и элегантной имитацией эффект., как показано на фиг.1 (с).

Рис. 1 Применение 3D-моделирования человеческого тела и одежды в 3D-фильмах

Создание 3D-модели персонажа — это первый шаг, и только перемещение 3D-модели может по-настоящему оживить персонажа. Ранние анимации персонажей полагались на то, что аниматоры вручную проектировали движения персонажей с помощью программного обеспечения для 3D-анимации, такого как Maya.Несмотря на то, что было затрачено много усилий, реалистично и естественно воспроизвести движения персонажей по-прежнему было невозможно. Появление технологии захвата движения сильно изменило этот статус-кво. В настоящее время технология захвата движения широко используется компаниями по производству анимации для захвата и оцифровки движений реальных актеров (включая выражения персонажей), а затем передачи этих движений виртуальным персонажам, чтобы придать этим виртуальным персонажам очень богатый, реалистичный и реалистичный вид. деликатное исполнение действия, как показано на рисунке 1 (d).

Применение 3D человеческого тела и одежды в играх

Из-за интерактивных требований игры персонажей в игре необходимо быстро деформировать в определенную позу, а также требуется моделирование одежды в реальном времени. Однако, ограниченные аппаратной производительностью клиента, 3D-игры обычно отдают предпочтение ощущению игрового опыта, а не реалистичности картинки.Например, ранняя 3D-игра Counter-Strike (рис. 2(а)) в основном игнорирует детали складок одежды персонажа и эффект динамической симуляции. В последние годы, с постоянным улучшением производительности оборудования и развитием трехмерных технологий, появилось много игр, ориентированных на высококачественную графику, таких как «Cyberpunk 2077» в 2020 году (рис. 2(b)). В дополнение к традиционным трехмерным играм появление соматосенсорных игр приносит игрокам новый игровой опыт. Они полагаются на датчики (такие как Kinect) для восприятия трехмерных движений человеческого тела, а затем управляют движением виртуальных персонажей в играх, таких как танцевальная игра «JustDance» (рис. 2(c)).

Рис. 2 Применение трехмерного моделирования человеческого тела и одежды в играх.

Применение 3D человеческого тела и одежды в автоматизированном проектировании одежды

В области дизайна одежды ранний дизайн одежды требует от дизайнеров ряда профессиональных навыков, таких как создание моделей, сортировка и шитье. Художники по костюмам вручную проектируют и вырезают детали одежды, которые затем сшиваются в одежду. Этот процесс не только имеет длительный производственный цикл, но и мешает дизайнерам увидеть общий стиль одежды после сшивания до тех пор, пока одежда не будет закончена.

Появление трехмерного дизайна с помощью одежды изменило эту ситуацию. Для общего дизайна виртуальной одежды и производственного процесса сначала спроектируйте двухмерные части одежды и создайте их сетку, затем сшейте и примерьте их на виртуальном человеческом теле в стандартной позе, а затем выполните физическую симуляцию ткани на одежде, чтобы создать настоящую драпировку одежды. Детали состояния и сгиба окончательно визуализируются, чтобы показать эффект после примерки. Программное обеспечение для трехмерного проектирования одежды, которое в настоящее время успешно коммерциализировано, включает OptiTex (рис. 3(а)), DressingSim от японской компании DigitalFashion, MarvelousDesigner (рис. 3(б)), CLO3D и так далее.

Рис. 3. Интерактивный интерфейс программного обеспечения для коммерческого дизайна одежды.

В дополнение к статическому дизайну одежды это программное обеспечение для 3D-дизайна одежды может поддерживать импорт данных о движении человека, чтобы показать динамический эффект одежды персонажей. По сравнению с традиционным дизайном одежды, программное обеспечение для 3D-дизайна одежды может сэкономить дизайнерам много рабочей силы и времени, а также сократить цикл от проектирования одежды до показа готовой одежды. Но на практике по-прежнему требуется много ручного взаимодействия. Например, разработка прототипа футболки даже самого простого фасона обычно занимает от 30 минут до часа. Кроме того, стоимость повторного использования виртуальной одежды относительно высока.Например, пошив моделей одежды обычно выполняется на модели человеческого тела с определенной позой и формой тела (обычно это стандартное человеческое тело T-позы). манекены настраиваются под персонализированную одежду, они требуют от дизайнеров большой ручной корректировки.

Применение 3D человеческого тела и одежды в виртуальной примерке

В современном стремительном развитии онлайн-покупок пользователи могут совершать покупки одним касанием пальца. С одной стороны, онлайн-покупки можно совершать в любое время и в любом месте без ограничения часов работы, с другой стороны, эксплуатационные расходы платформ онлайн-покупок ниже, что делает цены на товары более конкурентоспособными. Среди всех товаров для онлайн-покупок большую долю составляет одежда. Однако из-за специфики одежды, за большим количеством заказов одежды стоит высокий процент возврата.

Взяв в качестве примера местный торговый центр Tmall, средний показатель возврата одежды за 30 дней достигает 15,07%. Помимо качества самого продукта, этому есть две основные причины: во-первых, одежда, купленная в Интернете, не соответствует телосложению покупателя.В настоящее время покупатели могут выбирать размеры одежды только с помощью простой таблицы сравнения размеров тела. Хотя в сравнительной таблице приведены и другие параметры фигуры, покупатели в основном ориентируются только на показатель «рост». Во-вторых, покупатели обнаруживают, что визуальные эффекты от одежды намного ниже, чем ожидалось, после того, как они примеряют одежду, купленную в Интернете. Скорость возврата линии высокого уровня не только безосновательно увеличивает стоимость труда торговцев, но и потребляет энергию потребителей, а также вызывает большую трату ресурсов социальной логистики. И виртуальная примерка в настоящее время кажется привлекательным решением проблемы высокого уровня возврата предметов одежды.

Приложения для виртуальной примерки исследуются в отрасли с самого начала. Институт Фраунгофера в Германии разработал систему «онлайн примерочная». Сначала они используют ручной 3D-лазерный сканер для сканирования формы тела клиента, а затем используют данные сканирования для создания виртуального 3D-тела пользователя. Модель одежды, предоставленную производителем одежды, пользователь может примерить на виртуальном человеческом теле. Кроме того, пользователи могут в интерактивном режиме регулировать положение человеческого тела с помощью мыши, что удобно для проверки того, подходит ли одежда.

Известный веб-сайт онлайн-примерки My Virtual Model (MVM) также разработал систему онлайн-примерки.Пользователь создает виртуальный манекен, вводя такую ​​информацию, как рост, вес и 3D, а затем примеряет предварительно установленную 3D-одежду для примерки. Отображается влияние одежды на организм человека. В то же время, анализируя размер человеческого тела и одежды, веб-сайт может отображать бинарное суждение о том, подходит ли текущая одежда. Этой модели также последовали многие последующие производители брендов одежды, такие как примерочная 4D, запущенная Uniqlo (как показано на рис. 4(a)) и онлайн-примерочная, запущенная H&M в Швеции.

Рис. 4. Существующие коммерческие продукты для виртуальной примерки.

В дополнение к цифровой виртуальной примерке отечественная стартап-компания Haomaiyi запустила собственного робота для примерки.Вводя параметры ключевых частей человеческого тела, робот для примерки может подгонять кривую тела пользователя посредством деформации, а затем может трансформировать примерка реальной одежды на примерочном роботе для имитации фактического эффекта примерки.Это решение позволяет избежать имитации 3D-одежды.Однако из-за ограничений конструкции аппаратного обеспечения текущий примерочный робот имеет плохой эффект имитации формы тела и низкую точность, а также в то же время высокая стоимость физических роботов не способствует масштабному продвижению.

Hexuan – одна из немногих программ для 3D-подгонки в Китае. Система загружает различные манекены и примеряет на манекены предварительно установленную 3D-одежду. Пользователи могут вводить некоторые параметры, такие как окружность талии, окружность бюста и другие модели тела для настройки. Другие внутренние виртуальные примерочные платформы включают примерочную Taobao, Tmall Magic Tower, виртуальную примерочную Shenzhen Yunzhimeng (см. рис. 4(b)) и т. д. Однако эти виртуальные примерочные платформы имеют более или менее проблемы, такие как плохой реалистичный эффект моделирования и плохой интерактивный опыт.

Подводя итог, можно сказать, что хотя 3D-моделирование человеческого тела и одежды разрабатывается уже много лет, мы по-прежнему ощущаем острую потребность в дальнейшем развитии 3D-моделирования человеческого тела и одежды в отрасли. Связанные с этим технологии, особенно в области дизайна одежды и виртуальной примерки, по-прежнему имеют огромные возможности для совершенствования и исследовательской ценности, которые заслуживают дальнейшего изучения и изучения. Перечислите три конкретных направления исследований и технические трудности:

1) Исследование быстрых, недорогих и точных методов реконструкции 3D-моделей человека, включая 3D-модели поз и геометрии человека;

2) Виртуальная примерка одежды, то есть быстро и стабильно примерять одежду на телах людей разных форм и поз;

3) Реалистичная динамическая демонстрация эффекта примерки, включая быстрый и недорогой захват движения человека и эффективную технологию имитации одежды.