SGANPose | Состязательная сеть оценки позы человека

Self Adversarial Training for Human Pose Estimation

Адрес бумаги:АР Вест V.org/PDF/1707.02…

Кодовый адрес:GitHub.com/roy Тан Ян — Тайвань ...

********1. Базовый анализ

Из-за окклюзии и скученности человеческого тела существующей сети оценки позы человека трудно решить точную оценку в таких случаях, и такие явления приведут к тому, что ключевые точки, оцененные сетью, будут несовместимы с нормальной позой человека. , и теряют присущую человеческому телу форму. Например, как показано во втором ряду рисунка ниже, по сравнению с первым рядом очевидно, что некоторые суставы противоречат фактам. Автор надеется, что даже в переполненном состоянии ключевые точки, предсказанные сетью, могут соответствовать естественной структуре суставов. Исходя из этого, автор предлагает использовать генеративно-состязательный подход для решения данной проблемы.

********2. Структура самопротиворечивой сети

Подобно традиционной модели GAN, модель в этой статье разделена на две сети: генератор и дискриминатор. Первый генератор сети является сверточной сетью, и генератор выполняет прямое вычисление, чтобы получить набор тепловых карт, которые указывают показатель достоверности для каждого местоположения каждой ключевой точки. Второй сетевой дискриминатор с той же архитектурой, что и генератор, но он кодирует входную тепловую карту вместе с RGB-изображениями и декодирует ее в новый набор тепловых карт, чтобы различать настоящие тепловые карты и поддельные. Результаты самосостязательной сети, предложенной в этой статье, показаны на следующем рисунке. В окончательном прямом выводе по ключевой точке дискриминатор удаляется из общего результата. Самосостязательная сеть оценки позы человека может, наконец, применить состязательную сеть генерации к задаче оценки ключевых точек человека, эффективно улучшая производительность любой существующей модели оценки позы без увеличения времени вывода модели.

********3.Генератор

Основная функция генератора — генерировать точную информацию о ключевых точках человека. Конечно, в рамках противостояния генерации основная функция генератора состоит в том, чтобы позволить сгенерированным ключевым точкам обмануть конечный дискриминатор, чтобы дискриминатор не мог различить, генерируется ли текущая тепловая карта ключевых точек GT или генератором. Поэтому, как показано на рисунке ниже, при обучении генератора он оптимизируется за счет двух частей: обратного распространения потерь Lmse от генератора и враждебных потерь Ladv от дискриминатора.

Общая потеря показана ниже.Цель потери Lmse в формуле 1 состоит в том, чтобы сделать человеческие ключевые точки, сгенерированные генератором, ближе к метке. Состязательная потеря Ladv формулы 2, цель этой состязательной потери состоит в том, чтобы привести конечные ключевые точки, сгенерированные генератором, в соответствие с более разумной позицией. Более конкретно, цель Ladv состоит в том, чтобы сделать фальшивую тепловую карту, сгенерированную генератором, настолько, насколько это возможно, чтобы обмануть дискриминатор, сделав его неспособным отличить тепловую карту GT от фальшивой тепловой карты. Здесь воплощен процесс генеративно-состязательного. Наконец, генератор оптимизируется с использованием потерь, показанных в уравнении 3. где лямда — гиперпараметр.

******** 4. Дискриминатор

Цель дискриминатора — определить, является ли поступающая тепловая карта GT или фальшивой тепловой картой, сгенерированной генератором. Конечная цель обучения дискриминатора состоит в том, чтобы как можно больше отличать данные, сгенерированные генератором, от ГТ. Таким образом формируется состязательный игровой процесс с генератором. Поэтому, как показано на рисунке ниже, при обучении дискриминатора он оптимизируется в двух частях, распространяя обратно потери Lreal от дискриминатора и потери Lfake от дискриминатора.

Общие потери показаны ниже.Формула (4.1) показывает, что тепловая карта GT вводится в дискриминатор для получения новой закодированной тепловой карты, а расстояние между новой тепловой картой и тепловой картой GT вычисляется для расчета реальных потерь. Формула (4.2) показывает, что поддельная тепловая карта, сгенерированная генератором, вводится в дискриминатор для получения новой закодированной тепловой карты, а расстояние между новой тепловой картой и поддельной тепловой картой, сгенерированной генератором, рассчитывается для расчета потерь Lfake. Как упоминалось выше, цель дискриминатора состоит в том, чтобы максимально отличить поддельную тепловую карту от тепловой карты GT, то есть дискриминатор надеется, что выходная тепловая карта, восстановленная после ввода тепловой карты GT, будет как можно ближе к GT. , Есть надежда, что выходная реконструированная тепловая карта после ввода поддельной тепловой карты будет максимально отличаться от поддельной тепловой карты. Что касается потерь, я надеюсь, что Lreal будет становиться все меньше и меньше, а Lfake — все больше и больше. Исходя из этого, потери дискриминатора показаны в уравнении (4.3).

kt в приведенной выше формуле используется для ограничения способности дискриминатора.Ограничение kt по формуле (5) может облегчить обучение сети. Как упоминалось во многих статьях, GAN нестабильны и их трудно обучать, потому что дискриминатор сходится слишком быстро, что приводит к легкому сбою сети и обучению неэффективных генераторов. Дискриминатор сходится слишком быстро Из анализа потерь Lfake меньше, чем Lreal, а тепловая карта, сгенерированная генератором, достаточно реальна, чтобы обмануть дискриминатор. В этот момент kt будет увеличен, чтобы дать Lfake преимущество, так что дискриминатор должен быть больше обучен распознавать сгенерированную тепловую карту. Скорость, с которой он ускоряет обучение на Lfake, зависит от того, насколько далеко дискриминатор падает от генератора. Принцип аналогичен, когда Lfake больше, чем Lreal.

********5.SGANpose тренировочный процесс

Каждая итерация общего алгоритма выглядит следующим образом:

1. Введите тепловую карту GT C и исходное изображение X в дискриминатор и вычислите прямой результат дискриминатора. есть D(X,C). При этом рассчитываются потери дискриминатора, формула 4.1, Lreal.
2. Введите исходное изображение X в генератор и вычислите прямой результат C^ генератора. Одновременно рассчитайте потери генератора, формула 1, Lmse.
3. Введите фальшивую тепловую карту C^ и исходное изображение X в дискриминатор и вычислите прямой результат дискриминатора. есть D(X,C^). При этом рассчитываются потери дискриминатора, формула 4.2, Lfake. (накопить значения градиента Lreal и Lfake и обновить параметры дискриминатора, уравнение 4.3).

4. С фальшивыми тепловыми картами C^ и D(X, C^) используйте формулу 2 для расчета потерь противника, Ladv, и обновите генератор.

******** 6. Отображение и анализ результатов

Автор анализирует результаты вышеупомянутой самопротиворечивой сети на двух наборах данных ключевых точек человеческого тела, LSP и MPII, Из таблицы ниже видно, что использование генерации конфронтации может эффективно улучшить эффект модели без увеличения времени вывода. .