0. Фон
Основные наборы данных классификации видео представлены в таблице:
В этой статье подробно представлен небольшой и простой в использовании набор данных HMDB51, который содержит небольшой объем данных и прост в использовании.
1. Введение HMDB51
HMDB51 содержит 51 тип действий, всего 6849 видео, каждое действие содержит не менее 51 видео, разрешение 320*240. С ютуба, гугл видео и т.д. итого 2G.
Адрес главной страницы:Изредка хот-спикер. В дополнение к обычному. Коричневый. Квота/ресурс/ пока нет…
Рекомендуется использовать загрузку Thunder в Китае, скорость выше.
Действия в основном включают:
1) Общие мимические движения улыбка, смех, жевание, разговор.
2) Манипуляции с лицом и манипулирование объектами: курение, еда, питье.
3) Общие движения тела: колёса, хлопки в ладоши, лазание, подъем по лестнице, прыжки, приземление на пол, сальто наотмашь, стойки на руках, прыжки, подтягивания, толчки, бег, приседание, приседание, кувырки, вставание, повороты, ход. , волна.
4) Взаимодействие с объектами: расчесывание волос, хватание, вытаскивание мечей, ведение мяча, игра в гольф, удары по предметам, мячи, сбор, подбрасывание, толкание предметов, езда на велосипеде, верховая езда, стрельба по мячам, стрельба из лука, ружья, размахивание бейсбольными битами, тренировка владения мечом, Бросать.
5) Человеческие действия: фехтование, объятия, удары ногой, поцелуи, удары кулаками, рукопожатие, бой на мечах.
статистика
| Категория действия, Часть тела, Действие камеры, Точка обзора | |||
|---|---|---|---|
| Качество клипа, продолжительность клипа, количество продолжительностей клипа | ||
|---|---|---|
Стабилизация видео
Основная проблема, связанная с использованием видеоклипов, извлеченных из реального видео, заключается в том, что может быть значительное движение камеры/фона, которое, как предполагается, мешает расчетам локального движения и должно быть исправлено. Чтобы убрать движение камеры, мы выравниваем кадры клипа, используя стандартные приемы сшивки изображений. Эти методы оценивают фоновые плоскости, обнаруживая и затем сопоставляя характерные черты в двух соседних кадрах. Соответствие двух кадров вычисляется с использованием мер расстояния, включая абсолютные разности пикселей и эйлеровы расстояния обнаруженных точек. Затем точки с наименьшим расстоянием сопоставляются, и алгоритм RANSAC используется для оценки геометрического преобразования между всеми соседними кадрами (независимо для каждой пары кадров). Используя эту оценку,
| оригинальный ИМГС | Стабильный IMGS |
|---|---|
Другие тесты распознавания действий
Эта работа была начата в KTH:набор данных KTHСодержит шесть типов действий, каждая категория действий содержит 100 клипов. с последующимWeizmannсобранный институтомНабор данных Вейцмана, который содержит 10 категорий действий и 9 клипов в каждой категории. Вышеупомянутые две группы были записаны в контролируемой и упрощенной установке. Первые наборы данных о реальных действиях, собранные из фильмов и аннотированные из сценариев фильмов, были затем созданы в INRIA.голливудская человеческая деятельностьСодержит 8 типов экшенов, количество клипов на экшен-класс варьируется от 60 до 140 на экшен. его расширенная версияHollywood2 Human Actions SetВсего представлено 3669 видеороликов в десяти сценариях, распределенных по десяти категориям человеческого поведения. Должен Панель УКУТакже были собраны наборы данных о действиях, в основном с YouTube. UCF Sports включает 9 видов спорта и 182 клипа, UCF YouTube содержит 11 классов действий, а UCF50 содержит 50 классов действий. В статье мы покажем, что на видео с YouTube могут оказывать влияние характеристики низкого уровня, а это означает, что характеристики низкого уровня (например, цвет и суть) более различительны, чем страхи среднего уровня (например, движение и форма).
| набор данных | год | #действие | #CLIPS PER ACTION |
|---|---|---|---|
| KTH | 2004 год | 6 | 10 |
| Вейцман | 2005 г. | 9 | 9 |
| IXMAS | 2006 год | 11 | 33 |
| Голливуд | 2008 год | 8 | 30-140 |
| УКФ Спорт | 2009 год | 9 | 14-35 |
| Hollywood2 | 2009 год | 12 | 61-278 |
| UCF YouTube | 2009 год | 11 | 100 |
| MSR | 2009 год | 3 | 14-25 |
| Олимпийский | 2010 | 16 | 50 |
| UCF50 | 2010 | 50 | минута. 100 |
| HMDB51 | 2011 | 51 | минута. 101 |