задний план
CVPR 2019 — самая важная научная конференция в области машинного зрения.Эта конференция привлекла в общей сложности 5160 докладов со всего мира и получила в общей сложности 1294 доклада.Доклады, проекты и экспоненты также появились вместе и стали «новыми фаворит» этой конференции.
Задача прогнозирования траектории является частью семинара CVPR 2019 по автономному вождению — за пределами восприятия единого кадра (семинар по автономному вождению), организованного Лабораторией робототехники и автономного вождения Научно-исследовательского института Байду, посвященного многим аспектам автономного вождения. и «Планирование автономного вождения», целью которого является объединение исследователей и инженеров из научных кругов и промышленности для обсуждения приложений компьютерного зрения в автономном вождении. Команда беспилотной доставки и технического зрения Meituan заняла первое место в этом соревновании.
В этом соревновании командам необходимо предсказать траекторию каждого препятствия в следующие 3 секунды на основе траектории каждого препятствия за последние 3 секунды. Существует четыре типа препятствий, включая пешеходов, велосипеды, крупные автомобили и небольшие автомобили. Траектория каждого препятствия представлена точками дискретизации на траектории, а частота дискретизации составляет 2 Гц. Метод Мейтуана наконец-то занял первое место в конкурсе с результатом 1,3425.В то же время мы также поделились идеями алгоритмов и моделей на семинаре.
Введение в конкурс
Данные соревнований по прогнозированию траектории берутся из реальных дорожных данных, собранных в Пекине, включая сложные светофоры и дорожные условия.Данные аннотации, используемые для соревнований, аннотируются вручную на основе данных камеры и данных радара, включая различные транспортные средства, пешеходов, велосипеды и другие машины. Автомобили и неавтомобили.
тренировочные данные: Каждый файл дорожных данных содержит одну минуту данных о препятствиях, частота дискретизации составляет 2 Гц в секунду, а каждая строка данных метки содержит идентификатор, категорию, местоположение, размер и информацию об ориентации препятствия.
Тестовые данные: каждый файл дорожных данных содержит данные о препятствиях за 3 секунды с частотой дискретизации 2 Гц в секунду, и цель состоит в том, чтобы предсказать местоположение препятствий на 3 секунды вперед.
Показатели оценки
Средняя ошибка смещения: Средняя ошибка смещения (ADE), средняя разность евклидовых расстояний между каждым предсказанным положением и каждым наземным положением.
Ошибка смещения конечной точки: Окончательная ошибка смещения (FDE), средняя разность евклидовых расстояний между прогнозируемым положением конечной точки и истинным положением конечной точки.
Поскольку набор данных содержит различные типы данных о траекториях препятствий, для оценки используется индекс, взвешенный и суммированный в соответствии с категорией.
существующие методы
Задача прогнозирования, решаемая в этом конкурсе, не зависит от такой информации, как карты и другие сигналы светофора, и относится к задаче прогнозирования, основанной на неструктурированных данных.Основные методы такого рода задач в основном делятся на две категории в зависимости от их интерактивность: 1.независимый прогноз,2.полагаться на предсказание.
Независимое прогнозирование заключается в предоставлении будущих траекторий движения только на основе исторических траекторий движения препятствий Зависимое прогнозирование заключается в прогнозировании поведения всех препятствий в будущем с учетом информации о взаимодействии всех препятствий в текущем кадре и исторических кадрах.
Прогнозирование зависимостей с учетом интерактивной информации — это проблема, широко изучаемая в современных академических кругах. Однако после исследования и заключения мы обнаружили, что речь идет скорее об изучении одного типа взаимодействия, например транспортных средств на шоссе, а затем о прогнозировании взаимодействия между этими транспортными средствами, например, о прогнозировании траектории взаимодействия пешеходов на тротуаре. Существует несколько методов прогнозирования взаимодействий между всеми классами препятствий.
Ниже приведены две модели методов прогнозирования взаимодействия пешеходов:
метод 1, Social GAN, кодировщик для каждого входа автомобиля препятствия, а затем извлекает интерактивную информацию через единый модуль объединения, а затем прогнозирует отдельно.
Способ 2, StarNet, используя звездообразную сеть LSTM, использует сеть Hub для извлечения информации о взаимодействии всех препятствий, а затем выводит ее в каждую сеть Host для независимого прогнозирования траектории каждого препятствия.
наш путь
анализ данных
Получив вопросы о соревнованиях, мы сначала проанализировали данные обучения.Поскольку конечной целью является прогнозирование местоположения препятствий, информация о размерах препятствий в помеченных данных не очень важна, если прогноз делается в соответствии с категорией .
Во-вторых, проанализируйте, следует ли использовать информацию об ориентации.Согласно статистике, обнаружено, что информация об ориентации аннотации истинного значения очень неточна.Как видно из рисунка ниже, большая часть отмеченной информации об ориентации имеет большой разрыв с направлением траектории, поэтому принято решение не использовать информацию об ориентации.
Затем, анализируя целостность данных, для каждого препятствия требуется 12 кадров данных в процессе обучения, так что 6 кадров данных можно использовать для прогнозирования траектории следующих 6 кадров в процессе моделирования. Однако при фактическом сборе данных невозможно обеспечить целостность данных, и могут отсутствовать данные до, после или в середине, поэтому мы генерируем некоторые обучающие данные путем интерполяции на основе позиционных отношений между кадрами. до и после заполнения недостающих данных.
Наконец, данные улучшаются.Поскольку наш метод не учитывает взаимодействие между препятствиями и полагается только на информацию о каждом самом препятствии для обучения, траектория препятствия обрабатывается вращением, инверсией и шумом.
Структура модели
Поскольку задача прогнозирования траекторий на этот раз заключается в прогнозировании траекторий всех категорий, модель прогнозирования траекторий, решающая одну категорию, для этой задачи не подходит, а если все объекты помещаются в единую модель взаимодействия, то разные препятствия не могут быть правильно извлечены характеристики взаимодействия между объектами. Мы попробовали несколько методов и подтвердили это.
Поэтому в конкурсе мы использовали метод независимого прогнозирования с несколькими категориями.Структура сети показана на рисунке ниже.Этот метод строит модель кодировщика-декодера LSTM для каждой категории и добавляет модуль шума между кодировщиком и Декодер.Модуль шума генерируетГауссовский шум фиксированной размерности связан с величиной состояния LSTM, выдаваемой модулем кодировщика, в качестве исходной величины состояния LSTM модуля декодера.Основная функция модуля шума состоит в том, чтобы увеличить возмущение данные во время многоэтапного тренировочного процесса.Учитывая различные входные данные шума, можно сгенерировать несколько разных траекторий.
В конечном счете, необходимо выбрать оптимальную траекторию среди различных выходных данных траектории.Здесь принимается простое правило, и траектория, наиболее близкая к прогнозируемому направлению траектории и историческому направлению траектории, выбирается в качестве окончательного выходного сигнала траектории.
Результаты экспериментов
Мы использовали только данные, предоставленные официальным лицом для обучения.Согласно вышеупомянутому методу улучшения данных, мы сначала улучшили данные, а затем построили структуру сети для обучения.Потеря приняла взвешенную сумму ADE (WSADE) и метод оптимизации Адама, и наконец-то представил результаты WSADE для тестирования — 1,3425.
| метод | WSADE |
|---|---|
| наш путь | 1.3425 |
| StarNet (подход, основанный на взаимодействии) | 1.8626 |
| TrafficPredict (базовый метод ApolloScape) | 8.5881 |
Суммировать
В этом конкурсе мы попытались использовать мультиклассовый независимый метод прогнозирования для выбора оптимальной траектории путем дополнения данных и добавления гауссовского шума, а также окончательных правил искусственного проектирования. ) и добились лучших результатов. Тем не менее, мы считаем, что метод, основанный на взаимодействии, должен быть лучше, чем этот независимый метод прогнозирования, если его правильно использовать, например, способность разрабатывать многокатегорийное внутреннее взаимодействие и взаимодействие между категориями. Кроме того, я также обеспокоен тем, что некоторые методы, основанные на графовых нейронных сетях, также применяются для прогнозирования траектории.В будущем мы попробуем больше подобных методов в реальных проектах для решения практических задач прогнозирования.
использованная литература
- Yanliang Zhu, Deheng Qian, Dongchun Ren and Huaxia Xia. StarNet: Pedetrian Trajectory Prediction using Deep Neural Network in Star Topology[C]//Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2019.
- Gupta A, Johnson J, Fei-Fei L, et al. Social gan: Socially acceptable trajectories with generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2018: 2255-2264.
- Apolloscape. Trajectory dataset for urban traffic. 2018. Аполлон — это cape.auto/trajectory. ….
об авторе
- Ли Синь, эксперт по алгоритмам группы прогнозирования траектории группы PNC отдела беспилотной доставки и технического зрения Meituan.
- Ян Лян, инженер-алгоритм группы прогнозирования траектории группы PNC отдела распределения беспилотных летательных аппаратов Meituan и отдела технического зрения.
- Дехэн, руководитель группы прогнозирования траектории группы PNC отдела беспилотного распространения и видения Meituan.
- Донг Чун, руководитель группы PNC отдела беспилотной дистрибуции и технического зрения Meituan.