У многих просмотр старых фотографий города вызывает чувство ностальгии и любопытства — каково было гулять по Манхэттену в 1940-х годах? Насколько выросла улица изменилась? В то время как Google Street View позволяет людям увидеть, как район выглядит сегодня, что, если вы хотите узнать, как это место выглядело в прошлом?
Чтобы создать полезный опыт «путешествий во времени» для исследовательских и развлекательных целей, мы запустили набор инструментов на основе браузера под названием rǝ (произносится как «поворот»), инструмент с открытым исходным кодом, который работает в Google Cloud и Kubernetes, расширяемой системе. который может реконструировать города по историческим картам и фотографиям и представляет собой реализацию набора инструментов с открытым исходным кодом, который мы запустили ранее в этом году. Снова или повторно цитируя общее значение префикса, rǝ предназначен для обозначения тем реконструкции, исследований, развлечений и. Помните, что это краудсорсинговое исследование состоит из трех частей:
- Краудсорсинговая платформа, которая позволяет пользователям загружать исторические карты городов, геокорректировать (т. е. сопоставлять их с реальными координатами) и векторизовать их.
- Сервер карт времени, показывающий, как карты городов меняются со временем.
- Платформа 3D-опыта, работающая поверх картографического сервера rǝ, для создания 3D-опыта с использованием глубокого обучения для реконструкции 3D-зданий на основе ограниченных исторических изображений и картографических данных.
Наша цель — сделать rǝ компендиумом, который позволит любителям истории виртуально познакомиться с историческими городами по всему миру, поможет исследователям, политикам и педагогам, а обычным пользователям — дозу ностальгии.
Краудсорсинговые данные с исторических карт
Воссоздание того, как раньше города выглядели в масштабе, является сложной задачей: с историческими данными изображений работать сложнее, чем с современными данными, потому что доступно гораздо меньше изображений и гораздо меньше метаданных, полученных из изображений. Чтобы решить эту дилемму, модуль карты rǝ представляет собой набор инструментов с открытым исходным кодом, которые работают вместе для создания картографического сервера с измерением времени, позволяя пользователям переключаться между периодами времени с помощью ползунка. Эти инструменты позволяют пользователям загружать сканы исторических печатных карт, вносить в них геокоррекцию, чтобы они соответствовали реальным координатам, а затем преобразовывать их в векторный формат, отслеживая их географические особенности. Эти векторизованные карты затем передаются на тайловый сервер и визуализируются как скользящая карта, что позволяет пользователю увеличивать масштаб и панорамировать.
Точкой входа для модуля карты rǝ является Warper, веб-приложение, которое позволяет пользователям загружать исторические изображения карты и геокорректировать их, находя контрольные точки на исторической карте и соответствующие точки на базовой карте. Следующее приложение, Editor, позволяет пользователям загружать историческую карту с геокоррекцией в качестве фона, а затем отслеживать ее географические особенности (например, следы зданий, дороги и т. д.). Эти данные отслеживания хранятся в векторном формате OpenStreetMap (OSM). Затем они преобразуются в векторные листы и обслуживаются серверным приложением (сервером векторных листов). Наконец, наш визуализатор карт, Kartta, визуализирует векторные фрагменты пространства-времени, позволяя пользователям ориентироваться в пространстве и времени на исторических картах. Эти инструменты основаны на многочисленных ресурсах с открытым исходным кодом, включая OpenStreetMap, и мы хотим, чтобы наши инструменты и данные также были полностью открытыми.
3D опыт
Модуль 3D-моделей предназначен для реконструкции полной 3D-структуры исторических зданий с использованием соответствующих изображений и картографических данных, организации этих 3D-моделей, как правило, в репозитории, и создания из них исторической карты с измерением времени.
Во многих случаях доступно только одно историческое изображение здания, что делает 3D-реконструкцию чрезвычайно сложной задачей. Чтобы решить эту проблему, мы разрабатываем алгоритм реконструкции распознавания от грубого к точному распознаванию.
Начиная с контуров на картах и областей высот на исторических изображениях (как аннотированных с помощью краудсорсинга, так и обнаруженных автоматическими алгоритмами), контур входного здания экструдируется вверх для создания его грубой трехмерной структуры. Высота этой экструзии устанавливается равной количеству этажей соответствующих метаданных в базе данных карты.
Между тем, вместо прямого вывода подробной 3D-структуры каждого фасада как единого объекта, конвейер 3D-реконструкции идентифицирует все отдельные составляющие компоненты (например, окна, входы, лестницы и т. д.) и реконструирует их 3D-структуры индивидуально в соответствии с их категориями. . Эти детализированные 3D-структуры затем объединяются с грубыми структурами, чтобы сформировать окончательную 3D-сетку. Результаты сохраняются в 3D-репозитории и готовы к 3D-рендерингу.
Ключевыми технологиями, лежащими в основе этой функции, являются многие современные модели глубокого обучения:
- Обучите более быструю сверточную нейронную сеть на основе регионов (RCNN) с аннотациями компонентов внешнего вида для каждого целевого семантического класса (например, окно, вход, лестница и т. д.), которые используются для обнаружения экземпляров уровня ограничивающего прямоугольника в исторических изображениях.
- DeepLab — это модель семантической сегментации, обученная предоставлять метки на уровне пикселей для каждого семантического класса.
- Специально разработанная нейронная сеть обучена выполнять высокоуровневые закономерности в пределах одного и того же семантического класса. Это гарантирует, что получившиеся окна будут равноудалены и последовательны по форме на фасаде. Это также способствует согласованности между различными семантическими категориями (например, лестницами), чтобы гарантировать, что они размещены в разумных местах и имеют одинаковый размер относительно связанного входа.
Основные результаты
в заключении
Используя rǝ, мы разрабатываем инструменты, облегчающие краудсорсинг для решения основной проблемы недостаточности исторических данных при реконструкции виртуальных городов. 3D-опыт все еще находится в стадии разработки, и мы стремимся улучшить его с помощью будущих обновлений. Мы хотим, чтобы rǝ был связующим звеном между активным сообществом энтузиастов и случайных пользователей, которые не только используют наши исторические наборы данных и открытый исходный код, но и активно вносят свой вклад в то и другое.
Инструкции по обновлению: Приоритет отдается обновлению общедоступной учетной записи WeChat «Блог дождливой ночи», а блог будет обновлен позже, а затем будет распространен на различные платформы.Если вы хотите узнать больше заранее, обратите внимание на Публичный аккаунт WeChat «Блог дождливой ночи».
Источник блога:Блог Дождливой ночи