В последнее время генерация крупномасштабных 3D-моделей получила значительный прорыв благодаря значительному развитию фотограмметрии и компьютерного зрения. Кроме того, постоянно развивающийся интернет высококачественных 3D-продуктов привел к разрушительным результатам [7]. В результате существует множество поставщиков высокоточных и высококачественных продуктов для создания 3D-моделей, таких как Google Earth, Maxar, Airbus и Microsoft Maps. На сегодняшний день самая точная 3D-модель, созданная на основе спутниковых снимков, может достигать точности 3 м@SE
(ошибка 3 м с SE90, что является аббревиатурой 90-го процентиля сферической ошибки) с ведущими компаниями, которые обеспечивают разрешение 0,5 м и абсолютную точность 3 м 3D-модель поверхности с текстурами со всех сторон. Высокое качество этих доступных продуктов обеспечивает прочную основу для этой работы. Это делает оценку положения камеры с помощью более известной 3D-модели поверхности реальной сцены многообещающим подходом в области дистанционного зондирования. Кроме того, новые технологии дополненной реальности (AR), виртуальной реальности (VR) и цифровых двойников позволяют использовать 3D-архитектурные модели в качестве интерактивных инструментов на компьютерах или мобильных устройствах.
1.2 Сопутствующая работа
Определенное внимание было уделено исследовательской работе, связанной с поиском способов сопоставления изображения с моделью для оценки положения камеры как в академических кругах, так и в промышленности. В этом разделе дается краткий обзор соответствующей структуры, которая в основном фокусируется на соответствующих методах оценки позы. Современные подходы к мультимодальной 2D-3D регистрации можно в целом разделить на два типа: (1) типичные методы, основанные на геометрии, и (2) методы регрессии позы, основанные на машинном обучении, которые подробно рассматриваются ниже.
Типичные методы, основанные на геометрии: Типичные методы, основанные на геометрии, реализуются путем установления соответствующей взаимосвязи между захваченным изображением и 3D-моделью. Как правило, процесс регистрации изображения в модель включает в себя три этапа: (1) извлечение признаков, (2) измерение сходства и сопоставление и (3) оценка положения камеры. Характерные особенности – это наиболее распространенные точки, которые обнаруживаются как на захваченном изображении, так и в 3D-модели, такие как края, контурные линии, точки пересечения и углы, а также используются в процессе сопоставления изображений [5, 8—12]. Необходимо проявлять особую осторожность, чтобы убедиться, что эти особенности различимы, хорошо распределены и могут быть надежно обнаружены в наборах данных изображений и 3D-моделей. В отличие от методов внешних датчиков, таких как инерциальные измерительные устройства (IMU), Cai и Ye [13] использовали предварительную информацию об ориентации изображения дистанционного зондирования в качестве ссылки, а положения захваченных изображений корректировались на основе отклонения ориентации между камерой запроса и эталонной камерой. На основе информации об ориентации спутника, которая была извлечена из спутникового изображения дистанционного зондирования, ориентация спутника была рассчитана на основе смещения между спутниковым изображением в реальном времени и эталонным изображением. Этот метод позволяет не только точно измерить ошибки ориентации осей крена и тангажа, но и измерить ось рыскания. Янг и Чен [14] предложили метод сопоставления изображений беспилотных летательных аппаратов (БПЛА) с данными лидара, в котором контур зданий сравнивался с величиной тензорного градиента на изображении для оценки параметров внешней ориентации (EOPs) изображения. Смещение между изображением в реальном времени и эталонным изображением было получено на основе таких методов, как обработка изображений. Этот метод обеспечивает точное измерение положения камеры на основе начальной внешней ориентации изображения. Была рассмотрена новая схема гибридного консенсуса случайной выборки (RANSAC) для улучшения оценки положения камеры как для 2D-3D, так и для 2D-2D совпадений [15], в которой подходящий решатель может быть автоматически выбирается из гибридных различных минимальных решателей на каждой итерации.