Localización basada en apariencia visual
- Autores: Alberto Jaenal Gálvez
- Directores de la Tesis: Javier González Jiménez (dir. tes.), Francisco Ángel Moreno Dueñas (codir. tes.)
- Lectura: En la Universidad de Málaga ( España ) en 2023
- Idioma: español
- Tribunal Calificador de la Tesis: José Luis Blanco Claraco (presid.), José Raúl Ruiz Sarmiento (secret.), Martin Magnusson (voc.)
- Programa de doctorado: Programa de Doctorado en Ingeniería Mecatrónica por la Universidad de Málaga
- Enlaces
- Resumen
Emerging technologies such as robotics, autonomous vehicles or Augmented Reality demand reliable and efficient methods for Visual Localization (VL). This task has predominantly been addressed by comparing the camera observations with the projections that integrate a pre-built 3D-landmark model of the environment. The alternative to this is to avoid any 3D representation and, instead, build a database of geo-tagged image descriptors that capture the appearance of the environment. Such appearance-based approach has been widely adopted efficiently to solve the topological problem of Visual Place Recognition (VPR), with proven success. However, it has very limited accuracy in estimating the pose where the query image was taken from, which is the problem that we investigate in this thesis: Appearance-based Localization (AbL).
The thesis contributes a number of studies, algorithms, and results inthe form of a compendium of published articles. First, it addresses the continuity and the structure of the appearance manifold, which provide a better understanding of the scene appearance and its relation with the pose. Given the complexity of such manifold, we primarily focus our analysis on regions of nearby poses, where a suitable relationship for localization can be determined between pose and appearance. On the other hand, we propose to design an Appearance Map which captures the global structure of the environment in a reliable and efficient manner. This map guarantees both the topological consistency of the localization and reduced computational cost. Finally, we tackle the problem of AbL as the combination of topological information from VPR with a local method for pose estimation. Thus, we propose three different solutions that demonstrate suitable and robust localization. Additionally, such approaches can make use of the topological knowledge derived from the map to deliver further operation as initialization or loss detection.
Tecnologías emergentes como la robótica, los vehículos autónomos o la realidad aumentada exigen métodos fiables y eficaces de Localización Visual (VL). Esta tarea se ha abordado principalmente comparando las observaciones de la cámara con las proyecciones que integran un modelo 3D preconstruido del entorno. La alternativa es evitar cualquier representación 3D, construyendo una base de datos de descriptores de imágenes geoetiquetadas que capturan la apariencia del entorno. Este enfoque basado en la apariencia ha sido ampliamente adoptado para resolver el problema topológico del Reconocimiento Visual de Lugares (VPR). Sin embargo, obtiene una precisión limitada al estimar la pose desde la que se tomó la imagen de consulta, que es el problema que investigamos en esta tesis: Localización Basada en la Apariencia Visual (AbL). La presente tesis doctoral aporta una serie de estudios, algoritmos y resultados en forma de compendio de artículos publicados. En primer lugar, se aborda la continuidad y la estructura de la variedad de apariencia, que proporcionan una mejor comprensión de la apariencia de la escena y su relación con la pose. Dada la complejidad de dicha variedad, centramos nuestro análisis en regiones de poses cercanas, en las que se puede determinar una relación entre pose y apariencia adecuada para la localización. Por otro lado, proponemos diseñar un mapa de apariencia que capture la estructura global del entorno de una manera fiable y eficiente. Este mapa garantiza tanto la consistencia topológica de la localización con un coste computacional reducido. Finalmente, abordamos el problema de AbL como la combinación de la información topológica de VPR con un método local para la estimación de la pose, proponiendo tres soluciones que demuestran una localización adecuada y robusta. Además, estos enfoques pueden hacer uso del conocimiento topológico del mapa para realizar otras operaciones como la inicialización o detección de pérdida.
