A plane-based method for extrinsic calibration of RGB and depth cameras

• Aigner, Dominik ^[1] ; González Jiménez, Javier ^[1]
  1. [1] Universidad de Málaga

     Universidad de Málaga

     Málaga, España

     
• Localización: Jornadas de Automática, ISSN-e 3045-4093, Nº. 45, 2024
• Idioma: inglés
• Enlaces
  • Texto completo
• Resumen
  • español

    Este artículo presenta un método, implementado en ROS2, para la calibración extrínseca de un conjunto heterogeneo de cámaras que incluyen tanto RGB como de profundidad. El método propuesto estima las poses relativas entre dichas cámaras a partir de la observacion de planos. Para ello, en primer lugar, se extraen y emparejan los vectores normales de las superficies planas de las imágenes (RGB y de profundidad). En segundo lugar, se plantea un problema de optimización que estima las rotaciones y traslaciones que minimizan los errores entre los pares de vectores normales en correspondencia. La aplicación utiliza algoritmos disponibles en librarias estándar para la extracción de planos (OpenCV, PCL) y optimización (Eigen). La eficacia y precisicón del método se ilustran en una configuración con dos cámaras RGB y una cámara de profundidad.

  • English

    This article presents a method implemented in ROS2 for the extrinsic calibration of camera rigs that combine heterogeneous sensors, including any combination of RGB and depth cameras. The proposed method estimates the relative poses between sensors using a two-step process. First, normal vectors of planar surfaces are extracted from RGB or depth images and matched across sensors. Second, an optimization problem determines the relative rotations and translations between all of them by minimizing errors between corresponding normal vector pairs. The implementation utilizes off-the-shelf algorithms for planeextraction (OpenCV, PCL) and optimization (Eigen). Experimental results on a setup with two RGB cameras and one depthc amera demonstrate the effectiveness of the proposed approach