Monocular deformable 3D reconstruction using differential geometry
- Autores: David Casillas Pérez
- Directores de la Tesis: Daniel Pizarro Pérez (dir. tes.), Manuel Ramón Mazo Quintas (codir. tes.)
- Lectura: En la Universidad de Alcalá ( España ) en 2019
- Idioma: español
- Tribunal Calificador de la Tesis: Javier Macías Guarasa (presid.), José Miguel Buenaposada Biencinto (secret.), Alessio del Bue (voc.)
- Programa de doctorado: Programa de Doctorado en Electrónica: Sistemas Electrónicos Avanzados. Sistemas Inteligentes por la Universidad de Alcalá
- Materias:
- Enlaces
- Resumen
- español
Esta tesis contribuye al problema SfT con deformaciones no isométricas, es decir, aquellas que no conservan las distancias entre los puntos tras la deformación. En concreto, resuelve el caso de deformaciones equiárea, un tipo de deformación que engloba las isometrías y que constituye un caso particular de deformación elástico-lineal cuando el módulo de Young es la unidad. En este trabajo se deduce la ecuación del caso equiárea y se estudia la existencia y la unicidad de soluciones para el problema de valores iniciales. Además, se proporciona un algoritmo de reconstrucción de todas las soluciones basado en la teoría del matemático francés Gaspard Monge.
La tesis también contribuye al problema SfT con deformaciones isométricas. En este sentido, la investigación proporciona un estudio riguroso de las funciones de registro entre imágenes que proceden de objectos deformados isométricamente, también llamadas isowarps. Las isowarps heredan restricciones de las deformaciones isométricas que sufren los objetos en el espacio tridimensional, como la conservación de las distancias dentro de los objectos. Se deducen por primera vez las ecuaciones que caracterizan a las isowarps, utilizadas para mejorar la calidad de los warps y mejorar en definitiva las reconstrucciones en SfT isométrico. Se proporciona además un estudio comparativo con los métodos más recientes del estado del arte.
La tesis ayuda también a resolver la conocida como "ecuación de perspectiva plana". La ecuación transcribe el problema geométrico de reconstruir una curva plana a partir de una de sus proyecciones tomada con una cámara de perspectiva y dado el módulo de su vector velocidad. Asimismo, la ecuación describe el problema de reconstrucción conocido como 1DSfT con deformaciones isométricas. La investigación demuestra teóricamente la existencia de múltiples soluciones a la ecuación sin información adicional. Se prueba la existencia de dos únicas soluciones al problema de valores iniciales dotándolo de una condición inicial regular. Igualmente se demuestra la existencia un máximo de dos soluciones analíticas cuando las condiciones iniciales del problema son críticas. La relajación de la analiticidad de soluciones implica la aparición de conos de convergencia, regiones del plano donde existe un conjunto denso de soluciones. Se define también el problema de reconstrucción de la solución maximal, que consiste en encontrar la solución más alejada a la recta imagen, el cual está bien planteado. Esta tesis proporciona algoritmos robustos de reconstrucción para el problema local y para la búsqueda de la solución maximal.
Por último, esta investigación contribuye a resolver el problema NRSfM con deformaciones isométricas. Se derivan por primera vez las ecuaciones del NRSfM isométrico, un sistema de 3 ecuaciones por cada par de vistas en 6 variables, obtenidas sin aproximación, cuya solución proporciona la reconstrucción del objeto en los diferentes estados de deformación. Se resuelve el sistema por medio de un algoritmo de reconstrucción global que busca la solución del sistema descubierto. El algoritmo de reconstrucción se evalúa con experimentos tanto sintéticos como reales obteniendo resultados prometedores y superando en muchos de ellos a los mejores métodos del estado del arte.
- English
The present thesis is about 3D reconstruction of deformable objects. It gives contributions in both the most studied reconstruction problems: Shape-from-Template (SfT) and Non-Rigid Structure-fromMotion (NRSfM). The former reconstructs the deformed surface from one of its views and a 3D model of the surface before being transformed, called the template. The later retrieves the 3D object shape from multiple views where it undergoes deformations.
This thesis contributes to SfT for non-isometric deformations. In particular, it studies equiareal deformations, a kind of deformation characterized by preserving the intrinsic areas. Equiareal deformations include isometries and are a special case of the linear-elastic deformations when the Young modulus is fixed to 1. We first deduce the equiareal equation, a quadratic first-order Partial Differential Equation (PDE) in three variables: the depth and its derivatives, which characterizes the reconstruction problem. We show that in the absence of initial conditions, equiareal SfT is not a well-posed problem. We prove the existence and uniqueness of one solution with a given initial strip and two solutions if the given initial data is a curve. This thesis uses Monge’s theory to study well-posedness in equiareal SfT. Also based on this theory, we provide an algorithm which solves the Monge’s characteristic system through conventional Ordinary Differential Equation (ODE) solvers. The obtained characteristic curves are integrated to give the solution surface. We evaluate our algorithm in experiments with synthetic and real data and compare our method with the best non-isometric SfT state-of-art-methods. Our method outperforms their reconstruction results even considering non-equiareal deformations.
Registration functions, also called warps, are a key element in isometric SfT. The recently discovered analytic expressions for solving this problem involves a warp and its derivatives in their calculations.
The present thesis contributes to improve the quality of warps, opening a new strategy for solving isometric SfT based on the paradigm of registration for reconstruction. In this sense, we give contributions to isometric SfT trough the study of isowarps. Isowarps are warps between images of objects which have undergone isometric deformations. As a result, isowarps intrinsically inherit the 3D geometric properties of the deformation model. We first derive the called isowarp equations, a set of three quadratic second-order PDEs that characterize isowarps. We show that forcing warps to fulfill these equations to become isowarps results in better reconstructions, achieving comparable and even outperforming refinement methods. We provide an algorithm which enforces isowarp equations to the warps, computed from features correspondences. We thoroughly evaluate our reconstruction strategy in synthetic and real experiments comparing it with the recent state-of-the-art methods.
In planar curve reconstruction, we provide a theoretic study of the so-called planar perspective equation. It is a quadratic first-order ODE which describes the geometric problem of reconstructing a plane curve from one of its views, taken with a 1D perspective camera, and given the modulus of its velocity vector. This is also known as isometric 1DSfT. We show that the problem of solving the ODE is not wellposed. We prove that only two local solutions exist and a maximum of two analytical solutions to the initial value problem with regular and critical initial conditions, respectively. The classification of points into regular and critical solutions is important. We show that relaxing the analytic constraint produces convergent cones, which are regions of the plane where a dense set of solutions appear. We establish the so-called maximal depth solution problem, which consists in finding the farthest solution from the image plane. This curve is also the smoothest of all solutions and is a is well-posed problem. This curve is commonly retrieved from numerous state-of-the-art methods. We provide robust algorithms for computing the local solutions in both regular and critical initial conditions, and the maximal depth solution. We evaluate them in experiments with synthetic date testing all possible cases.
Finally, we contribute to the isometric NRSfM problem. Under the differential geometric framework, we derive the isometric NRSfM equations, a set of 3 quadratic second-order PDEs per each pair of views in 6 fixed variables. This system is solvable from at least three views. This is the first time that such a system is derived, which constitutes an important breakthrough in the NRSfM field. The system variables are the depth and its derivatives of one chosen reference view . No approximation is assumed for inferring the system, in contrast with the recent state-of-the-art methods which uses infinitesimal planarity or inextensibility approximations. We provide an efficient and robust global algorithm based on establishing an optimization problem where the recently discovered isometric NRSfM equations are involved. We evaluate our algorithm in experiments with synthetic and real data and make a comparison with the recent state-of-the-art methods. We show that our algorithm obtains competitive results with the state-of-the-art methods.
- español
