Resumen de Caracterización multiespectral de objetos con textura empleando propiedades invariantes frente a los cambios de iluminación
La visión es el sentido dominante del ser humano, a través de él obtenemos la mayor parte de la información del mundo que nos rodea y nos permite interaccionar con él. Nuestro sistema visual nos permite distinguir elementos tales como el color, la textura o la forma de una superficie, y gracias a ello nuestro cerebro es capaz de reconocer un mismo objeto bajo condiciones totalmente distintas de iluminación y observación.
La visión computacional intenta emular al sistema visual humano analizando las imágenes capturadas por sistemas tales como una cámara CCD, con algoritmos capaces de aislar esos elementos invariantes frente las condiciones tanto de iluminación como de observación. En los últimos años han surgido gran número de trabajos encaminados a determinar estos elementos, entre los que se encuentran características espectrales, colorimétricas o la propia forma de la superficie del objeto.
Existen varios métodos que permiten obtener la forma de una superficie, que van desde escáneres láser hasta técnicas que parten de imágenes capturadas con una cámara CCD. Son especialmente interesantes estas últimas, conocidas como técnicas photometric stereo, debido a que muchas de ellas permiten recuperar simultáneamente características colorimétricas (lo que se conoce como el albedo de la superficie) y el vector normal en cada punto de la superficie. Además tienen la ventaja de que se pueden aplicar con dispositivos relativamente económicos.
Otra característica invariante frente a cambios de geometría de iluminación y observación es la reflectancia espectral de un objeto. Es posible encontrar en la literatura un gran número de técnicas que permiten recuperar esta reflectancia espectral, empleando tanto sistemas espectrales basados en una cámara RGB como multiespectrales o incluso hiperespectrales.
Un sistema que permitiera caracterizar cualquier objeto a través de elementos como los descritos, tiene un gran número de aplicaciones. Por ejemplo, podría servir para registrar obras de arte tales como pinturas o esculturas. Con la información proporcionada por los algoritmos comentados, se podrían desarrollar aplicaciones que van desde hacer catálogos de las mismas muy fieles a la realidad hasta realizar un seguimiento de su restauración. También podría ser útil, por ejemplo, para comprobar a priori por medio de una simulación el aspecto final que tendría el acabado de una fachada recubierta por un determinado material. Las posibilidades son ilimitadas.
En esta tesis se han combinado técnicas photometric stereo con técnicas de recuperación espectral para caracterizar objetos que presentan texturas de forma invariante frente a la geometría de iluminación y observación. Además, se ha buscado que el sistema fuera práctico, intentando que las condiciones de partida de los algoritmos fueran lo menos restrictivas posible para tener un amplio rango de aplicación del método. Por otra parte, los algoritmos empleados parten de imágenes capturadas con una cámara RGB, sistema muy económico en comparación con otros con los que podríamos obtener la misma información, como podría ser un escáner láser en el caso de la reproducción de superficies o un espectrorradiómetro en el caso de la obtención de reflectancias.
Los objetivos de este trabajo doctoral son, pues, los siguientes: 1. Diseñar un dispositivo que permita realizar capturas de objetos que puedan ser empleadas en algoritmos photometric stereo, así como métodos para evaluar la calidad de los resultados obtenidos con él.
2. Desarrollar un algoritmo photometric stereo que proporcione valores de albedos y vectores normal adecuados para la caracterización de un objeto que presente textura a partir de imágenes del mismo realizadas con una cámara RGB empleando el dispositivo del objetivo 1. Aplicar dicho algoritmo a muestras de diferente complejidad para comprobar su eficacia.
3. Emplear un algoritmo de estimación espectral para recuperar reflectancias a partir de imágenes RGB de objetos.
4. Combinar los resultados obtenidos en los objetivos 2 y 3 para caracterizar objetos de forma más completa, así como emplear dichos resultados para simular estos objetos bajo diferentes condiciones de iluminación.
En el capítulo 2 de esta tesis presentamos una revisión bibliográfica de los trabajos publicados hasta ahora tanto en el campo de la recuperación de albedo y vectores normal como en el de recuperación espectral. Este capítulo está separado en dos grandes bloques, el primero dedicado a las técnicas photometric stereo y el segundo a los sistemas espectrales. En el primer bloque inicialmente se repasan las bases de la formación de imágenes y de la recuperación de información 3D a partir de superficies con textura para, a continuación, exponer los distintos trabajos dirigidos a ampliar estas técnicas al caso en que las muestras capturadas no sean Lambertianas y al empleo de imágenes a color. Dentro de este mismo bloque se hace un breve repaso de distintas técnicas empleadas en la reconstrucción tridimensional de superficies a partir de vectores normal. En el segundo bloque se define el concepto de sistema espectral así como sus posibles variantes y se presentan diferentes tipos de algoritmos de estimación espectral.
En el capítulo 3 se describe el dispositivo empleado para capturar las imágenes, el calibrado realizado a la cámara RGB empleada y los distintos tipos de muestras empleados en este trabajo, tales como muestras de calibración con textura (desarrolladas en esta tesis), diferentes cartas de color y muestras test.
En el capítulo 4 se presenta el método de recuperación de normales y albedo empleado en este trabajo, basado en la técnica conocida como four source photometric stereo, y a continuación se compara con otros dos métodos. Para evaluar la calidad de los albedos recuperados se emplean las muestras de calibración con texturas presentadas en el capítulo 3 que han sido fabricadas con este fin. También se evalúan las normales recuperadas por los tres métodos simulando una superficie con ellos. Por último, para evaluar de forma conjunta la calidad de ambos, se capturan y simulan las muestras de calibración y se comparan, obteniendo resultados excelentes. Por último, el método se aplica a un conjunto de muestras que presentan superficies más complejas que también son simuladas y capturadas bajo las mismas condiciones para poder comparar. En este caso también se obtienen resultados muy satisfactorios, salvo en el caso de algunas muestras que presentan sombras arrojadas El capítulo 5 aborda el problema de la recuperación de información espectral. En él se emplea como algoritmo de recuperación espectral el algoritmo de regresión lineal o algoritmo de la pseudoinversa. A continuación se proponen tres métodos de selección de conjunto de entrenamiento, siendo el que mejores resultados un método de selección supervisada que calcula el conjunto más apropiado in situ. Las reconstrucciones espectrales obtenidas en este capítulo no serán óptimas debido principalmente al hecho de que el sistema empleado en la recuperación sólo tendrá tres canales.
En el capítulo 6 se propone la combinación de los algoritmos propuestos en los capítulos 4 y 5, de manera que se utilicen los albedos como punto de partida para la recuperación espectral en lugar de los valores RGB. Esto permite que las muestras puedan ser simuladas variando tanto la orientación de la fuente de iluminación como su composición espectral. Los resultados son evaluados en primer lugar con las muestras de calibración y en segundo lugar con las muestras test. En este caso los resultados obtenidos no son tan satisfactorios como en el capítulo 4, pero hay que tener en cuenta que se arrastra el error cometido en la determinación de las reflectancias expuesto en el capítulo 5. Aun así, en este capítulo se muestra que esta combinación de métodos es posible y que puede ser muy interesante si se consigue mejorar la obtención de las reflectancias.
En el capítulo 7 se presentan dos aplicaciones del método. La primera de ellas es una ampliación del mismo al caso en que no se controle la dirección de iluminación con la que se hacen las capturas. A través de un dispositivo muy simple es posible calcular dicha dirección de iluminación sin necesidad de controlar la posición de la fuente en el momento de la captura. La segunda aplicación, consiste en emplear el dispositivo para determinar la dirección de iluminación para hacer capturas con luz solar.
Por último, en el capítulo 8 se muestran las conclusiones de este trabajo. El capítulo 9 contiene las referencias bibliográficas empleadas y el capítulo 10 es un anexo con material explicativo sobre los distintos dispositivos empleados.
