Resumen de Control y supervisión avanzada de sistemas basados en el uso de interfaces naturales de usuario de tipo Gestual (INU-G)
Washington Gonzalo Pomboza Junez
El uso del gesto en la interfaz es una forma de interacción que va ganando espacio en la comunicación entre Hombre-Máquina. Esta tesis, plantea el uso de la interfaz natural de usuario basada en gestos aplicada en la interacción Hombre-Máquina y orientada al control y supervisión de sistemas y dispositivos eléctricos y electrónicos. En este trabajo se realizan varios enfoques, que tratan de determinar la captura, reconocimiento y aplicación del gesto, sus características y su lenguaje.
Un análisis detallado del uso del gesto, especialmente de las manos, es realizado en primer término. Este análisis está encaminado a lograr una mejor comprensión de la riqueza natural que encierra el hombre en cada una de sus expresiones gestuales. Por ser tan amplia, necesita ser definida y clasificada para puntualizar su alcance en la interacción, mediante interfaces gestuales, con dispositivos. Se definen varios aspectos, entre ellos, se delimita la captura del gesto en tres ámbitos principales que son: óptico, por sensores y por contacto. Cada uno de estos aspectos es analizado e implementado, en casos de estudio experimentales. En cada uno de ellos, se contó con la participación activa de voluntarios que permitieron llegar a conclusiones válidas de aplicación.
En primer lugar, se realizó un enfoque de la captura y reconocimiento gestual usando dispositivos ópticos. Se estudiaron y analizaron las características de identificación y reconocimiento que emplean los dispositivos basados en imagen. Este análisis logró identificar métricas que involucran la calidad y efectividad del algoritmo de reconocimiento, íntimamente relacionado con la complejidad del catálogo gestual usado, especialmente en aquellos dispositivos que implementan tecnología óptico-infrarroja. Se definen además, conceptos y características de los gestos de control orientados a determinar la garantía de reconocimiento, en términos de exactitud y precisión, además de la efectividad, que califican al gesto para realizar aquella acción que los involucra. Los resultados de este estudio, fueron usados en la implementación de una interfaz natural de usuario que aplica el gesto libre de la mano al control reactivo de un dispositivo robótico. Esta propuesta experimental alcanzó muy buenos resultados y validó los conceptos de reconocimiento y efectividad, definidos anteriormente.
Posteriormente, se realizó un profundo análisis del uso sensores para lograr la captura del gesto por medio de señales electromiográficas (EMG). La señal EMG es un tipo de bioseñal generada en el músculo esquelético en respuesta a la actividad neuronal y que provoca la contracción y expansión de la masa muscular pertinente. Dichas señales, posibilitan el reconocimiento gestual basándose en las lecturas de la actividad eléctrica obtenidas de aquellos músculos del brazo, antebrazo y mano que intervienen en la formación del gesto. Para establecer la validez de este tipo de reconocimiento, un nuevo catálogo gestual fue analizado e identificado usando algoritmos de Machine Learning, a saber Máquinas de Vectores de Soporte (Support Vector Machines, SVM) y k-vecino más cercano (k-Nearest Neighbors, k-NN). En el caso de SVM, tres tipos de Kernel fueron probados (RBF, Polinomial y Sigmoidal). La mejor respuesta de clasificación fue encontrada usando SVM con kernel Polinomial. Los resultados de este análisis fueron usados en la construcción e implementación de un sistema de interacción natural de usuario de tipo gestual basado en sensores sEMG y aplicado al control de dispositivos de casa.
Continuando con nuestra investigación, y a la luz de los resultados obtenidos, se realizó un estudio comparativo de la interfaz basada en gestos (Gesture-based User Interface, GBUI) frente a otra de extensa cobertura y gran exactitud, la interfaz de usuario que usa pantalla táctil (Touchscreen User Interface, TUI). El caso más general de aplicación de una TUI fue analizado, usando dispositivos Smartphone. En este sentido, se lograron resultados esenciales al evaluar adicionalmente dos posiciones anatómicas, muy usadas y posibles en el uso de una TUI sobre un Smartphone, a saber: posición de pie o ``normal'' y posición acostado o ``especial". Nuestros resultados indican que, si bien la interacción por contacto es la más precisa, el uso del gesto es la alternativa natural más conveniente para gestión de un dispositivo, en este caso el Smartphone. Se comprobó que, la interfaz gestual es independiente de la posición anatómica del usuario y una alternativa indiscutible para casos especiales de uso como: enfermedad, impedimento físico y/o por comodidad. Una propuesta experimental fue desarrollada e implementada usando una arquitectura abierta, pensada para este tipo interfaz en dispositivos móviles. Los resultados fueron notables, al lograr la gestión de llamadas telefónicas y el control de un Smartphone, a través del gesto del usuario junto a ayudas auditivas, evitando la supervisión visual. Finalmente, un test de usabilidad aplicado a todos los usuarios, confirmó que el uso de una interfaz gestual en este tipo de dispositivos, es la opción más adecuada y quizá la ideal, en casos de emergencia, incapacidad física o visual.
Finalmente, se logró definir un lenguaje de control basado en una estructura jerárquica, la cual usa el gesto como principal componente. Dicha estructura se fundamenta en la teoría de grafos, para llegar a determinar un nuevo concepto llamado Árbol de Control Gestual (Gestural Control Tree, GCT). El GCT, está pensado para lograr el control de varios dispositivos y sus funcionalidades, a través de comandos complejos, formados y definidos en la Activity. Una Activity, es definida como la agrupación de comandos simples que logran integrarse en base a los niveles que especifica el GCT. Para lograr un adecuado enfoque del lenguaje de control, se realizó un estudio de la confortabilidad del gesto, con la participación de voluntarios quienes calificaron al gesto en una escala de confort. Una experiencia práctica que implementa el concepto de GCT y confortabilidad del gesto fue realizada y sobre ella se evaluó la facilidad de uso y grado de aceptación del usuario. Esta propuesta experimental, fue aplicada al control de dispositivos de casa, tanto eléctricos y electrónicos. Los resultados indican que un lenguaje de control basado en GCT logra muy buenos resultados en la gestión de dispositivos, facilidad de uso y aceptabilidad de parte del usuario, y realiza un uso óptimo de la biblioteca gestual usada.
Por todo lo expuesto, esta tesis puede ser considerada un referente a la aplicación de Interfaces Naturales de Usuario de Tipo Gestual (INU-G) orientadas al control y supervisión de sistemas eléctricos y electrónicos.
