Acoustic-based smart tactile sensing in social robots
- Autores: Juan José Gamboa Montero
- Directores de la Tesis: Fernando Alonso Martín (dir. tes.), José Carlos Castillo Montoya (codir. tes.), Miguel Ángel Salichs Sánchez-Caballero (tut. tes.)
- Lectura: En la Universidad Carlos III de Madrid ( España ) en 2023
- Idioma: inglés
- Tribunal Calificador de la Tesis: Pedro Manuel Urbano de Almeida Lima (presid.), María Dolores Blanco Rojas (secret.), Antonio Fernández Caballero (voc.)
- Programa de doctorado: Programa de Doctorado en Ingeniería Eléctrica, Electrónica y Automática por la Universidad Carlos III de Madrid
- Materias:
- Enlaces
- Tesis en acceso abierto en: e-Archivo
- Resumen
El sentido del tacto es un componente crucial de la interacción social humana y se puede considerar único entre los cinco sentidos que poseen los seres humanos. En primer lugar, el sentido del tacto está compuesto principalmente por la piel, el órgano más grande del cuerpo humano y un enorme sensor conectado que mantiene al cerebro conectado con el entorno. El tacto es el sentido que más tempranamente comienza a desarrollarse; teniendo una gran influencia desde la concepción, durante el parto y, posteriormente, cumpliendo un papel esencial para el desarrollo desde la infancia hasta la niñez. Por último, al ser el único sentido proximal, el tacto requiere un contacto físico cercano o directo para registrar la información. Este hecho convierte al tacto en una modalidad de interacción llena de posibilidades en cuanto a comunicación social. A través del tacto podemos tanto conocer la intención de la otra persona como comunicar emociones. A partir de esta idea surge el concepto de social touch o tacto social como el acto de tocar a otra persona en un contexto social. Este tipo de contacto físico puede tener diversos fines, como saludar, mostrar afecto, persuadir y regular el bienestar emocional y físico.
Recientemente, el número de personas que interactúan con sistemas y agentes artificiales ha aumentado, principalmente debido al auge de los dispositivos tecnológicos, como los smartphones o los altavoces inteligentes. A pesar del auge de estos dispositivos, sus capacidades de interacción son limitadas. Para paliar este problema, los recientes avances en robótica social han mejorado las posibilidades de interacción para que los agentes artificiales funcionen de forma más fluida y sean más útiles. En este sentido, los robots sociales son un tipo de dispositivo diseñado para facilitar interacciones naturales entre humanos y agentes artificiales. El sentido del tacto en este contexto se revela como un vehículo natural que puede mejorar la Interacción Humano-Robot (HRI, por sus siglas en inglés) debido a su relevancia comunicativa en entornos sociales. Además de esto, para un robot social, la relación entre el tacto social y su aspecto es directa, al disponer de un cuerpo físico para aplicar o recibir toques. Aún así, el campo de la Interacción Humano-Robot aplicado a tecnologías táctiles es aún relativamente joven y, por ello, existen desafíos y retos ante los que se tiene que enfrentar. Entre los más relevantes destacan, por un lado, el crear sistemas de tacto integrados en plataformas robóticas que permitan la detección y reconocimiento en tiempo real de cómo está siendo tocada la plataforma robótica y, por el otro, la evaluación del impacto que puede tener la interacción táctil entre el usuario y el robot a través del diseño de escenarios reales en los que este tipo de interacción esté contextualizada.
Desde un punto de vista técnico, los sistemas de detección táctil han sido objeto recientemente de nuevas investigaciones. Dichas investigaciones han estado centradas principalmente en comprender el funcionamiento del sentido del tacto para crear sistemas inteligentes que puedan mejorar la vida de las personas. Entre las aplicaciones más frecuentes se encuentran el diseño de pantallas interactivas, dispositivos hápticos o su aplicación en brazos y pieles robóticas. En este punto, los robots sociales se han convertido también en dispositivos muy populares que incluyen tecnologías para la detección táctil. Esto está motivado por el hecho de que un robot puede, esperada o inesperadamente, tener contacto físico con una persona, lo que puede mejorar o interferir en la ejecución de sus comportamientos. Por tanto, el sentido del tacto se antoja necesario para el desarrollo de aplicaciones robóticas. Algunos métodos incluyen el reconocimiento de gestos táctiles, aunque a menudo estos sistemas de detección exigen importantes despliegues de hardware que requieren de múltiples sensores. Además de esto, la fiabilidad de estas tecnologías de detección es en algunos casos limitada, ya que la mayoría de ellas siguen teniendo problemas tales como falsos positivos o tasas de reconocimiento bajas. La detección acústica, en este sentido, puede aportar un conjunto de características con las que paliar algunas de las deficiencias anteriores. A pesar de que se trata de una tecnología utilizada en diversos campos de investigación, hasta la fecha no se ha integrado en la interacción táctil entre humanos y robots sociales.
Motivados por los desafíos existentes en el campo de la Interacción Humano-Robot táctil como en los retos técnicos asociados a los sistemas de detección táctil, en este trabajo proponemos el sistema acústico de reconocimiento de tacto (ATR, por sus siglas en inglés). Nuestra propuesta consiste en un sistema inteligente de detección táctil basado en tecnología de detección acústica y diseñado para mejorar la interacción social humano-robot. Nuestro sistema está desarrollado para clasificar gestos táctiles y localizar su origen. En este sentido, las prestaciones ofrecidas por el sistema de tacto han demostrado ser competitivas comparadas con otros sistemas del estado del arte que se han analizado y estudiado a lo largo del trabajo. Además de esto, el sistema de tacto se ha integrado en plataformas robóticas sociales y se ha probado en aplicaciones reales con éxito. A lo largo del trabajo, hemos enfocado nuestra propuesta desde dos puntos de vista: uno técnico y otro relacionado con el tacto social. A través de este planteamiento multidisciplinar, en este trabajo se establece un nexo de unión entre el mundo de las tecnologías de detección táctil, los sistemas inteligentes de detección táctil y su aplicación en el campo de la robótica con el estudio del tacto social, centrado en los efectos que la interacción táctil tiene en los seres humanos, no sólo en interacciones humano-humano, sino también en la interacción humano-robot.
Por un lado, la propuesta tiene una motivación técnica centrada en conseguir un sistema táctil de bajo coste, modular y portátil con una tasa de detección que permita competir con los sistemas existentes. A nivel hardware, el sistema se ha diseñado para adaptarse a las particularidades que tienen las plataformas robóticas sociales. Esto ha implicado adaptar el diseño a las superficies de los robots; superficies complejas y curvas compuestas tanto por materiales duros como el plástico o la fibra de vidrio, como por materiales blandos como la gomaespuma. Las distintas iteraciones del sistema se han integrado y evaluado en los robots presentes del laboratorio: Maggie, Mbot y Mini. Las dos primeras plataformas están compuestas por materiales duros y la última está compuesta tanto por materiales duros, más específicamente plástico, como por partes blandas de gomaespuma. Nuestro diseño integra satisfactoriamente tecnología acústica en un sistema inteligente de detección táctil, lo que ha implicado la exploración de distintos sensores y herramientas de adquisición de datos, tales como tarjetas e interfaces de sonido. Entre los objetivos de diseño planteados, se encuentran principalmente el evitar que la interacción se vea entorpecida por el sistema de tacto y buscar el posicionamiento más adecuado de los sensores para que la adquisición de la señal de sonido sea óptima. Además de esto, se ha hecho hincapié en que el despliegue de sensores conllevase la menor complejidad posible, evitando cantidades excesivas de sensores, pero garantizando que el alcance del sistema cubriera las zonas del robot más proclives al contacto.
A lo largo del trabajo se muestra la evolución del hardware del sistema, compuesto principalmente de micrófonos piezoeléctricos y su correspondiente componente diseñado para la adquisición de datos. Buscando siempre un compromiso entre coste, calidad de sonido y volúmen, se ha partido de soluciones compuestas por componentes comerciales, hasta lograr un sistema que integra principalmente componentes de bajo coste adaptados al caso de uso planteado. Además de la elección de componentes, en este trabajo se explora cómo instalarlos en las superficies de las distintas plataformas robóticas. Debido a las características anteriormente mencionadas de estas superficies, esto no es una tarea sencilla, ya que debido a las propiedades y a la forma de los micrófonos piezoeléctricos, estos requieren que la superficie de instalación sea lisa y mayormente plana o ligeramente convexa para poder capturar correctamente la vibración generada por el toque. A pesar de que exteriormente las superficies de los robots sociales cumplen con este requisito, para evitar que el sensor altere la apariencia del robot o que el sistema pueda interferir durante el contacto, los micrófonos se deben instalar en las superficies interiores, que en el caso de materiales duros como la fibra de vidrio o el plástico son rugosas y cóncavas. Para poder hacer frente al problema que supone instalar el sistema en este tipo de superficies, hemos empleado distintos materiales adhesivos moldeables que han supuesto una solución eficaz y que no altera negativamente el rendimiento del sistema.
Con respecto al diseño y la implementación del sistema desde el punto de vista del software, se ha buscado en primera instancia la modularidad. Por ello se ha empleado el Robot Operating System (ROS, por sus siglas en inglés) como herramienta principal alrededor de la cual diseñar la propuesta. Entre las ventajas que ofrece, ROS permite diseñar sistemas escalables compuestos por nodos que se intercomunican entre sí a través de la infraestructura de comunicaciones que la herramienta ofrece. Esto permite no sólo que los componentes del sistema se comuniquen entre sí, sino que éstos puedan comunicarse con otros sistemas, permitiendo formar parte de arquitecturasmás complejas. Esta propiedad ha tenido especial relevancia al integrar satisfactoriamente el ATRen la arquitectura software de los robots mencionados anteriormente (diseñada empleando ROS), otro de los requisitos a cumplir por la propuesta planteada. A lo largo del proceso de diseño, también se ha hecho énfasis en otras cualidades en lo referente a su portabilidad o a su robustez.
El sistema presentado está compuesto por una serie de fases que permiten partir de la información obtenida a través de los micrófonos de contacto, para finalmente lograr clasificar el tipo de gesto táctil que el usuario ha realizado sobre la superficie del robot. Para ello se comienza por una fase de adquisición de la señal en la que se captura y se muestrea las señales acústicas provenientes de los micrófonos en tiempo real y de forma continua. A partir de aquí, se pasa a la fase de detección de actividad del toque, donde se evalúa si alguna de las señales en un determinado instante puede ser considerada el inicio de un contacto físico. En este punto, se evalúa la relación señal/ruido (SNR, por sus siglas en inglés) de la señal, además de evaluar también la activación de los sensores capacitivos presentes en el sistema, en caso de que el robot los tuviese. Una vez que el sistema detecta que el toque ha comenzado, en la siguiente etapa se extraen las características de las señales de cada uno de los micrófonos en tiempo real. Este proceso finaliza cuando, de la misma forma que se detectó que el gesto comenzaba, se identifica que el toque se ha detenido. La siguiente fase consiste en convertir la información extraída de los micrófonos durante el contacto físico en una instancia que formará parte de un conjunto de datos. La elaboración de dicho conjunto de datos conduce a la siguiente etapa del sistema, en la que se implementan técnicas de aprendizaje automático para categorizar el tipo de contacto que se ha efectuado en diferentes gestos táctiles. En ese sentido, el sistema propuesto ha sido capaz de clasificar efectivamente seis tipos de gestos táctiles diferentes: toque, caricia, bofetada, cosquillas, rascar y frotar.
Además de esto, en este trabajo se ha implementado la capacidad de que el sistema localice el origen del contacto físico. Para ello se han explorado dos enfoques diferentes. En primer lugar, se ha extendido la utilización de técnicas de aprendizaje automático introduciendo una categoría de clasificación que representa la zona del robot donde se ha efectuado el contacto físico. En nuestra propuesta se buscó resolver el problema desde dos ángulos diferentes: separando la clasificación del gesto táctil de la clasificación de la zona de contacto, o implementando algoritmos que establezcan una relación entre ambos problemas. En segundo lugar, además de los enfoques centrados en aprendizaje automático, en este trabajo también se exploran técnicas de localización que permitan una ubicación más precisa del contacto físico. Dichas técnicas evalúan características como la diferencia del tiempo de llegada de las señales recibidas por cada micrófono para computar la ubicación del contacto. Específicamente, la propuesta planteada en este trabajo implementa el algoritmo Steered-Response Power (SRP, por sus siglas en inglés), capaz de modelar superficies, para resolver el problema de la localización teniendo en cuenta las superficies curvas de los robots sociales.
Además de los aspectos técnicos del sistema, tanto en lo concerniente al hardware como al software, en este trabajo también hemos empleado el sistema en dos experimentos relacionados con el estudio de la Interacción Humano-Robot táctil y, más específicamente, en el campo del tacto social. Dichos experimentos se centran en evaluar el impacto que tiene, por un lado, la introducción del sistema de tacto en lo referente a la comunicación afectiva con el robot, y por otro lado, en el efecto que tiene en el comportamiento del usuario.
Para el primer experimento, el sistema de tacto propuesto se ha combinado con otro de reconocimiento de la expresión facial del usuario para lograr un sistema de percepción multimodal más sofisticado. Dicho sistema se ha diseñado para obtener información de alto nivel relacionada con la expresión afectiva que el usuario muestra al robot. Esta información surge de la combinación del gesto táctil que está efectuando el usuario sobre el robot con la expresión facial que está mostrando en ese momento. Para obtener un conjunto de datos con el que el sistema pudiese inferir el resultado de dicha combinación, se ha realizado un experimento humano-humano en el que los usuarios tenían que evaluar dichas combinaciones en términos de valencia y activación al estar sometidos a ambos estímulos simultáneamente.
El segundo experimento se ha centrado en evaluar el impacto que la interacción a través del tacto con un robot social tiene en el comportamiento del usuario. Para ello, se ha diseñado un escenario en el que el usuario interactúe con el robot a través de un conocido juego de memoria. Para poder evaluar el impacto correctamente, se ha comparado la interacción empleando el sistema de tacto diseñado con la interacción a través de un dispositivo compuesto por botones que emiten luz y sonido. A través de un cuestionario que evaluaba la experiencia del usuario durante el experimento, hemos probado que la interacción táctil con el robot impacta significativamente de forma positiva en el comportamiento y en el estado de ánimo del usuario. Además de esto, a través de este experimento hemos podido comprobar cualitativamente el rendimiento del sistema en una aplicación real, ya que los usuarios no han indicado que el sistema afectase negativamente a la interacción.
Por último, en este trabajo hemos explorado la introducción de técnicas de aprendizaje automático más avanzadas empleando el sistema de tacto como base. Específicamente, hemos propuesto la aplicación de aprendizaje federado, una técnica de aprendizaje distribuido. Para ello, se ha planteado un caso de uso de un sistema federado compuesto por siete nodos representando siete plataformas robóticas similares que aprendían de forma asíncrona de diferentes usuarios. Al implementar este paradigma de aprendizaje automático hemos logrado una serie de ventajas. En primer lugar, se logra acelerar el proceso de recopilación de muestras, consiguiendo una base de conocimiento común entre varios robots; en este sentido, el sistema se beneficia de las características propias del paradigma del aprendizaje automático distribuido. En segundo lugar, y de acuerdo con la actual tendencia orientada a proteger la privacidad del usuario, el aprendizaje federado ofrece garantías al usuario, ya que la información que comparten entre sí los robots no son los propios conjuntos de datos, sino los parámetros del modelo de aprendizaje automático que construyen en conjunto los distintos nodos. Finalmente, a través de la implementación de este paradigma, hemos logrado unos resultados en la clasificación competitivos.
