Aprendizaje por refuerzo en vivo para robots móviles: mejoras en autonomía y autoadaptación

• Asensio Huonder, Santiago ^[1] ; Arévalo Espejo, Vicente ^[1] ; Cruz Martín, Ana ^[1] ; Fernández Madrigal, Juan Antonio ^[1]
  1. [1] Universidad de Málaga

     Universidad de Málaga

     Málaga, España

     
• Localización: Jornadas de Automática, ISSN-e 3045-4093, Nº. 45, 2024
• Idioma: español
• Títulos paralelos:
  • Live reinforcement learning for mobile robots: improvements in autonomy and self-adaptation
• Enlaces
  • Texto completo
• Resumen
  • español

    En este trabajo se propone una arquitectura de reflejos ante estímulos sensoriales para que el aprendizaje por refuerzo en vivo para robots móviles mejore su adaptación a cambios en la tarea, aumente su autonomía para regresar a estados seguros tras errores y reduzca, en general, la supervisión por parte del humano. El trabajo se ha enfocado en la navegación de un robot móvil con evitación de obstáculos y hemos utilizado una versión modificada de los algoritmos de aprendizaje por refuerzo Q-learning y True On-Line SARSA (lambda). Se ha estudiado adicionalmente un aprendizaje que traslada lo aprendido en simulación al aprendizaje en vivo, llamado aprendizaje híbrido. Los resultados muestran que nuestra arquitectura mejora la seguridad del robot y su adaptabilidad a cambios en la tarea, minimiza la intervención humana y extiende el tiempo de entrenamiento sin supervisión.

  • English

    In this study, we propose an architecture based on automatic reflexes in response to sensory stimuli for live reinforcement learning to achieve better task adaptation, increased autonomy for returning to safe states after errors, and reduced learning supervision. A mobile robot has been used in a navigation task while avoiding obstacles, using modified versions of the reinfor-cement learning algorithms Q-learning and True On-Line SARSA(λ). Additionally, we explore a hybrid learning approach, which involves transferring insights gained from simulations to live environments. The results show that our arquitecture with reflexes improves the robot safety and adaptability to task changes, minimizing human intervention and extending unsupervised training time.