Aplicación Android para el reconocimiento de medicamentos mediante QR, texto a voz e inteligencia artificial

• Pitti, Issis ^[1] ; Aguilar, Roberto ^[1] ; Saldana-Barrios, Juan Jose ^[1] ; Moreno, Yuraisma ^[1]
  1. [1] Universidad Tecnológica de Panamá

     Universidad Tecnológica de Panamá

     Panamá

     
• Localización: Revista de Iniciación Científica: RIC, ISSN-e 2413-6786, ISSN 2412-0464, Vol. 10, Nº. 2, 2024, págs. 50-57
• Idioma: español
• Títulos paralelos:
  • Android application for medicines recognition using QR, text-to-speech and artificial intelligence
• Enlaces
  • Texto completo
• Resumen
  • español

    This article aims to develop an Android application for medication recognition using QR codes, text to speech and artificial intelligence to support people with low vision problems who often face difficulties in correctly identifying medicines. For these types of users, this can represent a significant challenge and confusion in the prescribed treatment can cause serious consequences for their health. The proposed application allows the generation of QR code for printing and adhesion to the packaging of each medicine. When the mobile device's camera is activated, the medication can be easily s canned, then the QR code can be captured and a built in function is implemented to translate text aloud, telling the user the name of the medication. Using the Python programming language, a custom API was also created through AI, using the GPT3.5 model, providing the user with an additional alternative to obtain indications about the scanned medications. In addition, the Kotlin programming language and the User-Centered Design methodology were applied. In the testing stage, the method of validating scan, audio and text response times was used manually and usability tests with users. From this study, it was possible to develop a high-fi delity (hi-fi) functional prototype, which successfully integrated the main functionalities, providing a technological alternative to people with visual problems, contributing to the care and well-being of their health, in a safer way.

  • español

    Este artículo tiene como objetivo desarrollar una aplicación Android para el reconocimiento de medicamentos mediante códigos QR, texto a voz e inteligencia artificial con el interés de apoyar a las personas con problemas de baja visión que con frecuencia pueden enfrentar dificultades para identificar correctamente los medicamentos. Para este tipo de usuarios, esto puede representar un desafío importante y la confusión en el tratamiento recetado puede ocasionarles graves consecuencias para su salud. La aplicación propuesta permite la generación de código QR para impresión y adhesión al empaque de cada medicamento. Cuando se activa la cámara del dispositivo móvil, el medicamento se puede escanear fácilmente, luego el código QR puede ser capturado y se implementa una función integrada para traducir texto en voz alta, indicando al usuario el nombre del medicamento. Utilizando el lenguaje de programación Python, también se creó una interfaz de programación de aplicaciones personalizada mediante inteligencia artificial, usando el modelo GPT-3.5 brindando al usuario una alternativa adicional para obtener indicaciones sobre los medicamentos escaneados. Además, se aplicó el lenguaje de programación Kotlin y la metodología de diseño centrado en el usuario. En la etapa de pruebas se empleó el método de validación de tiempos de respuesta de escaneo, audio y texto, de forma manual y pruebas de usabilidad con usuarios. A partir de este estudio se logró desarrollar un prototipo funcional de alta fidelidad, que integró las funcionalidades principales exitosamente, brindando una alternativa tecnológica a personas con problemas visuales, contribuyendo al cuidado y bienestar de su salud, de forma más segura.