Intent Classification Methods for Human Resources Chatbots

• Autores: Lucas Alvarez Lacasa, Martín Dévora Pajares, Rabih Zbib, Hermenegildo Fabregat
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 73, 2024, págs. 109-124
• Idioma: inglés
• Títulos paralelos:
  • Métodos para Clasificación de Intenciones en Chatbots de Recursos Humanos
• Enlaces
  • Texto completo
• Resumen
  • español

    Con el rápido desarrollo de la inteligencia artificial, los agentes conversacionales se han vuelto predominantes en diversas plataformas. Para comprender la conversación, estos sistemas deben lidiar con intenciones, emociones y entidades nombradas. Este trabajo analiza t´ecnicas de clasificación de intenciones aplicadas a chatbots de Recursos Humanos. Inicialmente, se exploran métodos no supervisados, centrados en codificadores pre-entrenados y clasificación zero-shot. Luego, se investigan estrategias supervisadas y modelos de lenguaje con Retrieval Augmented Generation. Finalmente, se propone la recuperación en dos etapas, entrenando un clasificador de categorías amplias cuya predicción es usada para obtener la intención más granular mediante búsqueda de vecinos más cercanos. Los resultados indican que los métodos completamente supervisados generan modelos superiores, mientras que los enfoques no supervisados tienen un rendimiento competitivo y permiten agregar nuevas intenciones sin necesidad de volver a entrenar el modelo. El enfoque propuesto de recuperación en dos etapas combina mejor rendimiento y flexibilidad adicional.

  • English

    With the rapid development of artificial intelligence, conversational agents have become prevalent in most mainstream platforms. To accomplish the user’s goal, the system needs to determine their intention, detect emotions and extract key entities from the conversational utterances. This paper presents a comprehensive analysis of intent classification techniques applied to Human Resources chatbots. First, unsupervised learning methods are explored, using pre-trained encoders and Zero-Shot Classification pipelines. Then, we investigate supervised approaches and Large Language Models using Retrieval Augmented Generation. Finally, we propose a two-stage retrieval pipeline that trains a coarse-grained classifier and uses its prediction to retrieve the fine-grained intent with Approximate Nearest Neighbor search. Results reveal that while fully supervised methods yield superior models, unsupervised approaches demonstrate competitive performance, but have the advantage of allowing new intents to be added without requiring model retraining. Our proposed two-stage approach combines the benefits of better performance with the added flexibility.