Resumen de Detecção de quebras em diálogos humano-computador

Leonardo de Andrade, Ivandre Paraboni

• English

   With the steady growth in the use of consumer relationship technologies on the Internet, chatbot systems have become ubiquitous in Natural Language processing (NLP) and related fields. Despite significant advances in recent years, however, systems of this kind do not always deliver plausible, consistent results, in many cases leading to a dialogue breakdown. As a result, there is a growing interest in how to improve systems of this kind so as to minimise errors. Based on these observations, this work addresses the issue of automatic dialogue breakdown detection by presenting three models that take the dialogue history into account to decide when a conversation is likely to break. The models under consideration explore a range of recent NLP methods and are evaluated by using a purpose-built Portuguese dataset conveying real-world human-computer conversations, and also in publicly available benchmarks for the English language.

• português

  Com o crescimento constante no uso de tecnologias de relacionamento com o consumidor na Internet, os sistemas de chatbot se tornaram onipresentes no processamento de linguagem natural (PLN) e áreas relacionadas. Apesar dos avanços significativos nos últimos anos, no entanto, sistemas desse tipo nem sempre fornecem resultados plausíveis e consistentes, em muitos casos levando a uma quebra no diálogo. Assim, há grande interesse em investigar as circunstâncias nas quais erros deste tipo são produzidos e, quando possível, aprimorar o projeto destes sistemas de modo a minimizar tais erros. Com base nestas observações, neste trabalho abordamos a questão da detecção automática de quebras em diálogos humano-computador apresentando três modelos que levam em consideração o histórico de diálogo para decidir quando ele possui maior probabilidade de culminar em uma quebra. Os modelos propostos exploram uma variedade de métodos de PLN recentes, e são avaliados tanto com base em um conjunto de dados de diálogos reais em português entre usuários humanos e sistemas de chatbot desenvolvido especificamente para este fim, como também utilizando benchmarks publicamente disponíveis para o idioma inglês.