Análisis léxico de textos generados por modelos de lenguaje: reflejo de sus modelos de mundo

• Kotz, Gabriela ^[1] ; Fuentes, Karina ^[1] ; Salcedo, Pedro ^[1]
  1. [1] Universidad de Concepción

     Universidad de Concepción

     Comuna de Concepción, Chile

     
• Localización: Lengua y Sociedad, ISSN 1729-9721, ISSN-e 2413-2659, Vol. 23, Nº. 2, 2024, págs. 895-910
• Idioma: español
• Títulos paralelos:
  • Lexical analysis of texts generated by language models: reflection of their world models
  • Análise lexical de textos gerados por modelos linguísticos: reflexão sobre os seus modelos de mundo
• Enlaces
  • Texto completo
• Resumen
  • español

    La inteligencia artificial (IA) ha transformado numerosos campos, incluyendo la lingüística. Los Grandes Modelos de Lenguaje (LLM) han revolucionado la interacción con el texto al proporcionar respuestas que imitan el lenguaje humano. Estos modelos no solo generan texto, sino que también reflejan su interpretación del mundo. Sin embargo, la comprensión del mundo de estos modelos es limitada, lo que ha llevado a proponer el desarrollo de los Grandes Modelos del Mundo (LWM), que integran datos textuales, visuales y auditivos para una comprensión más completa. En este artículo, se analiza cómo los LLM articulan respuestas basadas en sus modelos de mundo mediante una perspectiva léxico-estadística. Mediante un diseño cuasiexperimental comparativo, se evaluaron seis LLM diferentes. La metodología se centró en medir la diversidad y densidad léxica de los textos generados por estos modelos. Los resultados mostraron que ChatGPT-4 tiene una alta densidad léxica y una diversidad léxica moderada, mientras que Copilot presenta la mayor diversidad léxica pero con una densidad léxica menor. Este análisis es crucial para entender las capacidades y limitaciones de los LLM, con implicaciones para aplicaciones en diversas áreas. Se presentan los conceptos y la metodología, se discuten los hallazgos y se  concluye con reflexiones sobre futuras investigaciones y aplicaciones prácticas.

     

  • English

    Artificial intelligence (AI) has transformed numerous fields, including linguistics. Large Language Models (LLMs) have revolutionized interaction with text by providing responses that mimic human language. These models not only generate text, but also reflect their interpretation of the world. However, these models' understanding of the world is limited, which has led to the proposal of developing Large World Models (LWMs), which integrate textual, visual, and auditory data for a more complete understanding. This article employs a lexicostatistical perspective to analyze how LLMs articulate responses based on their world models. A comparative quasi-experimental design was utilized to evaluate six different LLMs. The methodology focused on measuring the diversity and lexical density of the texts generated by these models. The results demonstrated that ChatGPT-4 has high lexical density and moderate lexical diversity, while Copilot has the highest lexical diversity but lower lexical density. This analysis is of great importance for understanding  the capabilities and limitations of LLMs, with implications for their applications in various areas. The concepts and methodology are presented, the findings are discussed , and the paper concludes with reflections  on future research and practical applications.

  • português

    A inteligência artificial (IA) transformou vários domínios, incluindo a linguística. Os grandes modelos de linguagem (LLM) revolucionaram a interação com o texto, fornecendo respostas que imitam a linguagem humana. Estes modelos não só geram texto, como também reflectem a sua interpretação do mundo. No entanto, a compreensão do mundo por parte destes modelos é limitada, o que levou à proposta de desenvolvimento de Large World Models (LWMs), que integram dados textuais, visuais e auditivos para uma compreensão mais completa. Este artigo utiliza uma perspetiva léxico-estatística para analisar a forma como os LLM articulam as respostas com base nos seus modelos do mundo. Utilizou-se uma conceção quase-experimental comparativa para avaliar seis LLMs diferentes. A metodologia centrou-se na medição da diversidade e da densidade lexical dos textos gerados por esses modelos. Os resultados demonstraram que o ChatGPT-4 tem uma densidade lexical elevada e uma diversidade lexical moderada, enquanto o Copilot tem a maior diversidade lexical mas uma densidade lexical mais baixa. Esta análise é de grande importância para a compreensão das capacidades e limitações dos LLMs, com implicações para suas aplicações em diversas áreas. Os conceitos, a metodologia e os resultados são apresentados e discutidos, concluindo-se com reflexões sobre futuras investigações e aplicações práticas.