Lexical Normalization of Spanish Tweets with Rule-Based Components and Language Models

• Autores: Pablo Ruiz, Montse Cuadros, Thierry Etchegoyhen
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 52, 2014, págs. 45-52
• Idioma: inglés
• Títulos paralelos:
  • Normalización léxica de tweets en español con componentes basados en reglas y modelos de lenguaje
• Enlaces
  • Texto completo
• Resumen
  • español

    Este artículo presenta un sistema para la normalización de tweets en español, que usa reglas de preproceso, un modelo de distancias de edición adecuado al dominio y modelos de lenguaje para seleccionar candidatos de corrección según el contexto. Se trata de un sistema mejorado basado en el que presentamos en la tarea compartida Tweet-Norm 2013. El sistema obtiene resultados superiores a la media en el corpus de test de la tarea. Presentamos además un estudio del impacto en la normalización de los diferentes componentes del sistema: basados en reglas, en distancia de edición, y estadísticos.

  • English

    This paper presents a system to normalize Spanish tweets, which uses preprocessing rules, a domain-appropriate edit-distance model, and language models to select correction candidates based on context. The system is an improvement on the tool we submitted to the Tweet-Norm 2013 shared task, and results on the task’s test-corpus are above-average. Additionally, we provide a study of the impact for tweet normalization of the different components of the system: rule-based, edit-distance based and statistical.