Prueba de bondad de ajuste para la distribución de distancias en secuencias de datos categóricos

• Autores: Niuman Comas Arias, Belarmino Catalá González, Oscar Oro Dosouto
• Localización: Revista Cubana de Ciencias Informáticas, ISSN-e 2227-1899, Vol. 15, Nº. 2, 2021
• Idioma: español
• Títulos paralelos:
  • Goodness of fit test for distance distribution in categorical data sequences
• Enlaces
  • Texto completo
• Resumen
  • español

    El análisis de aleatoriedad en secuencias de datos categóricos es relevante para el estudio de procesos de Markov, fiabilidad de sistemas, big data, generación de números pseudoaletorios y encriptación de datos. Existen diferentes enfoques para el análisis de aleatoriedad implementados en paquetes como la batería de pruebas “Diehard”, el Test U01 y NIST Statistical Test Suite. El presente estudio analiza el comportamiento de secuencias categóricas interpretadas como series cronológicas de tiempo discreto demostrándose que la distribución esperada de las distancias entre eventos de cada categoría corresponde a la distribución geométrica. La distribución de distancias observadas fue comparada con la teórica mediante prueba de bondad de ajuste basada en el estadístico chi-cuadrado. El algoritmo de la prueba fue implementado como módulo javascript para paquetes estadísticos en plataforma web comprobando su sensibilidad a diversas causas de comportamiento no aleatorio: el carácter periódico de los eventos, agrupamiento en bloques, autocorrelación y los procesos de Markov. La convergencia y robustez de la prueba fueron estudiadas mediante simulación en ordenador detectándose pequeñas desviaciones en la proporción de casos significativos esperados que indican la existencia de sesgos inherentes al criterio de agrupamiento utilizado en la prueba chi-cuadrado.

  • English

    Randomness analysis in categorical sequences is relevant for the study of Markov processes, system realibity, big data, data encryption and evaluation of pseudo-random number generators. Various approaches exist in order to appraise the randomness phenomena, they lead to a variety of tests such as the “Diehard” test battery, the test U01 and the NIST Statistical Test Suite. The behavior of categorical sequences was studied and understood as a discrete time chronological series. It was proved that the geometric distribution is the expected distribution (theoretical distribution) for distances between successes random sequences. The observed distance distribution was compared to the theoretical distribution by goodness of fit test based on chi-square statistic. The test algorithm was implemented as javascript module for web statistical packages checking its sensibility to various no random behavior including the periodical character of successes, blocking, autocorrelation and Markov processes existence. Test convergence and robustness were studied by means of simulation in computer, discovering little deviations in proportion of the significant cases that indicate the existence of inherent biased in chi-square test.