Resumen de Explorando el proceso de recolección, análisis y visualización del tráfico en las redes de computadoras
Las redes de comunicaciones han experimentado un incesante crecimiento desde el surgimiento del World Wide Web a través del cual han proliferado infinitud de servicios y aplicaciones con cada vez más usuarios interconectados. La Web e Internet han revolucionado la manera de hacer negocios de multitud de empresas, permitiendo ofrecer sus servicios de manera remota a usuarios en cualquier lugar del mundo. Igualmente, los usuarios de la red han pasado de ser actores pasivos de la red a tener un rol cada vez más activo, siendo los principales productores de contenido.
El rápido desarrollo de Internet ha producido un ecosistema de redes diversas y heterogéneas con multitud de componentes y protocolos para interconectarlos. Todo esto ha convertido el análisis de datos y la monitorización de redes en tareas cada vez más complejas. La gestión de red resulta crucial para administrar grandes centros de datos e infraestructuras de TI. La medición de parámetros de calidad de servicio (QoS) y calidad de experiencia (QoE) es esencial para determinar el estado y la calidad de los servicios ofrecidos, reduciendo y conteniendo los costes capitales y de operación.
Sin embargo, las crecientes tasas de red han abierto nuevos frentes en el área de la telemática que deberán ser abordados con nuevas metodologías que permitan manejar dichas cantidades de tráfico. Estos desafíos afectan a las etapas de captura, disección, procesamiento, análisis y visualización de los datos.
El objetivo principal de este trabajo es analizar y proponer nuevas técnicas para cada una de estas etapas, estudiando los factores clave que afectan al rendimiento de cada una de ellas. En lugar de realizar un estudio particular sobre una de estas etapas en profundidad, en este trabajo se ha optado por un enfoque horizontal que abarca múltiples etapas, lo que permite obtener una visión global del problema.
Cada una de estas etapas presenta distintas necesidades que afectan a los requisitos de versatilidad, velocidad y funcionalidad, los cuales afectan directamente al desarrollo de sus correspondientes soluciones. Por ejemplo, no se requiere de la misma versatilidad para desarrollar un sistema de alarmas que para el desarrollo de un disector de alto rendimiento para un determinado protocolo.
En este trabajo se ha propuesto una solución para la disección de tráfico HTTP capaz de manejar tráfico a tasas multi-Gbps y de distribuir la carga de trabajo equitativamente para su procesamiento en paralelo. De igual manera, se ha planteado un sistema de recolección, almacenamiento y procesamiento de mensajes de log apto para las nuevas necesidades de las redes heterogéneas. Igualmente, se ha propuesto un sistema de análisis a alto nivel para la generación de informes automáticos del estado de la red, desarrollando métodos para la lectura a alta velocidad de registros enriquecidos y detección de comportamientos anómalos, entre otros. Se han estudiado las implicaciones y retos de las arquitecturas desagregadas así como su impacto en tareas como el análisis masivo de datos. Por último, se ha consolidado todo lo aprendido en un proyecto de monitorización en tiempo real en una red empresarial, desarrollando técnicas para la detección de anomalías y la producción de alarmas.
Con el desarrollo de cada una de estas etapas se ha producido una serie de mejoras cuantitativas y cualitativas para los sistemas de gestión de red. En primer lugar, una herramienta de disección de tráfico HTTP capaz de soportar tasas de 11 Gbps por instancia. Seguidamente, un sistema de centralización de logs capaz de soportar entre 3 y 10 millones de mensajes por segundo. Posteriormente, un sistema automatizado de análisis a alto nivel capaz de generar informes proactivos del tráfico diario de forma puntual, para su uso por los administradores de la red. Finalmente, se ha desarrollado y desplegado un sistema de monitorización en un entorno real capaz de indexar 7 millones de datos diarios correspondientes a distintos componentes de la red (más de 100 VLANs, decenas de routers y pooles) y gestionar alarmas de más de 300 series temporales en tiempo real.
Para consumar los desarrollos mencionados se han identificado y resuelto distintos desafíos del ámbito de las redes de computadoras y las ciencias de la computación. Se espera que todas estas aportaciones sirvan para ampliar el conocimiento en el área de la gestión de redes y contribuyan a resolver los retos del análisis masivo de datos en redes heterogéneas.
============= Communication networks have experienced an incessant growth since the emergence of the World Wide Web, through which countless services and applications have proliferated, producing a diverse and heterogeneous network ecosystem with numerous components and protocols to interconnect them.
All of this has turned data analysis and network monitoring into increasingly complex tasks. Measurement of parameters such as the quality of service (QoS) or experience (QoE) in big data centers and IT infrastructures is essential to determine the status and quality of the offered services, reducing both capital expenditure (CAPEX) and operational costs (OPEX).
Notwithstanding, the growing network rates present new challenges in the telematics field, which must be addressed through new methodologies able to handle such traffic volumes. These challenges affect several stages such as the capture, dissection, process, analysis and visualization of data.
Hence, the main aim of this work is to analyse and propose novel techniques for each of those stages, studying the key factors that impact their performance. This work opts for a horizontal approach that ranges multiple stages, offering a global vision on the issue. Each of the aforementioned stages presents different challenges and needs that affect the requirements of versatility, throughput and functionality, which impact the development of their corresponding solutions.
Firstly, this thesis proposes a solution for HTTP traffic dissection able to handle multi-Gb/s traffic rates and distribute the work load evenly for the sake of concurrency. In the same way, this work presents a centralized system for log collection, storing and processing suitable for the upcoming needs of the heterogeneous networks. Furthermore, a high level automated report system is proposed, along with new techniques for high performance processing of enriched records and anomaly detection, among others. In this context, the implications and challenges of dissagregated architectures have been studied together with their impact on data analysis tasks. Lastly, all this knowledge has been consolidated for the deployment of a real-time monitoring project on an enterprise network, developing techniques for anomaly detection and alarm generation.
To achieve the aforementioned developments, many challenges regarding computer networks and computer sciences have been pinpointed and solved. We hope that the academic and industrial contributions presented in this thesis will serve to broad the knowledge in the network management area, helping to solve the many challenges of massive data analysis in heterogeneous networks.
