Towards automatic generation of performance models for dynamic tuning using machine learning
- Autores: Jordi Alcaraz Rodriguez
- Directores de la Tesis: Anna Sikora (dir. tes.), Eduardo Cesar Galobardes (dir. tes.)
- Lectura: En la Universitat Autònoma de Barcelona ( España ) en 2021
- Idioma: inglés
- Tribunal Calificador de la Tesis: Michael Gerndt (presid.), Ana Cortés Fité (secret.), Jiri Filipovic (voc.)
- Programa de doctorado: Programa de Doctorado en Informática por la Universidad Autónoma de Barcelona
- Materias:
- Enlaces
- Tesis en acceso abierto en: TDX
- Resumen
En los sistemas actuales son necesarios nuevos enfoques para generar modelos de rendimiento debido a la heterogeneidad. Una alternativa a los modelos analíticos tradicionales podría ser el uso de algoritmos de aprendizaje automático, ayudando a la creación automática de modelos de rendimiento para predecir la configuración correcta para diferentes parámetros de la aplicación.
Para poder crear modelos de rendimiento, las métricas se utilizan como entradas para calcular o seleccionar los valores adecuados para uno o varios parámetros que pueden afectar al rendimiento. La correcta selección de las métricas es importante debido a que la información puede ser redundante o insuficiente. Además, se deben tener en cuenta múltiples escenarios a la hora de generar modelos, como diferentes tamaños de problema, para obtener el comportamiento en diferentes condiciones, lo que permite generalizar las relaciones entre métricas y evitar relaciones adaptadas a un solo escenario.
En esta tesis abordamos los dos problemas previamente explicados para aplicaciones multihilo utilizando OpenMP con el desarrollo de dos metodologías.
En primer lugar, se desarrolla una metodología para encontrar el conjunto adecuado de métricas con el fin de caracterizar el comportamiento de una región paralela. Mediante el uso de esta metodología se reduce el número de métricas necesarias para caracterizar correctamente una aplicación o una región paralela, disminuyendo la sobrecarga al medir todas las métricas necesarias. Hemos decidido utilizar contadores hardware de rendimiento como métricas para caracterizar la ejecución de regiones paralelas OpenMP. Utilizando esta metodología, el número necesario de contadores hardware se redujo a menos de la mitad de la lista de uso general de contadores disponibles, evitando al mismo tiempo la pérdida de información.
La segunda metodología se desarrolla para construir un conjunto representativo y equilibrado de patrones disponibles en aplicaciones paralelas. Dado un conjunto de regiones paralelas candidatas que se incluirán en un conjunto para el ajuste del rendimiento, cada candidato se compara con los patrones ya incluidos en el conjunto para determinar si cubren, o no, una región diferente del espacio de búsqueda. Esta comparación se basa en el análisis de correlación de las métricas medidas para el candidato. Por ejemplo, en uno de los sistemas probados, se generó un conjunto con solo 8 patrones de 33 candidatos extraídos de los benchmarks STREAM y PolyBench.
El conjunto generado se desequilibra cuando se utiliza para ajustar el rendimiento porque en un sistema los valores de algunos parámetros generalmente proporcionan un mejor rendimiento que otros valores. En consecuencia, los algoritmos de aprendizaje automático pueden tener un rendimiento inferior debido a casos subrepresentados. Por lo tanto, técnicas para contrarrestar el desequilibrio natural son necesarias.
Se proporciona un estudio inicial para encontrar los algoritmos de aprendizaje automático con una mejor precisión para ajustar el número de subprocesos. El estudio incluye: a) métodos de datos para equilibrar el conjunto para el parámetro objetivo; b) métodos algorítmicos para modificar la forma en que se calcula el error; y c) métodos ensemble, combinación de múltiples modelos en uno único, proporcionando una hipótesis general de cada modelo individual.
