Resumen de Situated, perceptual, emotive and cognitive music systems: a psychologically grounded approach to interactive music composition
Esta tesis introduce un nuevo sistema de composición situada e interactiva llamado SMuSe (por Situated Music Server). Dicho sistema está basado en principios extraídos de la ciencia cognitiva moderna, proporciona control perceptual sobre la síntesis sonora e incluye feedback emocional. Por lo tanto, ilustra tanto un paradigma nuevo para la composición musical, como un sintético enfoque psicológico al estudio de la percepción musical, las emociones y la cognición. SMuSe consta de diversos modulos, plausibles desde un punto de vista cognitivo, implementados como una jerarquía de agentes. El funcionamiento de SMuSe explota los principios de control distribuido, paralelismo, emergencia y embodiment. En función del feedback obtenido por la interacción con el entorno, el sistema genera complejas estructuras musicales afectivas. En concreto, a nivel de generación de sonido, presentamos dos técnicas complementarias que proporcionan un control perceptivo de alto nivel sobre parámetros concretos de síntesis sonora. En un primer método implícito, un algoritmo de support vector machine aprende a traducir automáticamente características perceptuales, como volumen, tono y brillo en parámetros de síntesis aditiva. En el segundo método, un modelo físico de síntesis proporciona explícitamente acceso a parámetros perceptivos y físicos, tales como tono, volumen, brillo, tiempo de ataque, inarmonía y factor de amortiguamiento. En lo que respecta al estudio de la experiencia musical en sí misma, evaluamos la influencia de la música generada por SMuSe en las respuestas emocionales del sujeto. Un primer experimento psicoacústico muestra la influencia significativa que tienen parámetros estructurales (escala,registro, armonía), expresivos (velocidad, tempo, articulación) y de timbre (brillo, ataque, flujo espectral) en la escalas emocionales de valencia, activacíon y dominancia. Adicionalmente, un experimento de gran escala realizado con pacientes de demencia, una patología que asociada a déficits afectivos y cognitivos, demuestra que los pacientes responden emocionalmente a rasgos específicos del sonido (e.g. bajo volumen y brillo inducen poca tensión). Además, la respuesta emocional de los pacientes difiere si se compara con la mostrada por un grupo de control con la misma edad media. De tal manera, una mayor respuesta emocional aparece asociada a un mayor grado de demencia. Estos resultados sugieren que sería posible desarrollar técnicas basadas en el uso de música tanto para el tratamiento de la demencia como para su diagnóstico. Para concluir, la madurez y flexibilidad de SMuSe se demuestra con una serie de aplicaciones que incluyen la sonificación de un espacio de realidad mixta, un estudio acerca de la interacción musical mediante datos fisiológicos, un interfaz musical basado en feedback neurológico, un sistema basado en aprendizaje por refuerzo del feedback emocional, y una performance multimedia de gran escala controlada mediante interfaces cerebro-máquina. Este enfoque situado, perceptivo, emocional y cognitivo al diseño de sistemas musicales abre la posibilidad de desarrollar aplicaciones no sólo terapéuticas sino también para los juegos interactivos y nuevos interfaces que empleen fisiología. Nuestra propuesta proporciona un sólido paradigma para el desarrollo de sistemas de síntesis de estéticas avanzadas, que puedan servir para entender los procesos psicológicos subyacentes.
