Algoritmo meta-heurístico Firefly aplicado al pre-entrenamiento de redes neuronales artificiales

• Jairo Rojas Delgado ^[1] ; Rafael Trujillo Rasúa ^[1]
  1. [1] Universidad de las Ciencias Informáticas

     Universidad de las Ciencias Informáticas

     Cuba

     
• Localización: Revista Cubana de Ciencias Informáticas, ISSN-e 2227-1899, Vol. 12, Nº. 1, 2018
• Idioma: español
• Títulos paralelos:
  • Firefly meta-heuristic algorithm applied to artificial neural network pre-training
• Enlaces
  • Texto completo
• Resumen
  • español

    El campo de investigaciones referente a las Redes Neuronales Artificiales (RNA) es uno de los más activos en la comunidad científica con múltiples aplicaciones recientes. El algoritmo Firefly ha sido empleado con éxito en el pre-entrenamiento de RNAs con el objetivo de evitar la convergencia en mínimos locales de métodos de entrenamiento convencionales como el algoritmo Stochastic Gradient Descent (SGD). Sin embargo, en redes con un considerable número de parámetros, el pre-entrenamiento pasa a ser un problema de optimización en espacios de elevada dimensionalidad, y la aplicación del algoritmo Firefly, así como cualquier meta-heurística, presenta limitaciones computacionales a considerar. En este trabajo se investiga una variante del algoritmo Firefly que permite entrenar una RNA con un subconjunto del conjunto de patrones de entrenamiento original sin disminuir la precisión.

  • English

    Artificial Neural Networks (ANN) is an active research topic in the scientific community. Firefly algorithm has been successfully used on pre-training ANNs, aiming to avoid local minima convergence of conventional training methods such as Stochastic Gradient Descent. However, pre-training ANNs with a high number of parameters using Firefly algorithms, or any other metaheuristic optimization technique, usually is a high computationally complex task. This paper presents a variation of the firefly algorithm that trains the ANN with a subset of training patterns without causing negative effects in the convergence.