Resumen de A bunch of models, a bunch of nulls and inference about predictive ability
- español
La inferencia sobre capacidad predictiva usualmente se realiza a través de comparaciones bilaterales entre dos métodos de proyección en competencia. No obstante, algunas interesantes preguntas se refieren a familias de modelos y no solamente a un par de estrategias de predicción. Un ejemplo de esto sería la pregunta acerca de la capacidad predictiva de los modelos de series de tiempo versus la de modelos basados en fundamentos económicos. Es claro que una respuesta adecuada a esta interrogante involucra la comparación de familias de modelos que pueden incluir un gran número de diferentes estrategias predictivas. Otra práctica usual en la literatura consiste en comparar la precisión de un nuevo método predictivo con un referente natural. No obstante, a menos que el econometrista esté completamente seguro acerca de la superioridad predictiva del referente sobre el resto de los métodos disponibles en la literatura, podría desear comparar la precisión predictiva del nuevo modelo de predicción, y sus extensiones, con un conjunto más amplio de métodos. En este artículo, presentamos una simple metodología para realizar el contraste de la hipótesis nula de igualdad de capacidad predictiva entre dos familias de métodos de proyección. La manera de aproximarnos al problema corresponde a una extensión natural de la confrontación con la realidad que propone White (2000), donde ahora permitimos a las dos familias bajo comparación estar habitadas por un gran número de métodos de predicción. Ilustramos nuestra estrategia de evaluación de hipótesis con una aplicación empírica que compara la capacidad de dos familias de modelos para predecir la inflación del IPC en Chile, Estados Unidos, Suecia y México. Con esta ilustración, mostramos que comparar familias de modelos usando la perspectiva usual basada en comparaciones bilaterales de los pronósticos con mejor comportamiento ex post, puede conducir a conclusiones muy distintas a las que se extraen de nuestra propuesta.
- English
Inference about predictive ability is usually carried out in the form of pairwise comparisons between two competing forecasting methods. Nevertheless, some interesting questions are concerned with families of models and not just with a couple of forecasting strategies. An example of this would be the question about the predictive accuracy of pure time-series models versus models based on economic fundamentals. It is clear that an appropriate answer to this question requires comparing families of models, which may include a number of different forecasting strategies. Another usual approach in the literature consists of comparing the accuracy of a new forecasting method with a natural benchmark. Nevertheless, unless the econometrician is completely sure about the superiority of the benchmark over the rest of the methods available in the literature, he/she may want to compare the accuracy of his/her new forecasting model, and its extensions, against a broader set of methods. In this article we present a simple methodology to test the null hypothesis of equal predictive ability between two families of forecasting methods. Our approach corresponds to a natural extension of the White (2000) reality check in which we allow for the families being compared to be populated by a large number of forecasting methods. We illustrate our testing approach with an empirical application comparing the ability of two families of models to predict headline inflation in Chile, the US, Sweden and Mexico. With this illustration we show that comparing families of models using the usual approach based on pairwise comparisons of the best ex-post performing models in each family, may lead to conclusions that are at odds with those suggested by our approach.
