Clasificación JEL: C01, C32, C53, E31, E37, E47, E52, E58, G17.
INTRODUCCIÓN
El presente artículo es motivado por la necesidad de contar con marcos de referencias precisos, simples y sólidos para predecir inflación en Chile. Contar con buenos marcos es relevante pues permite realizar una evaluación exigente de las proyecciones provenientes de nuevos modelos que surgen en la bibliografía. Los modelos univariados de series de tiempo son marcos de referencias naturales debido a la sencillez con la que son capaces de generar proyecciones en plazos razonables de tiempo. Aun cuando este tipo de modelos han sido usados extensamente en la bibliografía, no existe consenso en torno de cual debiera ser su estructura y especificación. Por ejemplo, el orden de los términos autorregresivos y de media móvil es tomado de diversa manera y las pruebas mostradas en este artículo indican que la manera en que se seleccionan estos órdenes afecta directamente la precisión de las proyecciones. En este contexto, el objetivo de este artículo es investigar si una determinada subfamilia extendida de modelos SARIMA, que denominamos Esarima, es capaz de vencer en términos de precisión y estabilidad predictiva a marcos de referencia tradicionalmente usados en la bibliografía.1
El análisis se centra en predecir la inflación de Chile en el periodo comprendido entre enero de 2000 y diciembre de 2009. Nuestras proyecciones Esarima son comparadas con las provenientes de encuestas y de simples modelos univariados. La comparación con estos últimos se hace para proyecciones en siete horizontes distintos: de 1 a 6 meses y adicionalmente en un horizonte de 12 meses. La comparación con encuestas se hace en proyecciones de 1, 3 y 12 meses hacia adelante.
Nuestros resultados indican que la raíz del error cuadrático medio (RECM) fuera de muestra de las proyecciones Esarima es menor o igual que el de todos los marcos de referencia univariados considerados, cuando el horizonte de proyección no es superior a cinco meses.2 En horizontes más largos, de 6 y 12 meses, los peores modelos Esarima comienzan a ser vencidos por los mejores modelos de uso tradicional. Al contrastar la hipótesis nula de igualdad de capacidad predictiva entre las proyecciones de cada modelo Esarima y cada modelo tradicional, observamos que ella es generalmente rechazada en favor de los modelos Esarima cuando el horizonte predictivo no es superior a seis meses. En estos mismos horizontes, la hipótesis nula nunca es rechazada en favor de los modelos tradicionales. Sólo cuando el horizonte predictivo es de 12 meses se observa algunos rechazos de esta hipótesis en favor de los marcos de referencia usuales.3
Al comparar la precisión de las proyecciones Esarima con las que provienen de la encuesta de expectativas económicas (EEE), los resultados cambian considerablemente, pues la encuesta es más precisa que la totalidad de los modelos Esarima considerados. De hecho, la hipótesis nula de igualdad de capacidad predictiva entre cada modelo Esarima y la EEE es siempre rechazada en favor de la encuesta, independientemente del horizonte predictivo que se tome en consideración.
Para tener una noción de la estabilidad de las proyecciones, usamos un criterio Minimax que escoge dentro de una familia de proyecciones a la que minimice el peor error cuadrático medio (ECM) que se puede obtener en ventanas rodantes de 24 meses. Observamos que la familia Esarima entrega proyecciones más estables que la familia de métodos univariados tradicionales para todos los horizontes en análisis. No obstante, un resultado opuesto se observa cuando se compara con la EEE: la encuesta obtiene predicciones más estables que las que ofrece la subfamilia de modelos Esarima.
Si bien no ahondamos en las razones que se encuentran detrás de este más que satisfactorio comportamiento predictivo de los modelos Esarima en el corto plazo, asociamos este éxito a dos elementos: i) la imposición de dos raíces unitarias en los precios, lo que si bien puede resultar un tanto extraño al economista no extensamente vinculado con la bibliografía predictiva, proporciona parsimonia en los modelos, lo que elimina incertidumbre paramétrica y de esta manera ofrece predicciones precisas; ii) la incorporación explícita de términos de medias móviles de tipo estacional en frecuencia mensual.
El primer punto nos dice que la inclusión de una tendencia estocástica ha sido útil para proyectar la inflación de corto plazo en el decenio pasado. El segundo punto nos dice qué elementos estacionales parecen estar presentes incluso al considerar la inflación en variación a 12 meses.4 Esto no sería extraño si la inflación efectivamente tuviera elementos estacionales multiplicativos y no aditivos, por ejemplo.
Entre los estudios que consideran modelos univariados simples como marcos de referencia predictivos de inflación destacamos al estudio de (Atkeson y Ohanian 2001) (AO) para el caso de los Estados Unidos. Ellos muestran que para el periodo 1984-2001, un simple modelo univariado basado en la inflación pasada promedio vence a modelos económicos relativamente más complejos basados en curvas de Phillips. Este hallazgo significa un desafío a los posteriores intentos de proyectar inflación: los nuevos modelos deben ser capaces de vencer al menos a un simple proceso de paseo aleatorio, en el cual la inflación proyectada en un periodo es igual a la del periodo anterior.
Una versión menos restrictiva del marco de referencia AO se basa en procesos autorregresivos de primer orden (AR(1)), o más generalmente, en procesos autorregresivos de orden p (AR(p)). Por otra parte, (Stock y Watson 2008, 2007) revisan la bibliografía de predicción de la inflación en los Estados Unidos y muestran que los mejores modelos multivariados no son capaces de vencer homogéneamente en el tiempo a sencillos marcos de referencia univariados.
La manera en que se selecciona el número de rezagos de los modelos autorregresivos tampoco es clara en la bibliografía. Mientras algunos autores escogen rezagos basados en el criterio de información de Akaike (CIA) véase (Stock y Watson, 2003 y 2007), por ejemplo, otros se basan en el criterio de información bayesiano (CIB) véase (Elliot y Timmermann, 2008), entre otros. Ambos criterios, que en principio seleccionan modelos de acuerdo con el ajuste dentro de la muestra, difieren en la penalización que hacen a los parámetros adicionales que se deben estimar. Es interesante notar la poca atención que la bibliografía predictiva le ha dado a la generación de pronósticos de inflación con modelos estacionales. En este sentido destacamos la reciente contribución de (Capistrán et al 2010), quienes muestran, para el caso de la inflación en México, el importante peso que han tenido los factores estacionales como instrumentos predictivos desde que se adopta el esquema de metas de inflación.
El artículo se estructura de la siguiente manera. En la sección que sigue se presenta la familia de modelos SARIMA y se cuestiona la práctica usual de proyectar series estacionales por medio de un proceso previo de desestacionalización. En la sección II motivamos la modelación de la inflación en Chile mediante una especificación SARIMA extendida que denominamos Esarima. En la sección III comparamos las predicciones de algunos modelos de la familia Esarima con las de otros populares modelos univariados en términos de precisión predictiva fuera de la muestra. En la sección IV nos embarcamos en un ejercicio de estabilidad de las proyecciones y, por último, concluimos.
I. MODELOS SARIMA (p, d, q) × (P, D, Q)
Para motivar la introducción a los modelos SARIMA resulta interesante tener en mente un proceso de la vida real como lo es el índice de precios al consumidor (IPC) en Chile.5 La siguiente gráfica muestra la evolución del logaritmo natural del IPC. Se observa una tendencia creciente que es coherente con la presencia de una raíz unitaria en este proceso. Un segundo hecho estilizado de la inflación se muestra en la Gráfica 2 en la que se aprecia una marcada pauta estacional de la inflación mensual del IPC.
Los modelos SARIMA son una extensión natural de los modelos Arima para modelar series de tiempo con pauta estacional. Estos modelos resuelven la incapacidad de los modelos ARIMA para caracterizar las funciones de autocorrelación (CFA) de procesos estacionales. En efecto, una serie que sigue un ARIMA(p, d, q) satisface la siguiente relación:
en que, como es habitual, L corresponde al operador de rezagos definido como
y ɛt representa a un ruido blanco. Si denotamos
entonces la función de autocorrelación de Wt responde a la de un proceso ARMA(p, q) que en general decae de manera exponencial, con o sin oscilaciones sinusoidales dependiendo de las raíces del polinomio autorregresivo.
La Gráfica 3 escribe este comportamiento para un proceso ARMA(1, 2) artificialmente simulado.
A diferencia de este tipo de función de autocorrelación, un proceso estacional presenta una función de autocorrelación con grandes incrementos en torno de los rezagos asociados a la estacionalidad de la serie: múltiplos de 12 en series mensuales, o múltiplos de 4 en series trimestrales. La Gráfica 4 muestra la función de autocorrelación de un proceso con estacionalidad anual, es decir, de 12 meses. Esta pauta de autocovarianzas es percibida de manera más adecuada por los modelos SARIMA.
Diremos que una serie yt sigue un proceso SARIMA (p , d , q ) × (P, D, Q) si satisface la siguiente relación:
en que S denota al factor estacional (S = 12 para series mensuales, S = 4 para series trimestrales). Así por ejemplo, un proceso SARIMA (1, 1, 1) × (1, 0, 1) para series en frecuencia mensual con estacionalidad S = 12 tiene la siguiente expresión:
o equivalentemente
que se traduce en el siguiente proceso
que no es más que un caso particular de modelación ARIMA en que los coeficientes de los rezagos autorregresivos y de medias móviles satisfacen restricciones bastante particulares.
Es interesante destacar que la modelación SARIMA incorpora directamente la pauta estacional de una serie, sin imponer explícitamente separabilidad en componentes estacionales y no estacionales. Esta posibilidad de modelación conjunta es muy atractiva para el objetivo de predicción. En efecto, al predecir una serie con estacionalidad muchas veces se procede en dos etapas: primero se filtra la serie de su componente estacional, en el supuesto de que esto es posible, es decir que las componentes estacionales y no estacionales son separables. Luego, se proyecta la serie desestacionalizada y se realiza un análisis económico en función de esta serie filtrada, o bien se proyectan ambos componentes para luego construir una predicción unificada de la serie original. Estas prácticas que incluyen desestacionalización tienen al menos cuatro potenciales problemas que deseamos destacar a continuación:
Supone que la componente estacional es separable de la no estacional. Si esto no es cierto, entonces se está incurriendo en un problema de especificación.
Si el objetivo del investigador es realizar ejercicios de predicción fuera de la muestra, esto es incompatible con series desestacionalizadas que se construyen habitualmente con base en filtrar toda la muestra disponible, lo que hace imposible un ejercicio simulado de predicción en tiempo real.
Tal como lo plantea (Ghysels et al 2006), la desestacionalización puede ser incompatible con la práctica económica que opera con realimentación, como es el caso de la política monetaria. En efecto, de acuerdo con (Ghysels et al 2006) la mayoría de los filtros de desestacionalización implican predecir la serie original en estudio, por ejemplo inflación. A partir de estas predicciones es posible construir una serie de inflación desestacionalizada que luego se transforma en objeto de análisis de la política monetaria. Ahora, si la política monetaria tiene efectos en el futuro desenvolvimiento de la inflación, entonces la desestacionalización en sí debiese ser una función de la política monetaria. Obviar esta relación podría tener consecuencias.
En la medida que el tiempo pasa y nuevas observaciones de la serie en estudio se van acumulando, la serie desestacionalizada cambia, lo cual puede generar más inestabilidad temporal que la deseada.
Todos estos potenciales problemas son subsanados directamente a partir de una modelación conjunta de la evolución de una serie de tiempo y de su estacionalidad.
II. UN MARCO DE REFERENCIA SARIMA PARA LA INFLACIÓN
Los dos hechos estilizados que se muestran en las Gráficas 1 y 2 (existencia de una tendencia y estacionalidad) sugieren modelar el logaritmo natural de la serie de precios con una formulación SARIMA como sigue:
Si bien la expresión anterior capta dos hechos estilizados del logaritmo del índice de precios, y tiene bastante flexibilidad al modelar la estacionalidad con componentes de medias móviles y autorregresivas, en principio es una especificación poco parsimoniosa por la potencial gran cantidad de parámetros que habría que estimar: 1 intercepto, p parámetros autorregresivos, q de medias móviles, P autorregresivos estacionales y Q de medias móviles estacionales. Además es necesario identificar los órdenes de integración d y D . En estas condiciones, y simplemente por razones de parsimonia, consideraremos P = p = Q = q = d = 1 y D = 0, para restringirnos a una subfamilia SARIMA bastante simple que capta los dos hechos estilizados mencionados líneas arriba. Así nos quedaremos con la siguiente especificación
que no es más que la expresión (1) pero esta vez evaluada en el logaritmo natural del índice de precios ln(Pt ). Al desarrollar algunos polinomios de la expresión anterior y usar adicionalmente la siguiente aproximación logarítmica para la inflación anual
obtenemos
Para hacer más simple y parsimoniosa la formulación anterior impondremos la restricción presente en (Box y Jenkins 1970), (Brockwell y Davis 1991) y (Harvey 1993). Esto reduce el modelo anterior a la siguiente expresión
que luego del desarrollo de los polinomios autorregresivos y de medias móviles se puede expresar como
Notemos que esta expresión también se puede escribir como sigue:
en la que θ3꞊θθE.
La restricción θ꞊1 nos da el beneficio de parsimonia y de poder expresar el modelo original en términos de inflación en 12 meses, que es la variable en la que se fija el Banco Central de Chile para evaluar su política de metas de inflación. No obstante, esta restricción también es algo controversial. En efecto, la expresión en (2) modela la inflación en 12 meses como un proceso con raíz unitaria. Desde una perspectiva teórica esta especificación es difícil de reconciliar con una economía en la que la política monetaria sigue un esquema de metas de inflación. Esto es así porque ante un choque inflacionario, una política como ésta tiene el objetivo de traer de regreso a la inflación interanual a un nivel de 3% dentro de un horizonte de política de dos años. Sin embargo, desde una perspectiva pragmática y basada en la teoría de decisiones estadísticas, la imposición de una raíz unitaria no tiene por que ser impedimento para que el modelo genere buenas predicciones en el corto plazo.6 Una interpretación usual de esto véase, por ejemplo, (Ghysels et al, 2006) obedece a la parsimonia que tiene la eliminación de un parámetro por estimar, lo que genera proyecciones con poco deterioro debido a incertidumbre paramétrica.
Por otra parte, y como se señaló en la Introducción, la restricción impone al modelo una tendencia estocástica que puede ser muy útil para predecir en periodos en que la inflación siga pautas tendenciales. El buen comportamiento predictivo del modelo en (2), que veremos en la sección III, parece dar sustento a esta última perspectiva pragmática. Además, el Cuadro 1 muestra los resultados de tres contrastes de raíz unitaria aplicados en la inflación en variación a 12 meses en Chile. Se observa que ellos son coherentes con la elección de una representación autorregresiva con raíz unitaria para la inflación chilena.
a Hipótesis nula para contraste de Dickey Fuller Aumentado, Dickey Fuller GLS y Phillips Perron es que existe raíz unitaria. En el contraste de Kwiatkowski-Phillips-Schmidt-Shin (KPPS) la hipótesis nula es que la serie es estacionaria. Para los contrastes de inflación en nivel, se asume que la inflación posee tendencia y una constante. Para la serie en primeras diferencias se asume que la serie tiene una contaste. * Significativo al 10 por ciento. ** Significativo al 5 por ciento. *** Significativo al 1 por ciento.
El modelo en (2) anida una serie de marcos de referencia predictivos tradicionalmente usados en la bibliografía. En efecto, tomando p꞊0, θ꞊θE꞊θ꞊δ꞊0 se recupera el camino aleatorio usado por (Atkeson y Ohanian 2001). Con las mismas restricciones pero considerando δ irrestricto se recupera a un camino aleatorio con intercepto. Si por otra parte restringimos p꞊δ꞊0 se recupera al famoso airline model introducido por (Box y Jenkins 1970) para modelar la demanda mensual de pasajeros de una aerolínea. De acuerdo con (Ghysels et al 2006) este modelo ha sido utilizado con éxito como un marco de referencia sólido para pronosticar series de tiempo mensuales con una pauta estacional.
Como hemos visto, diversas restricciones de los parámetros en la expresión (2) determinan una familia de modelos anidados en esta especificación. De hecho, si consideramos sólo las opciones binarias "incluir o no incluir" a los parámetros en el modelo, terminamos con un total de 24 = 16 expresiones. Ninguna de estas 16 especificaciones es capaz de llevar simultáneamente dos componentes de medias móviles de orden 1 y 12 con coeficientes no nulos, sin llevar una componente de orden 13. Esto potencialmente podría generar problemas innecesarios de incertidumbre paramétrica en los casos que tanto como sean de magnitud moderada. En efecto, si esto es así, entonces el parámetro puede resultar muy pequeño y su estimación podría potencialmente ser más perjudicial que beneficiosa. De esta manera, planteamos extender la especificación en (2) para tener la posibilidad de incluir modelos con componentes de medias móviles de orden 1 y 12 sin forzosamente incluir un término de orden 13.7 Así es que optamos por ampliar el modelo en (2) de la siguiente manera:
en que α puede tomar los valores 1 o 0.
En principio, la inclusión de este parámetro duplica las 16 especificaciones anidadas en (2). (Recordemos que si consideramos sólo las opciones binarias "incluir o no incluir" a los parámetros en el modelo (2), terminamos con un total de 24 = 16 expresiones). Sin embargo esto no es tal, porque en 12 de las 16 especificaciones el producto θ3=θθE es nulo, lo que hace que el parámetro no tenga ningún papel y por tanto no duplique esas 12 expresiones. Así, el parámetro sólo duplica las cuatro especificaciones en que θ3=θθE es no nulo. Así el número total de modelos anidados en (3) que consideramos en este artículo es 20.
Con el simple fin de reducir el número de especificaciones en las que centraremos nuestra atención, consideraremos formulaciones que siempre incluyan a las componentes de medias móviles 1 y 12. Así, finalmente introducimos la siguiente familia de ocho modelos, que al ser una extensión de una familia SARIMA, la denominamos Esarima:
En lo que sigue compararemos, para el caso de la inflación en Chile, la capacidad predictiva fuera de muestra de estos últimos modelos con la de los marcos de referencia tradicionales usados en la bibliografía. En particular usaremos los marcos de referencia lineales univariados utilizados por (Capistrán et al 2010), (Giacomini y White 2006), (Stock y Watson 2008), (Ang, Bekaert y Wei 2007), (Atkeson y Ohanian 2001), (Groen, Kapetanios y Price 2009), (Jaramillo 2009) y (Díaz y Leyva 2009), entre otros. Estos marcos son los siguientes: camino aleatorio con y sin intercepto, AR(1), IMA(1,1), ARMA(1,1), AR(12), cinco especificaciones ARMA(p, q) con selección automática de rezagos, y los siguientes modelos con estacionalidad determinística utilizados en (Capistrán et al 2010):8
en que ϕ(L) y ϕ(L) son polinomios de rezagos de orden máximo igual a 12, Π1 denota la inflación mensual y Dit corresponden a variables ficticias o dicotómicas (dummy) estacionales, una para cada mes del año. El criterio de selección del número de rezagos de los polinomios autorregresivos fue el de menor CIB.
La estimación de los parámetros de cada uno de los modelos es realizada por medio de mínimos cuadrados lineales o no lineales según corresponda. Todos los cálculos de promedios de errores de pronóstico al cuadrado que se presentan en el artículo son fuera de la muestra y en tiempo real, provisto que los datos de inflación en Chile no sufren revisiones. Para ello se usan ventanas rodantes de estimación de 40 datos. Las proyecciones a horizontes múltiples se realizaron de manera recursiva. Esto significa que el pronóstico dos periodos hacia adelante, por ejemplo, se construye con base en el pronóstico un paso hacia adelante. En este artículo no exploramos métodos directos de construcción de pronósticos en horizontes múltiples.9
III. RESULTADOS DESCRIPTIVOS BASADOS EN RECM
Para comparar la capacidad predictiva de dos métodos nos centramos en evaluar las diferencias en la raíz del error cuadrático medio (ECM) para horizontes que van de uno a 12 meses en adelante. El ECM de los errores de proyección se define como sigue
en la que e denota el error de predicción definido como el valor efectivo de la inflación menos su valor proyectado. En el Cuadro 2 mostramos la raíz del promedio de errores de proyección al cuadrado para la familia de ocho modelos Esarima anidados en (4) (parte superior), y para los marcos de referencia tradicionales (parte inferior). El Cuadro 3 muestra las ocho especificaciones Esarima consideradas para facilitar la exposición.
Los resultados del Cuadro 2 muestran que la familia Esarima ha sido más precisa que todos los marco de referencia considerados cuando el horizonte de proyección oscila entre uno y cuatro meses. A cinco meses, el peor modelo Esarima lo hace igual de bien que el mejor marco de referencia. En horizontes más largos, de 6 y 12 meses, los peores modelos Esarima comienzan a ser vencidos por los mejores modelos de uso tradicional. Por otra parte, la mejor de las proyecciones Esarima vence a la totalidad de los modelos tradicionales, en todos los horizontes.10
Otra manera de proporcionar una métrica para evaluar el comportamiento predictivo de los modelos Esarima respecto a los marcos de referencia considerados se presenta en las tres últimas filas del Cuadro 2. En ellas mostramos el promedio simple de la raíz del ECM para la familia ESARIMA, el promedio simple de la raíz del ECM para los 13 marcos de referencia tradicionales y la proporción entre ambos estadísticos (última filas del Cuadro 2). Los resultados indican que las proyecciones provenientes de la familia Esarima fueron en promedio entre 14 y 19% más precisas que las de los modelos tradicionales para todos los horizontes considerados.
El Cuadro 2 también presenta los resultados de RECM para una estrategia que denominamos "mejor Esarima (CIB)". Este método predictivo escoge en cada muestra rodante de 40 observaciones el modelo Esarima que presente el menor CIB dentro de los ocho modelos anidados en (4). Luego realiza pronósticos con el modelo escogido. Observamos que esta estrategia es bastante exitosa en términos de precisión predictiva. De hecho, obtiene un menor RECM que todos los marcos de referencia considerados en horizontes de una a cinco meses. En pronósticos a seis meses iguala el comportamiento del mejor marco de referencia, mientras que a 12 meses ya comienza a ser vencido por algunos modelos de uso tradicional.
Otros marcos de referencia usados en la bibliografía son los provenientes de las encuestas de analistas. El Banco Central de Chile (BCC) levanta a comienzos de cada mes la encuesta de expectativas económicas, que permite obtener información de las expectativas que tienen los agentes económicos en varias variables económicas, entre ellas, la inflación a uno, tres y 12 meses hacia adelante. Esta encuesta se aplica a un selecto grupo de académicos, consultores, ejecutivos y asesores del sector privado. Dado que las proyecciones individuales de cada analista no son publicadas por el BCC, utilizamos la mediana de las proyecciones como marco de referencia por comparar con los modelos Esarima. Este dato es de público acceso por medio de la página web del BCC. Una descripción más pormenorizada de la encuesta se adjunta como un apéndice a este artículo.
Para los fines de nuestra comparación contamos con una muestra de proyecciones de inflación sin observaciones faltantes desde enero de 2001 hasta diciembre de 2009 para pronósticos un mes hacia adelante, desde noviembre de 2001 hasta diciembre de 2009 para pronósticos tres meses hacia adelante y desde septiembre de 2001 hasta diciembre de 2009 para proyecciones doce meses hacia adelante.
En el Cuadro 4 comparamos la precisión promedio de nuestros modelos Esarima con la de la mediana de los analistas de la EEE. Se observa que en promedio las proyecciones de la EEE han sido más precisas que los marcos de referencia propuestos en todos los horizontes considerados. En resumen, los resultados entregados en esta sección indican que la familia Esarima tienen predicciones de corto plazo que superan en precisión a modelos univariados tradicionalmente utilizados por la bibliografía predictiva. No obstante, nuestros modelos Esarima son a su vez superados en precisión por las proyecciones provenientes de la EEE.
a Las proyecciones consideran distintos periodos dependiendo del horizonte: 1 mes: febrero de 2000-diciembre de 2009; 3 meses: noviembre de 2001-diciembre de 2009; 12 meses: agosto de 2002-diciembre de 2009.
Hasta aquí la evidencia provista es puramente descriptiva. Podría darse el caso que las diferencias en precisión entre la familia Esarima y los marcos de referencia aquí considerados no fueran estadísticamente significativas. Este punto será abordado de manera formal en la siguiente sección.
IV. EVALUACIÓN DE LA CAPACIDAD PREDICTIVA
Para comparar la capacidad predictiva de dos métodos nos centraremos en el paradigma de evaluación propuesto por (Giacomini y White 2006).
1. Paradigma condicional de Giacomini y White
En este artículo consideramos que un método de proyección será mejor que otro en la medida que tenga menor ECM. Para evaluar estadísticamente las diferencias entre el ECM de dos métodos, nos basaremos en el paradigma de evaluación de capacidad predictiva propuesto por (Giacomini y White 2006). Si bien, en la práctica y con supuestos operacionales bien específicos, este paradigma se puede reducir a uno muy similar al propuesto por (Diebold y Mariano 1995) y (West 1996), las diferencias conceptuales son muy grandes. En efecto, las pruebas propuestas por (Giacomini y White 2006) están orientadas a evaluar un método de proyección y no un modelo de proyección. Esta diferencia, aunque sutil, es muy relevante en este artículo porque las observaciones obtenidas son proyecciones de inflación que muchas veces provienen de modelos anidados. Si no nos centráramos en las proyecciones propiamente tales y tuviéramos como objetivo último la evaluación de modelos, tendríamos que utilizar pruebas de acuerdo con (Clark y West 2006, 2007) para los casos en que los modelos en comparación fueran anidados, ya que la prueba de (Giacomini y White 2006) sería inadecuada para tal objetivo.
La versión de la prueba de (Giacomini y White 2006) que usamos en este artículo usa un estadístico originalmente atribuido a (Diebold y Mariano 1995) y (West 1996) con la siguiente consideración: no se realiza ninguna corrección asociada a incertidumbre paramétrica, ya que no se desea evaluar un modelo con parámetros poblacionales sino que un método de proyección. Formalmente se construye el siguiente estadístico con base en (Giacomini y White 2006):
con
en que τ representa el horizonte de proyección, n(τ) es el número de proyecciones que se tiene para ese determinado horizonte, ∆L denota la pérdida diferencial entre dos proyecciones y σn(τ) es un estimador de la desviación estándar asintótica del numerador del estadístico tn(τ) debidamente ponderado por la raíz cuadrada de n(τ). En el caso que τ=1 la hipótesis nula en (Giacomini y White 2006) implica una estructura de Martingala en diferencias para la diferencia en ECM, lo cual permite no usar estimación HAC. No obstante, para horizontes de predicción mayores usamos estimación HAC de acuerdo con (Newey y West 1987, 1994). Con la hipótesis nula de igualdad de capacidad predictiva el estadístico tn(τ) es asintóticamente normal.
2. Resultados
Debido al gran número de modelos (ocho modelos de la familia Esarima y 13 marcos de referencia tradicionales), y con el propósito de hacer más expedita la exposición, en el Cuadro 5 mostramos los resultados de la prueba de Giacomini y White aplicado únicamente a los modelos más o menos precisos de cada familia, así como al modelo que entrega la proyección mediana.11 Para cada celda del Cuadro 5, un valor negativo del estadístico de Giacomini y White indica que el modelo en la fila correspondiente a esa celda tiene menor ECM que el modelo en la columna.
a Valor negativo del estadístico indica que el modelo "fila" tiene menor ECM que el modelo "columna". Un valor inferior a -1.28 en el estadístico t indica que el marco de referencia propuesto le gana al marco de referencia tradicional con al menos 90% de confianza en la prueba de una sola cola.
Una inspección del Cuadro 5 indica que el mejor modelo Esarima es capaz de vencer al mejor marco de referencia tradicional en todos los horizontes. Esta superioridad es estadísticamente significativa con al menos una confianza de 90% en una prueba de una cola. Por otra parte, el modelo que se asocia a la mediana del ECM dentro de la familia Esarima también es capaz de vencer al mejor marco de referencia tradicional con significación estadística pero sólo en horizontes de uno a cuatro meses. El peor Esarima, en tanto, sólo vence al mejor marco de referencia tradicional con significancia estadística cuando el horizonte predictivo es de dos meses.
Respecto a la evidencia desagregada de la prueba presentada en el apéndice, nos gustaría resaltar que: i) al contrastar la hipótesis nula de igualdad de capacidad predictiva entre las proyecciones de cada modelo Esarima y cada modelo tradicional, vemos que ella es generalmente rechazada en favor de los modelos Esarima cuando el horizonte predictivo no es superior a 6 meses; ii) en estos mismos horizontes, la hipótesis nula nunca es rechazada en favor de los modelos tradicionales; iii) sólo cuando el horizonte predictivo es de 12 meses se observa algunos rechazos de esta hipótesis en favor de los marcos de referencia usuales; iv) en cuadros no presentados por motivos de espacio es posible observar que al interior de la familia Esarima no existe un modelo que sea capaz de vencer a todo el resto de sus modelos "hermanos"; v) no obstante, existe un par de modelos Esarima que domina estadísticamente en precisión a todos los marcos de referencia tradicionales en todos los horizontes predictivos. Ellos son los modelos que hemos identificado como Esarima 2 y Esarima 6.
Por último, en el Cuadro 6 mostramos los resultados de la prueba de Giacomini y White aplicado a la familia de modelos Esarima y la EEE. Los resultados de este cuadro indican que la EEE es significativamente más precisa que nuestros modelos Esarima en todos los horizontes analizados, a niveles de confianza usuales.
3. Estabilidad de los resultados
El periodo que consideramos en este artículo para evaluar los distintos modelos supone un desafío metodológico. Mientras en la primera mitad de la ventana de evaluación predictiva la inflación se mantuvo relativamente estable en torno de 3%, a mediados de 2007 ella comienza una escalada muy persistente alcanzando montos cercanos a 10% a fines de 2008. Posteriormente durante 2009 la inflación experimentó una gran caída, como se observa en la Gráfica 5. Esta evolución dispar de la inflación podría hacer difícil determinar cuál es el mejor modelo, si es que el desempeño de ellos no fuera estable a lo largo de toda la muestra.
Una manera sencilla de ilustrar la inestabilidad de las proyecciones de modelos rivales consiste en graficar el RECM calculado en ventanas rodantes en el tiempo. En las Gráficas 6 y 7 mostramos el resultado de este ejercicio para proyecciones a distintos horizontes.12 Los resultados de este ejercicio dan cuenta de una cierta inestabilidad en las proyecciones de inflación. En efecto, los pronósticos provenientes de los marcos de referencia tradicionales, de los Esarima, así como de la EEE, presentan amplias oscilaciones en su grado de precisión durante el periodo muestral. Las gráficas muestran que esta imprecisión fue relativamente mayor en el final de la muestra, cuando la inflación tiene una gran oscilación al alza y a la baja.
Aun cuando la inestabilidad de las proyecciones presenta cierta correlación (véase Gráficas 6 y 7), en algunos casos la precisión de los modelos varía en distintos grados, lo cual se refleja en cambios en los ordenamientos del ECM. Con el objetivo de ilustrar este último punto consideremos las proyecciones en horizontes de un mes para el modelo que hemos denominado Esarima 1. La parte A de la gráfica 6 muestra el RECM rodante de este modelo con una línea punteada. Se observa que mientras este modelo es de los Esarima más precisos al inicio de la muestra, a fines de 2007 pasa a ser el modelo que proporciona predicciones menos precisas. La Gráfica A1 en el apéndice muestra los RECM rodantes para cada horizonte predictivo.
La inestabilidad de las predicciones sugiere que el criterio del menor ECM podría no ser muy útil para escoger un único modelo predictivo, puesto que el modelo con menor ECM durante toda la muestra puede no estar entregando las proyecciones más precisas en todo momento. Otra regla para seleccionar modelos en ambientes inestables consiste en escoger al modelo que minimiza la pérdida máxima. Para realizar este ejercicio utilizamos ventanas rodantes de 24 observaciones con el objetivo de definir en cada familia al modelo Minimax, esto es, al modelo que dentro de cada familia entregue el menor de los máximos ECM obtenidos en las ventanas rodantes. Para cada horizonte de predicción, el Cuadro 7 muestra al modelo Minimax y al que minimiza el ECM tanto en la familia de modelos Esarima como en la tradicional.
Es interesante observar que dentro de la familia Esarima hay coincidencia entre el modelo Minimax y el que minimiza el ECM. Esto ocurre en todo horizonte predictivo. Consideramos esto una virtud de la familia Esarima asociada a su estabilidad. Al analizar lo que sucede con la familia de marcos de referencia tradicionales, nos encontramos con que en horizontes de uno, dos y tres meses los criterios Minimax y del menor ECM no coinciden, lo que indica que el mejor modelo con el criterio del ECM no tiene el mejor comportamiento posible en panoramas de alta imprecisión predictiva.
Si en una determinada familia de modelos el criterio Minimax no coincide con el del menor ECM, entonces es posible hablar de la pérdida o del costo asociado a escoger un modelo según un determinado criterio. Por ejemplo, al usar el criterio Minimax se podría estar sacrificando precisión promedio con el fin de obtener la más alta precisión en el peor escenario posible. Si por lo contrario se usa el criterio del mínimo ECM, entonces se podría estar sacrificando precisión en el peor escenario posible en favor de la precisión promedio.
La tercera y cuarta columnas del Cuadro 8 muestran el valor Minimax y la RECM del modelo escogido según la regla Minimax para cada uno de los siete horizontes considerados. La quinta columna, en tanto, muestra el costo en precisión promedio que surge al seleccionar el modelo según la regla Minimax. Este costo es equivalente a la diferencia entre la RECM del modelo Minimax y la RECM del modelo seleccionado según el criterio del mínimo ECM. La última columna, en tanto, muestra el costo pagado en términos de precisión predictiva en periodos inestables, cuando el criterio para escoger un modelo es el del menor ECM. Este costo equivale a la diferencia entre la máxima RECM rodante del modelo escogido según el menor ECM, y la máxima RECM rodante del modelo escogido según el criterio Minimax.
El Cuadro 8 muestra dos resultados interesantes. Primero, la familia Esarima muestra un costo nulo cuando se opta por algún método de selección de modelos como el Minimax o el del menor ECM. Esto es evidente porque ambos criterios coinciden y en cada horizonte escogen al mismo modelo como ganador. En segundo lugar, el Cuadro 8 muestra un costo distinto de 0 en el caso de la familia de marcos de referencia tradicionales cuando el horizonte predictivo es de corto plazo: de uno a tres meses. A horizontes más largos el costo es nulo, al igual que en el caso de la familia Esarima. No obstante, debemos destacar que los costos no nulos que muestra el Cuadro 8 son bastante pequeños. Las cifras están medidas en puntos base, por lo que el valor de 7.32 en la última columna del Cuadro 8 señala que el modelo denominado AR(p) CIB, que presenta el menor ECM dentro de los marcos de referencias tradicionales en horizontes de tres meses, comete un error 7.32 puntos bases superior al modelo denominado AR(p) CIA en periodos de alta inestabilidad. Es decir hay un exceso de imprecisión moderado.
Finalmente destacamos también que las proyecciones Esarima son menos estables en términos del criterio Minimax, que las de la encuesta de expectativas económicas. En efecto, mientras que la encuesta presenta un RECM rodante máximo de 0.48, 1.61 y 5.05 a horizontes de uno, tres y 12 meses, el Cuadro 8 muestra que el valor Minimax para la familia ESARIMA fue de 0.60, 1.66 y 5.50 en los mismos horizontes.
CONCLUSIONES
El presente artículo es motivado por la necesidad de contar con un marco de referencia preciso, simple y sólido para predecir inflación en Chile. Contar con un buen marco de referencia es relevante pues permite realizar una evaluación exigente de las proyecciones provenientes de nuevos modelos que van surgiendo en la bibliografía. Nuestros resultados indican que el error cuadrático medio fuera de muestra de las proyecciones de la subfamilia Esarima propuesta, es menor o igual que el de todos los marco de referencia univariados considerados cuando el horizonte de proyección no es superior a cinco meses. En horizontes más largos, de 6 y 12 meses, los peores modelos Esarima comienzan a ser vencidos por los mejores modelos de uso tradicional. Al contrastar la hipótesis nula de igualdad de capacidad predictiva entre las proyecciones de cada modelo Esarima y cada modelo tradicional, observamos que ella es generalmente rechazada en favor de los modelos Esarima cuando el horizonte predictivo no es superior a seis meses. En estos mismos horizontes, la hipótesis nula nunca es rechazada en favor de los modelos tradicionales. Solo cuando el horizonte predictivo es de 12 meses se observa algunos rechazos de esta hipótesis en favor de los marcos de referencia usuales.
Al comparar la precisión de las proyecciones Esarima con las que provienen de la encuesta de expectativas económicas (EEE) los resultados cambian considerablemente. Esto ocurre pues la encuesta es más precisa, estadísticamente significativa, que la totalidad de los modelos Esarima considerados.
La estabilidad de las proyecciones es otro tema que abordamos en este artículo. En este sentido nuestros resultados muestran bastante inestabilidad en la precisión de todos los métodos de pronóstico de que se trata. Para ilustrar este punto consideraremos la dispersión de la raíz del error cuadrático medio de los 13 marcos de referencia univariados utilizados en pronósticos un mes hacia adelante. Al inicio de la muestra esta dispersión era de 0.036, mientras que al final de la muestra ésta asciende a 0.09.
Dado que en ambientes inestables podría no ser muy útil seleccionar un modelo predictivo con base en su comportamiento promedio, también proponemos un criterio Minimax que permita escoger al modelo que en las circunstancias más inestables obtenga la más alta precisión. Desde este punto de vista, los valores Minimax también indican superioridad de nuestra subfamilia Esarima por sobre la de los marcos de referencia tradicionales aquí considerados. No obstante estos resultados, cabe señalar que en esta dimensión de estabilidad la encuesta de expectativas económicas todavía supera a la de nuestra subfamilia Esarima.
Consideramos que el comportamiento predictivo en el corto plazo de la subfamilia Esarima presentada en este artículo es satisfactorio. Si bien no ahondamos en las razones que se encuentran detrás de su interesante capacidad predictiva, asociamos este éxito a la imposición de dos raíces unitarias en los precios, lo que proporciona parsimonia en los modelos eliminando incertidumbre paramétrica, y a la incorporación explícita de términos estacionales de medias móviles. El primer punto nos dice que la incorporación de una tendencia estocástica ha sido útil para proyectar la inflación en el pasado decenio. El segundo punto nos dice que elementos estacionales parecen tener un papel relevante en lo que se refiere a la tarea de predecir la inflación chilena.