NAOMI A New Quarterly Forecasting Model, Part 1: Proposed Model Selection

This is the first of three papers describing NAOMI1, a new quarterly forecasting model developed in the Economic Analysis and Forecasting Division at the Department of Finance. NAOMI’s intended purpose is twofold. First, it is capable of producing reliable, judgement-free macroeconomic forecasts on a timely basis. Second, it can accurately quantify the level of uncertainty associated with each forecast while ensuring this uncertainty is minimised. Jointly achieving these two objectives represents a formidable task and necessitates a somewhat unique approach to the model building exercise. This paper outlines the model building strategy used to create NAOMI. The proposed approach differs from existing methods in that its sole objective is to minimise forecast uncertainty. We demonstrate that the high level of forecast imprecision typically associated with multi-equation forecasting models such as vector autoregressions stems from the large number of free parameters embodied in such systems. Furthermore, it is shown that lag length selection procedures based on in-sample fit often produce sub-optimal forecasting models in small samples. This paper proposes a technique whereby the sample is divided into two distinct sub-samples, called the estimation and evaluation sets. We then suggest choosing the lag order that minimises the mean squared error over the evaluation sample conditional on the OLS parameter estimates over the estimation sample. Monte carlo results indicate that when the number of free parameters is large relative to the sample size there are appreciable gains to employing the proposed strategy. While the focus of this paper is on VAR models, this technique is well suited to a wide range of single-equation models used by applied macroeconomists. Voici le premier de trois documents qui décrivent MIOAN1, un nouveau modèle de prévisions trimestrielles mis au point dans la Division de l’analyse et des prévisions économiques au Ministère des finances. MIOAN a un double but : d’abord, produire rapidement des prévisions macro-économiques sans jugements mais fiables et ensuite, quantifier avec précision l’incertitude que comporte chaque prévision tout en veillant à réduire le plus possible cette incertitude. L’atteinte simultanée de ces deux objectifs représente un défi de taille et nécessite une démarche particulière au chapitre de la conception de modèles. Le présent document énonce la stratégie de conception de modèles utilisée pour créer MIOAN. Elle diffère des méthodes actuelles, son seul objectif consistant à réduire l’incertitude des prévisions. Nous démontrons que le niveau élevé d’imprécision qui caractérise habituellement les modèles de prévisions à plusieurs équations, comme les autorégressions vectorielles, découle du grand nombre de paramètres libres que comportent ces systèmes. En outre, il est prouvé que les méthodes de sélection de la durée du retard intégrées à un échantillon débouchent sur des modèles de prévisions de second rang lorsqu’elles sont utilisées avec de petits échantillons. Dans le présent document, nous proposons une technique qui permet de scinder l’échantillon en deux sous-échantillons distincts appelés ensembles d’estimation et d’évaluation. Nous entendons ensuite choisir l’ordre de retard qui réduit le plus l’erreur quadratique moyenne à l’égard de l’échantillon d’évaluation, à partir des estimations des paramètres par MCO (moindres carrés ordinaires) dans l’échantillon d’estimation. Les simulations de Monte Carlo révèlent que lorsque le nombre de paramètres libres est important par rapport à la taille de l’échantillon, il est très avantageux d’appliquer la stratégie proposée. Bien que le présent document porte plus particulièrement sur les modèles d’autorégressions vectorielles, cette technique convient bien à une vaste gamme de modèles à équation unique utilisés en macro-économie appliquée.