Schwarz, Wallace, and Rissanen: Intertwining Themes in Theories of Model Selection

Investigators interested in model order estimation have tended to divide themselves into widely separated camps; this survey of the contributions of Schwarz, Wallace, Rissanen, and their coworkers attempts to build bridges between the various viewpoints, illuminating connections which may have previously gone unnoticed and clarifying misconceptions which seem to have propagated in the applied literature. Our tour begins with Schwarz's approximation of Bayesian integrals via Laplace's method. We then introduce the concepts underlying Rissanen's minimum description length principle via a Bayesian scenario with a known prior; this provides the groundwork for understanding his more complex non‐Bayesian MDL which employs a “universal” encoding of the integers. Rissanen's method of parameter truncation is contrasted with that employed in various versions of Wallace's minimum message length criteria. Rissanen's more recent notion of stochastic complexity is outlined in terms of Bernardo's information‐theoretic derivation of the Jeffreys prior. Il existe deux courants d'idées tres différents en recberche sur I' ordre de modéles.Ce papier est une revue des contributions de Schwarz, Wallace, Rissanen, et de leurs collaborateurs, Son but est de rapprocher leurs points de vue, d' établir de nouvelles connexions entre certains problémes, et de corriger certaines interprétations erronées qui sont apparues dans la litérature appliquée. Notre revue commence par I' approximation d' intégrales Bayesiennes au moyen de la méthode de Lapace,étudiée par Schwarz. Nous introduisons ensuite le principe de longueur descriptive minimale de Rissanen dans le cadre d' un scénario d' estimation Bayesienne. Ceci permet une nouvelle interpretation de ses méthodes d' estimation basées sur un codage “univasel” des entiers nabuels. Nous comparons la technique de paramétres de Rissanen avec cellcs qu'utilisc Wallace daar sa mtOaic du crib de longueur minimale d'un mtssage. Nous tcrminons cette étude par une présentation de la notion de complexité stochastique de Rissanen et ses connexions avec la distribution de Jeffreys, dont Bernardo a presenté une dérivation basée sur la théorie de l'infaamation.