On the Practice of Rescaling Covariates

Whether doing parametric or nonparametric regression with shrinkage, thresholding, penalized likelihood, Bayesian posterior estimators (e.g., ridge regression, lasso, principal component regression, waveshrink or Markov random field), it is common practice to rescale covariates by dividing by their respective standard errors ρ. The stated goal of this operation is to provide unitless covariates to compare like with like, especially when penalized likelihood or prior distributions are used. We contend that this vision is too simplistic. Instead, we propose to take into account a more essential component of the structure of the regression matrix by rescaling the covariates based on the diagonal elements of the covariance matrix Σ of the maximum‐likelihood estimator. We illustrate the differences between the standard ρ‐ and proposed Σ‐rescalings with various estimators and data sets. Que l'on utilise un modèle de régression paramétrique ou non‐paramétrique, par rétrécissement, seuillage, vraisemblance pénalisée ou Bayesien (ex. régression ridge, lasso, régression en composantes principales, waveshrink, champ Markovien), il est commun de standardiser les variables explicatives en les divisant par leurs écarts types ρ respectifs. Le but affiché de cette opération est de créer des variables sans unités pour pouvoir les comparer entre elles, en particulier quand l'estimateur est basé sur la vraisemblance pénalisée ou une distribution a priori. Nous attendons prouver que cette vision est trop simpliste. Nous proposons de plutôt considérer un élément plus essentiel de la matrice de régression en standardisant les variables explicatives à partir des éléments diagonaux de la matrice de covariance Σ de l'estimateur du maximum de vraisemblance. Nous illustrons les différences entre la standardisation ρ et la standarisation Σ avec des estimateurs et des données variés. Mots clés: champ markovien, distribution a priori ℓη, lasso, ondelettes, régression en composantes principales, régression ridge.