Penalized Regression with Ordinal Predictors

Ordered categorial predictors are a common case in regression modelling. In contrast to the case of ordinal response variables, ordinal predictors have been largely neglected in the literature. In this paper, existing methods are reviewed and the use of penalized regression techniques is proposed. Based on dummy coding two types of penalization are explicitly developed; the first imposes a difference penalty, the second is a ridge type refitting procedure. Also a Bayesian motivation is provided. The concept is generalized to the case of non‐normal outcomes within the framework of generalized linear models by applying penalized likelihood estimation. Simulation studies and real world data serve for illustration and to compare the approaches to methods often seen in practice, namely simple linear regression on the group labels and pure dummy coding. Especially the proposed difference penalty turns out to be highly competitive. Les variables indépendantes catégoriques ordinales sont un cas courant dans les modèles de régression. Contrairement au cas des variables dépendantes ordinales, les variables indépendantes ordinales ont été largement négligées par la recherche. Le présent article présente les méthodes existantes et propose l'utilisation de techniques de régression pénalisée. Deux types de pénalisation basés sur des variables dummy sont exposés; le premier impose une pénalité de différence, le second est une procédure basée sur une forme de régression ridge. D'autre part, une motivation baysienne est présentée. La méthode est également appliquée au cas de variables dépendantes non gaussiennes. Des études de simulation et des données réelles servent à illustrer et à comparer les nouvelles méthodes aux méthodes que l'on rencontre souvent dans la pratique ‐ à savoir les régressions linéaires sur les nombres entiers et sur des variables dummy sans penalité. Une pénalité de différence notamment a montré de bons résultats.