Three Sides of Smoothing: Categorical Data Smoothing, Nonparametric Regression, and Density Estimation

The past forty years have seen a great deal of research into the construction and properties of nonparametric estimates of smooth functions. This research has focused primarily on two sides of the smoothing problem: nonparametric regression and density estimation. Theoretical results for these two situations are similar, and multivariate density estimation was an early justification for the Nadaraya‐Watson kernel regression estimator. A third, less well‐explored, strand of applications of smoothing is to the estimation of probabilities in categorical data. In this paper the position of categorical data smoothing as a bridge between nonparametric regression and density estimation is explored. Nonparametric regression provides a paradigm for the construction of effective categorical smoothing estimates, and use of an appropriate likelihood function yields cell probability estimates with many desirable properties. Such estimates can be used to construct regression estimates when one or more of the categorical variables are viewed as response variables. They also lead naturally to the construction of well‐behaved density estimates using local or penalized likelihood estimation, which can then be used in a regression context. Several real data sets are used to illustrate these points. Durant les quarantes derni1ères années, I'estimation fonctionnelle nonparamétrique a connuun développement considérable ce travail présente, un bilan des recherches portant sur l'estimation des fonctions de densités et de régression. les régression. Les résultats théoriques associéè ces deux problémes d'estimation sont très similaires. De plus, l'estimateur de Nadaray‐watson d'une fonction de régression trouve se racines dans I'estimation de densités multivariées. Un troisième volet de I'estimation fonctionnelle, moins exploité, est celui de l'estimation par lissage de lois de probabilité de données catégoriques. Ce travail explore le fait que ce type d'estimation constitue un pont entre I'estimation nonparamétrique de densités et de estimateurs de lois de probabilités de données catégoriques. Un choix adéquat de la fonction de vraisemblance permet de construire des estimateurs possédant de nombreuses propriétés intéressantes. les estimateurs ainsi obtenus peuvent âtre utilisés en estimation de régression aussi bien dans le cas de variables réoibses catégiruques ou dans le cas d'une estimation préalable de densités par le biais de la vraisemblance locale ou pénalisée. les divers problèmes abordés dans ce travauk sont illustrés par l'entremise de plusieurs jeux de donnéelles.