Data comparability in the teaching and learning international survey (TALIS) 2008 and 2013

This report focuses on data comparability of scale scores in the Teaching and Learning International Survey (TALIS). Valid cross-cultural comparisons of TALIS data are vital in providing input for evidence-based policy making and in promoting the equity and effectiveness of teacher policies. For this purpose, an investigation of data comparability is a prerequisite for any meaningful cross-cultural comparison. TALIS involves a large number of countries and economies, and has used rather strict conventional statistical methods to test comparability. Thus, many scales in TALIS do not reach the level of comparability that allows direct comparisons of scale scores. To facilitate the effective data analysis of TALIS and maximise its policy implications, this project: (1) uses a more flexible statistical method to test comparability, and (2) investigates the level and sources of scale data incomparability. With teacher and principal self-report data from the two rounds of TALIS (2008 and 2013), three studies are carried out to address these issues. Study 1 compares the conventional statistical method with more flexible Bayesian approximate invariance testing in scale data comparability testing. Study 2 investigates whether scale characteristics (e.g. scale length, item length, number of response options, and self-evaluative components) are associated with data comparability in principal and teacher scales. Finally, Study 3 examines the specific cultural variations that contribute to the lack of comparability. It tests the comparability of the Satisfaction with Current Work Environment scale (a key outcome construct in TALIS) between each participating country or economy with a pooled international average reference group. The paper concludes with a discussion of the implications for large-scale survey design and data analyses such as using more flexible psychometric method to test comparability and using fewer response options in items forming scales. Ce rapport étudie la comparabilité des données relatives aux scores obtenus sur les différentes échelles de l’Enquête internationale sur l’enseignement et l'apprentissage (TALIS). Des comparaisons fiables des données de TALIS entre les différentes cultures sont vitales pour contribuer à l'élaboration de politiques fondées sur des informations probantes ainsi que pour promouvoir l'équité et l'efficacité des politiques concernant les enseignants. Dans cette optique, une étude de la comparabilité des données est indispensable pour permettre d'établir des comparaisons pertinentes entre les différentes cultures. Dans la mesure où l'enquête TALIS implique de nombreux pays et économies, des méthodes statistiques conventionnelles assez strictes ont été adoptées pour tester la comparabilité des échelles construites. Ainsi, de nombreuses échelles de TALIS n'atteignent pas un niveau de comparabilité suffisant pour permettre des comparaisons directes des scores obtenus. Afin de favoriser une analyse efficace des données de TALIS et d'optimiser ses implications politiques, ce projet : (1) s'appuie sur une méthode statistique plus souple pour tester la comparabilité, et (2) étudie le niveau et les sources de non comparabilité des données des échelles. Sur la base des données recueillies auprès des enseignants et des chefs d'établissement dans le cadre des deux cycles de TALIS (2008 et 2013), trois études sont réalisées pour examiner ces problématiques. L'étude 1 compare la méthode statistique conventionnelle avec l'approche plus souple du test bayésien de l'invariance approximative pour l'évaluation de la comparabilité des données des échelles. L'étude 2 examine si les caractéristiques des échelles (par ex., la longueur de l'échelle, la longueur des items, le nombre de modalités de réponse et les composantes d'auto-évaluation sont associées à la comparabilité des données échelles relatives aux chefs d'établissement et aux enseignants. Enfin, l'étude 3 examine les variations culturelles qui contribuent spécifiquement au manque de comparabilité. Elle teste la comparabilité de l'échelle de Satisfaction à l'égard de l'environnement de travail actuel (un construct majeur dans TALIS) entre chacun des pays ou des économies participants avec un groupe moyen international de référence. Le document se conclut par un examen des implications pour la conception et l'analyse des données d'enquêtes à grande échelle, comme le recours à une méthode psychométrique plus souple pour tester la comparabilité et l'utilisation d'un nombre restreint de modalités de réponse pour les items qui constituent les échelles.