Comparing the Similarities and Differences of PISA 2003 and TIMSS

This paper makes an in-depth comparison of the PISA (OECD) and TIMSS (IEA) mathematics assessments conducted in 2003. First, a comparison of survey methodologies is presented, followed by an examination of the mathematics frameworks in the two studies. The methodologies and the frameworks in the two studies form the basis for providing explanations for the observed differences in PISA and TIMSS results. At the country level, it appears that Western countries perform relatively better in PISA as compared to their performance in TIMSS. In contrast, Asian and Eastern European countries tend to do better in TIMSS than in PISA. This paper goes beyond making mere conjectures about the observed differences in results between PISA and TIMSS. The paper provides supporting evidence through the use of regression analyses to explain the differences. The analyses showed that performance differences at the country level can be attributed to the content balance of the two tests, as well as the sampling definitions – age-based and grade-based – in PISA and TIMSS respectively. Apart from mathematics achievement, the paper also compares results from the two studies on measures of self-confidence in mathematics. Gender differences are also examined in the light of contrasting results from the two studies. Overall, the paper provides a comprehensive comparison between PISA and TIMSS, and, in doing so, it throws some light on the interpretation of results of large-scale surveys more generally. Le présent document établit une comparaison détaillée des évaluations des mathématiques PISA (OCDE) et TIMSS (IEA), toutes deux menées en 2003. Il présente tout d’abord une comparaison des méthodologies d’enquête, puis un examen des cadres d’évaluation des mathématiques. C’est en effet par une analyse des méthodologies et cadres d’évaluation des deux études que l’on peut expliquer les différences constatées dans les résultats du PISA et ceux du TIMSS. Au niveau des pays, il apparaît que les nations occidentales réussissent relativement mieux à l’enquête PISA qu’à l’enquête TIMSS. En revanche, les pays d’Asie et d’Europe de l’Est ont tendance à obtenir de meilleures performances aux évaluations TIMSS qu’aux évaluations PISA. Au-delà de simples conjectures sur les différences observées, le présent document fournit des éléments de preuves en utilisant des analyses de régression qui expliquent les disparités de résultats. Les analyses ont démontré que les variations de performance au niveau national peuvent être imputées à l’équilibre des contenus des deux tests, ainsi qu’aux définitions d’échantillonnage – fondées sur l’âge ou fondées sur la classe – pour PISA et pour TIMSS, respectivement. Outre les performances en mathématiques, le présent document compare les résultats des deux études sur les mesures de la confiance en soi en mathématiques. Les différences entre les sexes sont également examinées à la lumière des résultats contrastés des deux enquêtes. Dans l’ensemble, ce document offre une comparaison complète entre PISA et TIMSS