Analysis of the Predictive Power of PISA Test Items

The predictive power of the PISA test items for future student success is examined based on data from the Longitudinal Surveys of Australian Youth (LSAY) for the PISA 2003 cohort. This working paper analyses how students’ responses to mathematics and problem-solving items in PISA 2003 are related to the students’ qualifications in education in 2007 and 2010. The results show that items do differ in their predictive power, depending on some of their deep qualities. PISA mathematics and problem-solving items are grouped into various classifications according to their qualities. This paper proposes 16 new classifications of items. Among mathematics-specific item classifications, two are found to be significantly related to future student success: those that assess knowledge, understanding, and application of statistics; and those related to rates, ratios, proportions, and/or percent. These items frequently require students to apply common mathematical concepts to solve multi-step, non-routine problems, think flexibly, and understand and interpret information presented in an unfamiliar format or context. Among classifications that are not specific to mathematics, items that were classified as using reverse or flexible thinking are found to be related to student qualifications in both mathematics and problem solving. These items require students to be able to think through a solution at various points during the problem-solving process, not just at the start. L’efficacité prédictive des items de l’enquête PISA pour la réussite future des élèves est examinée à partir de données collectées par l’enquête longitudinale australienne LSAY (Longitudinal Surveys of Australian Youth) sur l’échantillon d’élèves évalués lors du cycle PISA 2003. Le présent document de travail analyse dans quelle mesure les réponses des élèves aux items de mathématiques et de résolution de problèmes de l’enquête PISA 2003 sont liées à leur niveau de formation en 2007 et 2010. Les résultats montrent que l’efficacité prédictive des items varie en fonction de certaines de leurs qualités profondes. Les items PISA de mathématiques et de résolution de problèmes sont classés dans différentes catégories selon leurs qualités. Le présent document propose 16 nouvelles catégories d’items. Parmi les catégories d’items spécifiques à l’évaluation des compétences en mathématiques, deux ont été identifiées comme étant liées de façon significative à la réussite future des élèves : les types d’items qui évaluent les connaissances, la compréhension et l’application des statistiques, et ceux qui ont trait aux taux, ratios, proportions et/ou pourcentages. Ces items requièrent généralement des élèves l’application de concepts mathématiques de base pour résoudre des problèmes non routiniers et comportant plusieurs étapes, un raisonnement flexible, ainsi que la compréhension et l’interprétation d’informations présentées sous un format ou dans un contexte non familiers. Parmi les catégories qui ne sont pas spécifiques aux mathématiques, il apparaît que les items définis comme faisant appel à un raisonnement rétrospectif ou flexible présentent une corrélation avec les qualifications des élèves à la fois en mathématiques et en résolution de problèmes. Ces items supposent de la part des élèves une capacité à réfléchir à une solution à différentes étapes du processus de résolution du problème, et pas uniquement au début de ce processus.