Schooling Matters: Opportunity to Learn in PISA 2012

Many international comparisons of education over the past 50 years have included some measure of students’ opportunity to learn (OTL) in their schooling. Results have typically confirmed the common sense notion that a student’s exposure in school to the assessed concepts, operationalized in some sort of time metric, is related to what the student has learned as measured by the assessment. What has not been demonstrated is a connection between the specifics of what students have encountered through schooling and their performance on any sort of applied knowledge assessment such as PISA. This paper explores this issue in 2012 PISA which, for the first time, included several OTL items on the student survey. OTL demonstrated a significant relationship with student performance on both the main paper-and-pencil literacy assessment as well as the optional computer-based assessment at all three levels – country, school and student. In every country at least one if not all three of the constructed OTL indices – exposure to word problems, formal mathematics topics, and applied mathematics problems – demonstrated a significant relationship to the overall PISA measure of mathematics literacy as well as the four sub areas of change and relationships, shapes and space, quantity, and uncertainty and data. Additionally, results indicated that variability in OTL was related to student performance having implications for equality of opportunity. Ces 50 dernières années, nombre de comparaisons internationales de l'éducation ont inclus, sous une forme ou une autre, une mesure des possibilités d'apprentissage (opportunity to learn, OTL) des élèves au cours de leur scolarité. Les résultats ont généralement confirmé la notion de bon sens selon laquelle l'exposition des élèves dans la cadre scolaire aux concepts évalués, matérialisée sous forme de mesure temporelle, présente une corrélation avec les connaissances apprises par les élèves, telles que mesurées par l'évaluation. Ce qui n'a pas été démontré, en revanche, c'est le lien qui existe entre la nature des éléments spécifiques auxquels les élèves ont été exposés au cours de leur scolarité et leur performance à tout type d’évaluation des connaissances appliquées, telle que le PISA. Le présent document de travail étudie cette question dans le cadre de l’enquête PISA 2012 qui, pour la première fois, faisait figurer plusieurs items relatifs aux possibilités d’apprentissage dans son questionnaire destiné aux élèves. Il en ressort qu'il existe une corrélation significative entre les possibilités d'apprentissage et les résultats des élèves, tant dans l’évaluation papier-crayon principale que dans l’évaluation informatisée proposée à titre d’option, et ce à tous les niveaux – national, établissements d’enseignement et élèves. Dans tous les pays, au moins l'un des trois indices composites des possibilités d’apprentissage, si ce n'est tous (exposition aux problèmes lexicaux, exposition aux mathématiques formelles et exposition aux problèmes de mathématiques appliquées), présente une corrélation significative avec le niveau de compétence sur l’échelle PISA globale de culture mathématique, ainsi que sur les quatre sous-échelles variations et relations, espace et formes, quantité et incertitude et données. En outre, les résultats indiquent que la variation des indices des possibilités d’apprentissage influe sur la performance des élèves, laissant donc entrevoir des implications en termes d'égalité des chances.