La mesure de la littéracie dans PISA. la méthodologie est la réponse, mais quelle était la question?

Literaturnachweis - Detailanzeige

Trefferliste

Autor/in	Vrignaud, Pierre
Titel	La mesure de la littéracie dans PISA. la méthodologie est la réponse, mais quelle était la question?
Quelle	In: Revue française de pédagogie, 3 (2007) 157, S. 27-41Verfügbarkeit
Beigaben	Literaturangaben
Sprache	französisch
Dokumenttyp	gedruckt; Zeitschriftenaufsatz
ISSN	0056-7807; 0556-7807
Schlagwörter	Bildungsforschung; Empirische Forschung; Methodologie; Vergleichsuntersuchung; Psychometrie; Testanwendung; Schülerleistung; Lesefertigkeit; Internationaler Vergleich; Leistungsmessung; Welt; PISA (Programme for International Student Assessment); Europa; Frankreich
Abstract	Das Ziel dieses Artikels ist, die Wechselwirkungen zwischen methodologischen Aspekten (das Messverfahren und die Schätzungsalgorithmen) und der Art und Weise zu zeigen, wie literacy bei der PISA Studie konzipiert und definiert wird. Um das Thema einzuführen, erwähnen wir zuerst die konzeptuellen Veränderungen, die bei der Evaluierung der Schüler in den internationalen Studien seit den ersten IEA-Untersuchungen bis hin zur PISA-Studie stattgefunden haben. Nachdem wir daran erinnert haben, dass jede Messung ein Konstrukt ist, stellen wir die psychometrischen Theorien vor, auf denen die Messverfahren beruhen, die zur Evaluierung der Schüler benutzt werden. Die Vorstellung der klassischen Herangehensweisen ermöglicht es, die Begriffe der Schwierigkeit und der Diskriminierung der Items einzuführen, so wie den Begriff der globalen Konsistenz einer Aufgabe. Wir unterstreichen die Geltungsbedingungen der psychometrischen Modelle (Eindimensionalität und bedingte Unabhängigkeit der Items), die starken Druck über die Art und Weise ausüben, wie die gemessene Variable gebildet ist. Dann stellen wir das Messverfahren vor, das bei PISA benutzt wird und das der Gattung der Modelle der Antwort auf das Item (MRI) angehört. PISA hat das sogenannte Rasch-Modell bevorzugt: Wir erörtern die Konsequenzen dieser Wahl über die gemessene Kompetenz und über das Format der Prüfung. Dann besprechen wir einen höchst technischen Punkt, der selten angegangen wird: das Schätzungsalgorithmus. Die Parameter der MRI (Schwierigkeit der Items, Kompetenzen der Subjekte) werden nicht ausgerechnet sondern eingeschätzt. Die Schätzungsalgorithmen sind das Thema zahlreicher Arbeiten. Wir erinnern daran, dass der Schätzungsalgorithmus sich zum Teil aus einer Überlegung über die fehlenden Werte ergibt. Dies führt dazu, die Typologie der fehlenden Werte bei PISA zu erwähnen. Wir betonen, dass die Prozedur darauf hinausläuft, nicht etwa einen Wert für jedes Subjekt, sondern die Verteilung der Kompetenzen jedes Subjekts zu schätzen. Wir betonen die Konsequenzen dieser Herangehensweise über die Interpretation der Ergebnisse und über die Art und Weise, wie man Sekundäranalysen durchführt. Zum Schluss befragen wir das eindimensionale Charakter der Variable, was die Inhalte und die Methodologie angeht. Wir stellen uns Fragen über den anscheinenden Widerspruch in der gleichzeitigen Betrachtung der Unterskalen und einer globalen Skala. Dann stellen wir uns Fragen über die Vielfalt der Interpretationen, die die literacy ertragen kann, wenn sie wie bei PISA geschätzt wird und wenn man sie mit anderen Studien vergleicht, die die gleichen Kompetenzen evaluieren. (DIPF/Orig.). The purpose of the article is to show how methodological aspects (measurement models and algorithmic estimates) and the way literacy is conceptualised and defined in the PISA survey are interacting. To introduce the matter, We first present the conceptual changes in assessing the knowledge acquired by students in the international surveys from the first IEA surveys to the PISA survey. Bearing in mind that any measurement is a construct, we then explore the psychometric theories founding the measuring models used for assessing the knowledge acquired by students. By presenting classical approaches, we can then introduce the concepts of difficulty and item discrimination as well as the concept of global consistency in item tests. We will insist on the conditions for validating psychometric models (unidimensionality and conditional independence of items) that create strong constraints on the way the measured variables are set up. Next we present the PISA measurement model. It belongs to the item response model group (RMI). PISA singled out a model known as the Rasch model. We will see the consequences of this choice on the assessed skill and test format. Next we will tackle a technical issue, not often tackled. algorithm estimate. The RMI settings (item difficulty, subject-matter competencies) are not calculated but estimated. Numerous studies have been done on estimation algorithms. We here re-state that estimation algorithms come partly from thinking on missing values. It leads us to mention the typology of missing values in PISA. We underline the fact that procedures lead not to estimate one value per subject but to construct the distribution of competencies in each subject. We insist on the consequences of such an approach in the interpretation of the results and the way secondary analyses are conducted. Finally, we discuss the truly unidimentional aspect of variables in terms of contents and methodology. We ask ourselves whether there could be an apparent contradiction when considering simultaneously underscales and full scales. Then we wonder on the plurality of acceptable interpretations of literacy - as it is measured in PISA - when related to other surveys aiming at assessing the same type of competencies. L'objectif de cet article est de montrer l'interaction entre les aspects méthodologiques et la manière dont est conceptualisée et définie la littéracie dans l'enquête PISA. Pour introduire le thème on évoque d'abord les changements conceptuels dont a été l'objet l'évaluation des acquis des élèves dans les enquêtes internationales depuis les premières enquêtes de l'IEA jusqu'à l'enquête PISA. Après avoir rappelé que toute mesure est un construit, on expose les théories psychométriques qui fondent les modèles de mesure utilisés pour l'évaluation des acquis des élèves. La présentation des approches classiques permet d'introduire les concepts de difficulté et de discrimination des items ainsi que le concept de consistance globale d'une épreuve. On insiste sur les conditions de validité des modèles psychométriques qui posent des contraintes fortes sur la façon dont la variable mesurée est construite. On présente ensuite le modèle de mesure utilisé dans PISA qui appartient à la famille des modèles de réponse à l'item (MRI). PISA a privilégié le modèle dit de Rasch, on discute des conséquences de ce choix. On aborde ensuite un point très technique peu souvent abordé. celui de l'algorithme utilisé pour l'estimation des paramètres. La procédure utilisée aboutit à estimer non pas une valeur par sujet mais à construire la distribution des compétences de chaque sujet, on insiste sur les conséquences de cette approche sur la manière de conduire l'analyse des résultats. Ensuite, on discute du caractère réellement unidimensionnel de la variable du point de vue des contenus et du point de vue méthodologique. On s'interroge sur la contradiction apparente qu'il peut y avoir à considérer simultanément des sous-échelles et une échelle globale. En conclusion, on revient sur la manière d'interpréter la littéracie telle qu'elle est mesurée dans PISA en la mettant en relation avec d'autres enquêtes visant à évaluer le même type de compétence.
Erfasst von	DIPF \| Leibniz-Institut für Bildungsforschung und Bildungsinformation, Frankfurt am Main
Update	2007/4