A Critical Analysis of the Body of Work Method for Setting Cut-Scores.

Autor/Urheber	Radwan, Nizam; Rogers, W. Todd
Institution	University of Alberta
Titel	A Critical Analysis of the Body of Work Method for Setting Cut-Scores.
Quelle	In: Alberta Journal of Educational Research; Vol 52 No 1 (2006): Spring 2006 ; 1923-1857 ; 0002-4805(2006) PDF als Volltext kostenfreie Datei
Sprache	englisch
Dokumenttyp	online; Zeitschriftenaufsatz
Abstract	The recent increase in the use of constructed-response items in educational assessment and the dissatisfaction with the nature of the decision that the judges must make using traditional standard-setting methods created a need to develop new and effective standard setting procedures for tests that include both multiple-choice and constructed-response items. The Body of Work (BoW) method is an examinee-centered method for setting cut-scores that applies a holistic approach to student work in order to estimate the cut-scores that differentiate examinees according to their level of performance in situations where both item formats are used. A detailed review of Version 1 and the recent modification, Version 2, are first presented followed by a critical evaluation of the two versions in terms of Berk's (1986) 10 criteria for defensibility. The results reveal that the BoW method appears to be a promising method for setting cut-scores that could be used on a wider scale in Canada. However, as with other methods, the experience gained from using the BoW method in the field will probably lead to further modifications in an attempt to increase efficiency without sacrificing accuracy. ; La décision d'augmenter l'emploi des questions à réponse construite dans l'évaluation scolaire a provoqué de l'insatisfaction à l'égard des décisions que doivent prendre les juges qui utilisent des méthodes traditionnelles pour établir les normes. Ce mécontentement a entraîné le besoin de développer de nouvelles procédures efficaces pour établir des normes dans le cas d'examens comportant des questions à choix multiples aussi bien que des questions à réponse construite. La méthode Body of Work (BoW) est une méthode d'établissement de notes de passage qui est centrée sur le candidat et qui repose sur une approche holistique au travail de l'élève pour déterminer les notes de passage qui distinguent les candidats selon leur rendement dans des situations impliquant les deux sortes de questions. Un examen détaillé de la 1re version et de la modification récente qu'on en a faite (la 2e version) est suivi d'une évaluation critique des deux versions d'après les 10 critères de validation établis par Berk (1986). D'après les résultats, la méthode BoW pourrait bien servir dans l'établissement des notes de passage et être mieux diffusée partout au Canada. Comme c'est le cas pour toutes les autres méthodes par contre, l'expérience qu'on retire de l'emploi de la méthode BoW entraînera probablement des modifications visant à la rendre plus efficace sans toutefois en sacrifier la précision.
Erfasst von	BASE - Bielefeld Academic Search Engine