Scoring with the computer: Alternative procedures for improving the reliability of holistic essay scoring.

DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation

Inhalt

Literaturnachweis - Detailanzeige

Trefferliste

Autor/inn/en	Attali, Yigal; Lewis, Will; Steier, Michael
Titel	Scoring with the computer: Alternative procedures for improving the reliability of holistic essay scoring.
Quelle	In: Language testing, 30 (2013) 1, S. 125-141Infoseite zur Zeitschrift Verfügbarkeit
Beigaben	Abbildungen 2; Anmerkungen 1; Literaturangaben; Tabellen 6
Sprache	englisch
Dokumenttyp	gedruckt; Zeitschriftenaufsatz
ISSN	0265-5322
Schlagwörter	Bewertungsskala; Ausdrucksfähigkeit; Test; Leistungsbeurteilung; Computer; Schriftlicher Ausdruck; Essay Writing
Abstract	Automated essay scoring can produce reliable scores that are highly correlated with human scores, but is limited in its evaluation of content and other higher-order aspects of writing. The increased use of automated essay scoring in high-stakes testing underscores the need for human scoring that is focused on higher-order aspects of writing. This study experimentally evaluated several alternative procedures for eliciting distinct human scores and improving their reliability. Essays written in response to the argument and issue tasks of the Analytical Writing measure of the GRE General Test were scored by experienced raters under different conditions. Criteria for evaluation included inter-rater agreement, agreement with machine scores, and cross-task reliability. First, the use of a modified scoring rubric that focused on higher-order writing skills increased the reliability for one type of task but decreased it for another. Second, scoring in batches of similar length essays did not have any effect on scores. Third, scoring with available automated essay scores increased reliability of human scores, but also increased their similarity with automated scores. Finally, the use of a more refined 18-point scoring scale significantly increased reliability. (Verlag).
Erfasst von	Informationszentrum für Fremdsprachenforschung, Marburg
Update	2022/2

Literaturbeschaffung und Bestandsnachweise in Bibliotheken prüfen

Standortgebundene Dienste:

Wählen Sie eine Institution, um dort die Verfügbarkeit zu prüfen:

bitte warten

Standortunabhängige Dienste

Trefferlisten Einstellungen

Dateien exportieren oder versenden

Markieren Sie in der Trefferlisteliste die Einträge, deren Nachweise Sie exportieren wollen. Im Bereich "Exportieren" wählen Sie in der Auswahlliste "System/Format wählen" eines der Exportformate bzw. -systeme. Wollen Sie die gewählten Nachweise direkt in Ihre Literaturverwaltung importieren, so wählen Sie das entsprechende System aus und drücken den Schalter "exportieren". Die weiteren Schritte sind abhängig von der installierten Software. Eine detaillierte Beschreibung finden Sie, zusammen mit den einzelnen Formatbeschreibungen auf unserer Hilfeseite.
Die Formate können Sie auf Ihrem Rechner als Textdatei abspeichern.
Alle Formate können zusätzlich auch als Datei an eine beliebige E-Mailadresse versendet werden. Gehen Sie vor wie beim normalen Export. Tragen Sie zusätzlich die E-Mailadresse ein und aktivieren Sie den Schalter "versenden". Der Versand der Datei erfolgt mit der passenden Dateiextension im Dateinamen. Achten Sie auf die korrekte Eingabe Ihrer Mailadresse, um den Verlust Ihrer Rechercheergebnisse zu vermeiden.
Das Fachportal Pädagogik unterstützt die Übernahme bibliografischer Daten in andere Systeme durch Einbettung so genannter COinS in den HTML-Quellcode. Sie erkennen die Möglichkeit der Übernahme durch eine Meldung Ihres Browsers.

Exportieren der Dateien:

System / Format wählen

Versenden der Dateien:

E-Mail-Adresse

Permalink als QR-Code

Permalink als QR-Code

Inhalt auf sozialen Plattformen teilen (nur vorhanden, wenn Javascript eingeschaltet ist)

Teile diese Seite:

Zum Seitenanfang