Schriftliche Prüfungen mit offenem Antwortformat (2)

Heidi Niederkofler

August 2022

PDF zum Download

Konzeption und Qualitätskriterien von Prüfungsaufgaben

1. Konzeption von Prüfungsaufgaben

"When planning assignments [...], teachers need to consider not only the learning goals they have set for their courses but also the thinking and writing processes that they want to invoke in their students as learners."^[1]

Gut überlegte und präzis formulierte Aufgaben überprüfen die Lehr-/Lernziele und informieren die Studierenden zudem auch über die kognitiven und textuellen Anforderungen. So können sie bessere Lernergebnisse erzielen.^[2] Eine Möglichkeit zur Abstimmung der inhaltlichen mit den kognitiven und textuellen Erwartungen ist das Planungsdreieck^[3]:

Die Aufgabenstellung benennt erstens das Thema und spezifiziert den genauen Prüfungsgegenstand. Zweitens klärt sie, idealerweise unter Verwendung der passenden Handlungsverben, welche kognitiven Leistungen^[4] Sie von den Studierenden erwarten: Sollen sie Wissen wiedergeben? Sollen sie auf Basis des Wissens eine Analyse machen? Oder geht es um eine Problemlösung bzw. das Einnehmen eines eigenen Standpunktes? Und schließlich geben Sie mit der Aufgabenstellung auch die textuellen Anforderungen an, also welche Textform und Länge Sie erwarten. Mit diesen Angaben unterstützen Sie die Studierenden in der Organisation der Beantwortung, was besonders in Hinblick auf Prüfungen mit Zeitbegrenzung essentiell ist.^[5] Ausführliche Informationen zur Aufgabenstellung finden Sie hier.

Aufgaben, die komplexe Kompetenzniveaus überprüfen, benötigen zur Beantwortung meist längere, gegliederte, teilweise auch fachsprachlich ausgerichtete Texte. Bei Aufgabenstellungen, die einfache kognitive Kompetenzniveaus überprüfen wie Erinnern oder Verstehen, reichen oft Stichworte, Definitionen oder kurze Erklärungen.

Eine präzise formulierte Aufgabenstellung verdeutlicht die - oft impliziten bzw. nicht bewussten - Erwartung der Lehrenden: Das ist hilfreich für die Studierenden, da die Qualität der Aufgabenbearbeitung meist nicht nur an inhaltlichen Kriterien bemessen wird, sondern auch kommunikative Kriterien (z. B. Bearbeitungsniveau, Fachbegriffe, Rhetorik, ...) und weitere fachspezifische Kriterien zur Beurteilung herangezogen werden.^[7]

Wenn Sie Aufgabenstellungen konzipieren, bedenken Sie neben den inhaltlichen und kommunikativen Anforderungen auch folgende Aspekte:

* Halboffene oder offene Antwortformate: Während es bei halboffenen Formaten nur eine inhaltlich richtige Lösung gibt wie etwa eine Definition, eine Berechnung oder eine Auflistung von Arbeitsschritten, sind offene Formate dadurch gekennzeichnet, dass die Antworten freier und individueller ausfallen.

* Bearbeitungszeit: Entscheiden Sie, welche Bearbeitungszeit für Ihre Prüfung angemessen ist. Beachten Sie, dass eventuelle Uploads und Ähnliches Zeit benötigen. Je nach Aufgabenstellungen kann die Bearbeitungszeit bei schriftlichen Prüfungen von etwa 30 Minuten bis hin zu mehreren Tagen (Take-Home-Prüfung) reichen.

* Handschriftliche oder maschinengeschriebene Bearbeitung: Mit diesem Aspekt sind die technischen Möglichkeiten bzw. auch der Prüfungsort (privater Raum oder Universität) angesprochen. Beachten Sie, dass maschinengeschriebene Prüfungen Studierenden viele Möglichkeiten bezüglich der Textverarbeitung bieten, was gerade bei anspruchsvollen Aufgabenstellungen unterstützend sein kann. Zudem wird Ihnen dabei die Lektüre der Prüfungen erleichtert, da Sie sich nicht mit eventuell schwer leserlichen Handschriften auseinandersetzen müssen.

* Beaufsichtigung: Bei Prüfungen ohne Aufsicht ist es sehr wahrscheinlich, dass Studierende unerlaubte Hilfsmittel verwenden. Als probates Mittel gegen Betrugsversuche haben sich komplexe kompetenzorientierte Fragestellungen erwiesen. Zudem können Sie Aufgabenstellungen auch so konzipieren, dass das Recherchieren, Bewerten und Nutzen von Informationen bzw. die Kollaboration von Studierenden ein integraler Bestandteil der Prüfungsaufgabe ist.^[8]

* Hilfsmittel: Ob und welche Hilfsmittel Sie zulassen, ist eine wichtige Information für die Studierenden und bedingt die Ausrichtung der Prüfungsaufgaben.

2. Qualitätskriterien

Qualitätskriterien für Prüfungsaufgaben finden Sie hier kompakt zusammengefasst:

* Prüfungsaufgaben beziehen sich auf spezifische Lernziele
Klarheit über die Lernziele, die mit den jeweiligen Prüfungsaufgaben überprüft werden sollen, unterstützt Sie bei der Konzipierung der Aufgaben.

* Prüfungsaufgaben sind voneinander unabhängig
Die Prüfungsaufgaben sollten voneinander unabhängig sein und sich inhaltlich möglichst wenig überschneiden.

* Erwartete Prüfungsleistung und Vorgehen sind benannt
Die Aufgabenstellungen spezifizieren, welches Ergebnis Sie von den Studierenden erwarten, wie sie vorgehen und in welcher Form sie das Resultat vorlegen sollen. Mit dem detaillierten Auflisten der Vorgehensweise verdeutlichen Sie den Studierenden die (teils disziplinspezifischen) Arbeitsschritte: Diese sind ihnen oft (noch) nicht bewusst, sind aber hilfreiche Anleitungen zum Erreichen der Prüfungsleistung und gleichzeitig eine Annäherung an disziplinäre Arbeits- und Denkweisen.^[9]

* Erreichbare Punkte, Gewichtung und Beurteilungskriterien sind kommuniziert
Im Sinne der Transparenz wissen die Studierenden, wie viele Punkte für die jeweilige Aufgabe erreichbar sind und wie die Aufgaben gewichtet sind. Idealerweise geben Sie auch die Beurteilungskriterien bekannt. Mit diesen Angaben unterstützen Sie Studierende bei der Orientierung und bei der Planung der Vorgehensweise bei der Prüfung selbst.

Prüfungsaufgaben sollten auch folgenden Gütekriterien von Prüfungen^[11] entsprechen (eine ausführlichere Darstellung finden Sie hier):

* Validität (Gültigkeit) als das zentrale Gütekriterium jeder Prüfung fragt danach, ob die Prüfung das misst, was sie messen soll (Lernzielorientierung).

* Reliabilität (Zuverlässigkeit) fragt danach, wie genau und fehlerfrei die Prüfung misst. Eine notwendige Grundlage dafür sind (möglichst) gleiche Bedingungen in der Durchführung, Auswertung und Interpretation der Prüfungen.

* Fairness (Chancengerechtigkeit) zielt auf die gleichen Prüfungsanforderungen und eine kriteriengeleitete und damit möglichst objektive Beurteilungen für alle Geprüften.

* Lerndienlichkeit^[12] fragt danach, ob die Prüfung dazu dient, im fachspezifischen wie auch im fachübergreifenden Sinn kompetent zu werden. Prämisse dieses Kriteriums ist, dass Studierende sich besser auf Prüfungen vorbereiten, wenn die Relevanz der Inhalte deutlich ist bzw. die Prüfungsbedingungen möglichst authentisch sind. In diesem Sinn hat dieses Kriterium einen Rückkoppelungseffekt auf die Gestaltung der Lehr- und Lernprozesse.

3. Klärende Angaben in der Aufgabenstellung

"[G]ood writing on the student's part begins with good assignments on the teacher's part."^[13]

Klare und ausreichende Angaben sind bei schriftlichen Prüfungen mit offenen Antwortformat wichtig. Unklarheiten können Studierende verunsichern und dazu führen, die Unsicherheit durch sehr umfangreiche Antworten bewältigen zu wollen. Je klarer Sie die Aufgabenstellung formulieren, desto eher werden Ihre Erwartungen getroffen.

Wichtige Angaben in der Aufgabenstellung sind:

• Die Aufgabenstellung zu situieren (wie z. B. Bezug auf konkrete Lehrveranstaltungsinhalte, Anwendungssituationen, fachspezifische Arbeitsschritte) kann Studierende dabei unterstützen, die Aufgabenstellung in Ihrem Sinn zu verstehen.
• Geben Sie an, in welcher Form die Beantwortung erfolgen soll, welches (Text)Produkt Sie erwarten, z.B.:
  • "Nennen Sie 5 Möglichkeiten."
  • "Nennen Sie 2 Funktionen und beschreiben Sie deren Wirkungsweisen."
  • "Stellen Sie die 2 Positionen dar und vergleichen Sie diese."
• Geben Sie den Umfang der erwarteten Antwort vor, in Form einer Wörter-, Zeichen- oder Seitenanzahl. Eine empfohlene Bearbeitungszeit bietet den Studierenden zusätzlich Orientierung.^[14]
• Weisen Sie darauf hin, welchen Standards der Text genügen soll: Verwendung von Fachbegriffen, Einbindung von Literatur, Nennung von Autor*innen, Zitate usw.
• Geben Sie Hinweise zur Benutzung von Hilfsmitteln: Was dürfen die Studierenden benutzen und auf welche Art und Weise sollen sie Nachweise bzw. Zitationen anführen?
• Überlegen Sie die Reihung der Aufgabenstellungen. Sie kann verschiedenen Prinzipien folgen: inhaltliche Gesichtspunkte, von leichten zu herausfordernden Schwierigkeitsgraden, zufällige Reihung. Letztere ist für Studierende oft nicht einordenbar und sollte deshalb kommuniziert werden.

Hinweise zur Formulierung von Aufgabenstellungen:

* Formulieren Sie eindeutig und vermeiden Sie zu komplizierte Formulierungen, um Studierende in der Prüfungssituation nicht unnötig zu belasten.

* Vermeiden Sie Verneinungen, um das Verständnis nicht unnötig zu erschweren.

* Vermeiden Sie Rechtschreib- und Grammatikfehler, da diese Studierende bei einer Prüfung irritieren können.

Tipp: Lassen Sie Ihre Aufgabenstellungen für die Prüfung von Kolleg*innen gegenlesen, insbesondere in Hinblick auf inhaltliche Klarheit, Eindeutigkeit und Nachvollziehbarkeit.

Exkurs: Herausforderung Essay Exam

Essay Exams sind im angloamerikanischen Hochschulraum eine verbreitete Prüfungsform, bei der die Studierenden einen Essay als Antwort auf die Aufgabenstellung verfassen. Mit der Notwendigkeit digitaler Prüfungsformate wurden Essay Exams auch an der Universität Wien vermehrt eingesetzt. Gegenüber den meisten schriftlichen Prüfungen mit unklaren textuellen Anforderungen haben Essay Exams den Vorteil, dass die Textsorte benannt ist.

Das Verfassen eines Essays setzt allerdings anspruchsvolle kognitive Leistungen voraus: Erstens ist ein guter Überblick über das thematische Feld und die Kenntnis zentraler Konzepte bzw. Diskursstränge notwendig; zweitens geht es darum, die theoretischen Positionen zu analysieren und (gegebenenfalls mit eigenen Ansichten) zu verknüpfen; drittens ist Kreativität und Mut bei der Formulierung eigener Positionen bzw. Gedanken erforderlich; und schließlich ist sprachliche Gestaltungskompetenz bei einer Textsorte, die eine subjektive Gestaltung erlaubt und Freiraum für stilistische Mittel bietet, von Vorteil.

Die Herausforderungen bei Essay Exams sind auf unterschiedlichen Ebenen angesiedelt:^[16]

* Qualitätskriterium Reliabilität:
Dieses Prüfungsformat hat aufgrund der hohen Freiheitsgrade eine begrenzte Reliabilität.

* Schreibprozess:
Studierende können das Prüfungsformat Essay als Signal (miss)verstehen, dass Überarbeitungsprozesse nebensächlich bzw. nicht notwendig seien. Die bei Prüfungen knappe Bearbeitungszeit trägt hierzu noch bei. Für Studierende ist es hilfreich, die Textsorte Essay in der Lehrveranstaltung zu üben und bei der Prüfung ausreichend Zeit zur Verfügung zu haben.

* Textsorte:
Essay ist eine relativ offene Textsorte, was sowohl bei Lehrenden wie auch bei Studierenden zu Interpretationsspielräumen bzw. zu unterschiedlichen Verständnissen führt. Wird zudem von den Studierenden das Einnehmen einer subjektiven Perspektive verlangt, im Unterschied zu vielen im Studium gelernten Textsorten, so kann dies als sehr herausfordernd wahrgenommen werden.

Um diesen Herausforderungen zu begegnen, empfehlen wir für Essay Exams folgende Punkte:

* Eine Prüfungsaufgabe statt mehrerer zur Auswahl erhöht die Vergleichbarkeit der Prüfungsleistung und damit die Reliabilität und entlastet Sie bei der Prüfungskonzeption.

* Großzügige Bearbeitungszeit für die Prüfungsaufgabe, damit Textüberarbeitung möglich ist.

* Vorbereitende formative Aufgabenstellungen mit Feedback zur Schulung der Textkompetenz und damit Lehrende und Studierende ein gemeinsames Verständnis der Textsorte entwickeln können.^[17]

Quellen

[1] Bean, John C. Engaging Ideas. The Professor's Guide to Integrating Writing, Critical Thinking, and Active Learning in the Classroom. San Francisco: Jossey-Bass, 2001, 77.

[2] Brossell, Gordon. "Rhetorical Specifications in Essay Examination Topics." College English 45, Nr. 2 (1983): 165-173.

[3] Lahm, Swantje. Essay Exams. Schriftliche Prüfungen mit offenen Fragen konzipieren, lesen und effektiv bewerten. Workshop am 22.04.2021 am Center for Teaching and Learning (CTL) der Universität Wien.

[4] Da die studienzielorientierte Lehre im universitären Bereich meist kognitive Lernziele beinhaltet, konzentriert sich dieser Text auf diesen Bereich. Affektive und psychomotorische Kompetenzen werden meist in spezifischen Fächern verlangt und selten in schriftlicher Form geprüft.

[5] Brossell, Rhetorical Specifications, 171. [2]

[6] Anderson, Lorin W., und David R. Krathwohl, Hrsg. A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom's Taxonomy of Educational Objectives. New York: Longman, 2001.

[7] Bunn, Lothar. Klausuren erfolgreich bestehen. München: UKV Verlag, 2. Auflage 2019, 165.

[8] Eugster, Benjamin, Silvia Faith-Keiser, Susanne Leist, Mathias Magdowski, und Johanna Friederike May. "Digitale Open-Book- und Take-Home-Prüfungen." In Digitale Prüfungen in der Hochschule. Whitepaper einer Community Working Group aus Deutschland, Österreich und der Schweiz, herausgegeben von Matthias Bandtel u. a., 111-128. Berlin: Hochschulforum Digitalisierung, 2021.

[9] Middendorf, Joan, und David Pace. "Decoding the disciplines: A model for helping students learn disciplinary ways of thinking." New Directions for Teaching & Learning 98 (Sommer 2004): 1-12.

[10] Walzik, Sebastian. Kompetenzorientiert prüfen. Leistungsbewertung an der Hochschule in Theorie und Praxis. Opladen: Verlag Barbara Budrich 2012, 95.

[11] Metzger, Christoph und Charlotte Nüesch. Fair prüfen. Ein Qualitätsleitfaden für Prüfende an Hochschulen. Hochschuldidaktische Schriften Band 6. St. Gallen: Institut für Wirtschaftspädagogik der Universität St. Gallen, 2004.

[12] Bedenlier, Svenja, u. a.. "Prüfungen aus Perspektive der Prüfungsdidaktik." In Digitale Prüfungen in der Hochschule. Whitepaper einer Community Working Group aus Deutschland, Österreich und der Schweiz, herausgegeben von Matthias Bandtel u. a., 30-42. Berlin: Hochschulforum Digitalisierung, 2021.

[13] Bean, Engaging Ideas, 191. [1]

[14] Bücker, Susanne, Meike Deimling, Janina Durduman, Julia Holzhäuser, Sophie Schnieders, und Maria Tietze. "Prüfung." In Gute Hochschullehre: Eine evidenzbasierte Orientierungshilfe: Wie man Vorlesungen, Seminare und Projekte effektiv gestaltet, herausgegeben von Michael Schneider und Maida Mustafić, 119-152. Berlin, Heidelberg: Springer Verlag, 2015.

[15] Anregungen hierzu aus Steinbauer, Maria, das kollektiv. Aufgabenstellung für eine schriftliche Prüfung zum Thema "Intersektionalität - Precious". Kompetenzfeld Deutsch - Kommunikation und Gesellschaft. O. O, 2017. www.alphabetisierung.at/lernmaterial/intersektionalitaet-precious/ [letzter Zugriff am 29.06.2022]; Lahm, Swantje. Schreiben in der Lehre. Handwerkszeug für Lehrende. Opladen, Toronto: Verlag Barbara Budrich 2017, 57ff.

[16] Bean, Engaging Ideas, 184-186. [1]

[17] Eine Möglichkeit hierzu schlägt Willmott vor: Willmott, Chris. "'You have 45 minutes, starting from now': helping students develop their exam essay skills." Bioscience Education 9, 1 (2007): 1-5. https://doi.org/10.3108/beej.9.C2 [letzter Zugriff am 29.06.2022]

Dieser Text ist lizenziert unter Creative Commons
Namensnennung – Weitergabe unter gleichen Bedingungen 3.0 Österreich (CC BY-SA 3.0 AT)
Mehr Informationen unter https://creativecommons.org/licenses/by-sa/3.0/at/