Gestalten und Evaluieren von eLearning Szenarien/Elektronisches Prüfen/Testen von Lernzuwächsen

Durch die zunehmende Verbreitung des Internet sind vermehrt Angebote von E-Learning-Umgebungen verfügbar. Unabhängig von der Aufbereitung der Inhalte ist das erworbene Wissen zu testen, um die Effektivität zu beurteilen (Janko/Stix, 2004). Dies kann durch laufende bzw. abschließende Tests bewerkstelligt werden. Vorteile solcher Tests liegen vor allem in der Objektivität bei der Beurteilung und der Zeit- und Ressourcenersparnis. Weiters ermöglicht der Einsatz von elektronischen Lernkontrollen fächerübergreifenden und praxisorientierten Wissenserwerb. Jedoch gibt es neben einer Reihe von Vorteilen auch zahlreiche Nachteile wie z.B. Technikabhängigkeit, vorausgesetzte Medienkompetenz und ein hoher Erstellungsaufwand.

Definition

Im anglo-amerikanischen Sprachraum wird das elektronische Testen von Lernerfolg als Computer Aided Assessment (CAA) bezeichnet (Chalmers/McAusland, 2002). Synonyme hierfür sind Computer Assisted Assessment und Computer Mediated Assessment. Diese Definitionen umfassen zwar auch elektronisch aufbereitete und auf Papier ausgedruckte Tests, auf die jedoch in dieser Arbeit nicht näher eingegangen wird (Anoca, 2005).

Ausprägung unterschiedlicher Methoden

Im Rahmen des CAA kommt dem Computer selbst nur eine geringe Rolle hinsichtlich der eigentlichen Beurteilung zu, da nur ein Bruchteil in automatisierter Form durchgeführt werden kann. Der Hauptnutzen eines Computers wird hauptsächlich in der Datensammlung und dessen Transfer zwischen Lernendem und Lehrendem gesehen. Im Gegensatz hierzu stellt ein Computer den zentralen Ansatzpunkt beim Computer Based Assessment (CBA) dar, wobei diesem ein vergleichsweise größerer Aufgabenbereich zukommt. Häufig wird diese Form zum Erlernen praktischer Fähigkeiten oder für Bildschirmpräsentation von Wissenstests angewandt; hierbei registriert und bewertet der Computer die vom Benutzer eingegebenen Antworten.

Eine weitere Ausprägung stellt die rein internetbasierende Online-Beurteilung dar. Eine Vielzahl von Übungen und Tests werden in Echtzeit über das Internet abgewickelt. Diese Methode setzt allerdings die Erfüllung konkreter technischer Anforderungen - wie etwa Bandbreite, Browser-Software, etc. - voraus, wobei mitunter technologisch entschlackte Varianten für Benutzer mit geringerer technischer Ausrüstung angeboten werden.

Gestaltung von Fragentypen und -formulierung

Idealerweise werden für die Benutzung in elektronischen Medien adäquate Fragestellungsformen eingesetzt. Da das Lesen und Erfassen längerer Texte am Bildschirm schwieriger ist als bei gedruckten Medien, sind Fragen mit längeren Textpassagen tendenziell weniger für den Einsatz in elektronischen Lernumgebungen geeignet. Da die Medienkompetenz nicht unter allen Lernenden gleichermaßen ausgeprägt ist, wird die Komplexität für einige zusätzlich erhöht, wenn eine Frage überfordernd gestaltet ist.

Hinsichtlich der Fragetypen kommen häufig kurze und prägnant formulierte Multiple-Choice-Fragen zum Einsatz; in elektronischen Medien stellt die zusätzlich Angabe von Multimedia-Komponenten keine Schwierigkeit dar, was in Papierform oft nur schwer möglich ist. Die optimale Wahl der Fragetypen variiert je nach Einsatzgebiet; somit sind z.B. Lückentexte für das Lernen von Vokabeln im Sprachunterricht sehr nützlich, während dieser Fragetyp in anderen Disziplinen unüblich und befremdlich wirken könnte, was weiters auch für Quiz oder Wortspiele zutrifft.

Dahingegen bieten viele Systeme die Möglichkeit, abstrakte Sachverhalte unter Einsatz von Bild-, Ton- oder Videodokumenten grafisch darzustellen. Damit wird den Lernenden geholfen, sich eine konkrete Fragestellung besser vorstellen zu können bzw. Prozesse intuitiver nachzuvollziehen.

Weiters können Lösungshinweise gegeben werden, um Lernende an die richtige Lösung heranzuführen. Fehltritte, also falsche Beantwortungen von fragen, müssen jedoch explizit festgehalten werden, um das Anforderungsniveau nicht zu unterschreiten. Hiermit soll vielmehr intuitives Nachvollziehen und sukzessive Vorgehen bei der Beantwortung einer Frage erreicht werden.

Einsatzgebiete elektronischer Tests

Elektronische Tests von Lernzuwächsen weisen drei Funktionsbereiche auf (Chalmers/McAusland, 2002):

Zusätzlich bietet eine Beurteilung der Lernenden die Möglichkeit zur Feststellung der Effektivität des Unterrichtes und weist ggf. auf didaktischen Änderungsbedarf ab. Wiederum lassen sich durch die relativ einheitliche Datenerhebung Vergleichsstudien anstellen.

Vor- und Nachteile

Elektronische Prüfungen von Lernzuwächsen können sich durch hohe Effektivität ausweisen, sofern sie für spezifische Einsatzzwecke optimal konfiguriert wurden. Wie in vielen anderen Bereichen auch müssen Vor- und Nachteile gegeneinander abgewogen werden. Schließlich besteht stets die Gefahr, daß der Testzweck verfehlt und das Potential nicht ausgenützt wird.

Nachfolgend werden die Vor- und Nachteile ausführlich beschrieben und im Anschluss daran in einer Tabelle nochmals überblicksmäßig dargestellt.

Vorteile

Vorteile für Lernende

Elektronische Lernzuwachskontrollen, denen auch die Funktion einer fachlichen und objektiven Qualitätskontrolle zugeschrieben wird, tragen zur Motivation der Lernenden bei, indem die Auseinandersetzung mit der Thematik intensiviert wird. Somit wird insbesondere in praktischen Übungen bisher gelerntes Wissen angewandt und vertieft. Gleichzeitig erhalten Lernende sowohl objektives als auch konkretes Feedback über ihre Lernsituation und über ihren Wissensstand, was ihnen hilft, etwaige Wissenslücken zu erkennen und an konkreten Stellen zu schließen.

Ein weiterer Vorteil kann in der unverzüglichen Beurteilung der Lernenden gesehen werden, wobei Wartezeiten auf das Resultat der absolvierten Prüfung entfallen und eine sofortige Einsicht möglich ist. Bei manchen Systemen besteht zudem die Möglichkeit, falsch beantwortete Fragen nachzuarbeiten und umfassend zu erklären, um den Prüflingen ihre Fehler vor Augen zu führen.

Der Einsatz von elektronischen Lernkontrollen fördert problemorientiertes Lernen und ermöglicht fächerübergreifenden und praxisorientierten Wissenserwerb. Die deutsche Approbationsordnung für Ärzte sieht seit Oktober 2003 eine Einbindung computerunterstützter Lern- und Testsysteme vor, die neben Multiple Choice-Tests auch darüber hinausgehende Online-Prüfungsszenarios enthalten Krüger-Brand, 2004.

Teilnehmer von Fernstudien und -lehrgängen können mithilfe elektronischer Tests ihren Bezug zu den Inhalten intensivieren. Diesen Personen, die durch mangelnde physische Präsenz auf lediglich auf elektronische Kommunikationstools zurückgreifen können, wird es ermöglicht, individuelles und zeitnahes Feedback zu erhalten, wobei die Größe der Teilnehmergruppe aufgrund der automatisierten Prozesse eine untergeordnete Rolle spielt.

Vorteile für Lehrende

Das elektronische Überprüfen von Lernzuwächsen ermöglicht ein schnelles und zeitsparendes Vorgehen, womit in verhältnismäßig kurzer Zeit ein großer Kreis sowohl an Themenbereichen abgehandelt als auch an Teilnehmern beurteilt werden kann. Durch dieses Vorgehen wird größere Transparenz über das Wissen sowie über etwaige Verständnisprobleme der Lernenden geschaffen Lewis/Dempster/Nakariakova, 2005).

Daneben wird die Notwendigkeit einer zweiten Kontrolleinsicht, die bei händischer Auswertung mitunter zu finden ist, vollständig eliminiert. Diese Zeit- und Ressourcenersparnis erlaubt die Durchführung von Überprüfungen mit unmittelbar anschließender Beurteilung inklusive Feedback in kleineren Abständen.

Unter Verwendung von diagnostischen Tests wird es möglich, Inhalte bestmöglich nach dem Vorwissen und den Fähigkeiten der Lernenden zu gestalten. Dies zielt nicht auf die Unterschreitung vorgegebener Lernziele aufgrund mangelnder Vorkenntnisse, sondern vielmehr auf die Identifikation der höchsten gemeinsamen Wissensebene der Lernenden ab, wodurch eine möglichst effektive Wissensvermittlung ermöglicht werden soll.

Mithilfe elektronischer Lernzuwachsüberprüfungen ist es für Lehrende besser möglich, über den konkreten Wissensstand Lernenden bescheid zu wissen und gegebenenfalls an Lücken bzw. Verständnisproblemen anzuknüpfen. Durch den Umstand, dass Zwischenfragen bzw. kritische Äußerungen je nach verschiedenartigen Persönlichkeiten der Teilnehmer geäußert werden, ist es für Lehrende nicht sofort erkennbar, wenn Verständnisprobleme auftauchen. Im Fall langer Zeitabstände zwischen den Überprüfungen können unter Umständen essenzielle Inhalte nicht bzw. weniger prägnant vermittelt werden. Dieser Gefahr kann durch regelmäßige Überprüfungen entgegengewirkt werden. Obwohl von Seiten der Lernenden besser auf individuelle Lücken der Lernenden eingegangen werden kann, ist es nur schwer möglich, die jeweiligen Kommunikationsfähigkeiten der Teilnehmer zu bestimmen.

Nachteile

Nachteile für Lernende

Im Unterschied zu auf Papier ausgedruckten Fragestellungen besteht in einer elektronischen Anwendung stets die inhärente Gefahr von individuellen Hardware- bzw. Softwarefehlern.

Zusätzlich erfordert die Bedienung einer Lernumgebung ein gewisses Maß an Medienkompetenz und Fähigkeiten im Umgang mit Computern, wodurch denjenigen Lernenden, die auf größere diesbezügliche Erfahrung zurückgreifen können, ein Vorteil zugesprochen werden kann. Weiters müssen konkrete Hardware-Anforderungen erfüllt werden, um die aufbereiteten Inhalte in optimaler Weise abzurufen bzw. Programme auszuführen oder Multimedia-Dokumente wiederzugeben.

Sofern Testmaterialien durch einen Computer generiert werden, erfolgt die Fragenauswahl mehr oder weniger willkürlich. Die anschließende Beurteilung und Feedback erfolgt je nach Gestaltung der Programmierung in unpersönlicher Art und Weise. Merkmale der eigenen Persönlichkeit wie z.B. Ausstrahlung/Charisma, Aussprache (insbes. bei Sprachunterricht) oder mündliche Improvisationsfähigkeit, können beim elektronischen Testen nicht berücksichtigt werden.

Nachteile für Lehrende

Der elektronische Beurteilungsvorgang an sich kann zwar binnen kurzer Zeit in verlässlicher Weise ausgeführt werden, gleichzeitig ist eine umfangreiche Vorbereitungszeit für die Erstellung des Fragenkataloges erforderlich, um bestmögliche Aussagekraft zu gewährleisten.

Da für die Abwicklung von elektronischen Wissensüberprüfungen entsprechende IT-Einrichtungen erforderlich sind, können gerade bei Prüfungen mit einer großen Zahl an Kandidaten logistische Probleme auftreten und diese Prüfungen müssen evtl. in mehreren Schichten durchgeführt werden.

Weiters muss – speziell in Online-Tests – darauf geachtet werden, dass sämtliche Informationskanäle abgeriegelt sind und Lernende demnach keine Zugangsmöglichkeit auf Suchmaschinen, Nachschlagewerken oder Kommunikationstools zum Informationsaustausch mit anderen Personen erhalten.

Letztlich ist der Einsatz von elektronischen Tests stets ein Mittelweg zwischen Benutzerfreundlichkeit und Flexibilität im Fragendesign. Je nach angewandter Software können komplizierte Sachverhalte unter Beibehaltung der Übersichtlichkeit integriert werden. Zusätzlich ist es möglich, dass auch geschlechterspezifische Abweichungen auftreten, die in der Beurteilung nicht berücksichtigt werden können.

Programme

WinEcon

Abb. 1: Screenshot WinEcon

Das vom WinEcon-Konsortium entwickelte Programm richtet sich an Studierende wirtschaftswissenschaftlicher Studienrichtungen. Zwischenzeitlich sind jeweils für Lernende und Lehrende unterschiedliche Produktpakete von allgemeinem bis speziellem volkswirtschaftlichen/mathematischen Wissen erschienen. In der Bedienung wird insbesondere Wert auf klare Vermittlung der Theorie und anschauliche graphische Darstellung von Modellen gelegt. WinEcon 4.0 Sampler ist eine eingeschränkte Version, die für Testzwecke kostenlos benützt werden darf.

Charakteristisch für diese Software ist eine universelle Navigationsleiste, die stets die verfügbaren Optionen anzeigt. Die Themen sind sequenziell aufgebaut und über die Navigationsleiste ansteuerbar. Die Aufteilung des Benutzer-Interface in einen Darstellungs- und Erklärungs- bzw. Informationsbereich sorgt für Übersichtlichkeit.

HotPotatoes

Abb. 2: Screenshot HotPotatoes

Das an der kanadischen University of Victoria Humanities Computing and Media Centre entwickelte Programm HotPotatoes ermöglicht die Erstellung webbasierter interaktiver Übungen:

• JBC: Multiple Choice (ab Version 6 in JQuiz enthalten)
• JQuiz: Freie Texteingabe
• JMix: Schüttelsatz/ -wort
• JCross: Kreuzworträtsel
• JMatch: Zu- bzw. Anordnung
• JCloze: Lückentext
• Masher: zur Kombination von Übungen

Die Übungen werden als JavaScripts generiert und können somit leicht in eine Website eingebunden werden, welche ab Version 3 des Internet Explorer bzw. Netscape Navigator abgerufen werden können. Um Übungen in allen Sprachen zu ermöglichen, arbeiten die einzelnen Module mit einem erweiterten romanischen Zeichensatz. Ursprünglich wurde das Programm für den Einsatz im Sprachunterricht kreiert, es findet allerdings auch in anderen Disziplinen Anwendung. Neben einer ausführlichen deutschsprachigen Anleitung und Support für Lehrer und Schüler weist HotPotatoes folgende Vorteile auf:

• kostenlose Verfügbarkeit
• eigenverantwortliche Arbeitsweise
• Förderung leistungsstarker Lernender
• Umsetzung von IT-Lernzielen
• Produktion von Lernmaterialien

Tutorial und Beispiele

WebCT Vista

Abb. 3: Screenshot WebCT Vista

WebCT ist ein Lernmanagement-System, das die webbasierte Erstellung und Administration von Lernumgebungen vorsieht. Dabei können Lernende asynchrone oder synchrone Kommunikationsformen nutzen, um Datenaustausch und Kommunikation mit anderen Teilnehmern durchzuführen. Aufgrund leichter Bedienbarkeit, einer intiutiven webbasierten Benutzeroberfläche, einem flexiblen Lizenzmodell und dem Vorhandensein leistungsstarker Kommunikationstools findet das an einer Universität aus British Columbia (Kanada) entwickelte Programm, das sich in erster Linie an Studierende höherer Schulen richtet, zwischenzeitlich an vielen Universitäten in den USA und der Schweiz Anwendung.

Das Programm enthält eine Funktion zur Erstellung und Verwaltung von Tests zur Kontrolle des Lernfortschrittes und verfügt weiters über Evaluationsmöglichkeiten in Form von Aufgabenverwaltung, Auswertung von Tests sowie dem Erteilen von Feedback.

Prüfungen, Selbsttests und Studien (anonyme Online-Evaluationen) können auf einfache Art und Weise in WebCT Vista durchgeführt werden. Die Auswahl von Testfragen, die in mehreren Typen vorliegen und für jeden Test separat generiert werden können, ermöglichen die Erstellung eines individuellen Fragensets für jeden Prüfling. Weiters können Rahmenbedingungen eines Tests, wie z.B. Dauer, Anzahl der Versuche, Möglichkeit des Zurückblätterns, etc. genau bestimmt werden. Die mittels einer Webmaske bearbeiteten Aufgaben können direkt online benotet werden. Die Noten werden in das Grade Book eingetragen und können, nachdem sie freigegeben wurden, von den Lernenden dort eingesehen werden (Lorenz/Zens/Bociurko, 2004).

Präsentation: Elektronisches Testen von Lernzuwächsen

Literatur

• Anoca (2005): E-Assessment. URL: http://www.anoca.org/computer/item/e_assessment.html

• Chalmers D., McAusland W.D.M. (2002): Computer-Assisted Assessment (Handbook for Economics Lecturers). URL: http://www.economicsnetwork.ac.uk/handbook/printable/caa_v5.pdf (Download: 15.12.2005)

• Janko W., Stix V. (2004): Modelle zur Lernfortschrittskontrolle im E-Learning. URL: http://wwwai.wu-wien.ac.at/Publikationen/Janko/E-Learning.doc (Download: 15.12.2005)

• Lewis G., Dempster J., Nakariakova N. (2005): Introduction to Objective Testing and CAA in Warwick. URL: http://www2.warwick.ac.uk/services/cap/resources/eguides/printing/e1_print.pdf (Download: 15.12.2005)

• Krüger-Brand Heike E. (2004): Die Prüfung mit der Maus. In: Deutsches Ärzteblatt Jg. 101, Heft 11. URL: http://www.med.uni-giessen.de/agma/kmed/presse/E-Learning... .pdf

• Lorenz A., Zens M., Bociurko M. (2004): WebCT Vista. URL: http://www.univie.ac.at/comment/04-2/042_3.html (Download: 15.12.2005)

• McKenna C., Bull J. (1999): Designing effective objective test questions: an introductory workshop. URL: http://caacentre.lboro.ac.uk/dldocs/otghdout.pdf (Download: 15.12.2005)

Kontrollfragen

In welchen Kontexten findet das elektronische Testen von Lernzuwächsen Anwendung?

• Diagnostik: Um die vorhandenen Kenntnisse und Fähigkeiten von Lernenden zu eruieren und eine dementsprechende Anpassung des Lehrniveaus durchführen zu können, werden diese Tests im Vorfeld des eigentlichen Lernprozesses abgehalten.
• Begleitung: Um Lernende während oder nach einzelnen Lerneinheiten zu evaluieren, wird diese Art von Tests eingesetzt. Dadurch wird zum einen eine kontinuierliche Vergleichbarkeit der Leistungen herbeigeführt, zum anderen eine intensivere Auseinandersetzung mit den Inhalten forciert. Schließlich erhalten Lernende hierdurch einen besseren Überblick und bessere Kontrolle über ihre eigenen Lernleistungen und etwaige Defizite.
• Ganzheitlichkeit: Diese Art von Tests bestimmt die Gesamt- bzw. Endnote eines Lernenden, wobei ggf. mehrere Teilbereiche und Inhalte zu einem ausführlichen Test zusammengenommen werden.

Welche entscheidenden Vorteile bringt der Einsatz des elektronischen Testen von Lernzuwächsen mit sich?

Elektronische Tests von Lernzuwächsen können zeit- sowie ressourcenschonender durchgeführt werden; gleichzeitig kann die Fehleranfälligkeit bei der Korrektur drastisch vermindert werden. Elektronische Tests sind objektiv, wodurch alle Lernenden bzw. Prüflinge gleichartig behandelt werden - unabhängig ihrer Persönlichkeitsmerkmale bzw. ihres Geschlechts. Sowohl Test als auch entsprechendes Feedback können individuell gegeben werden. Durch eine einfachere Handhabung können solche Tests mit weniger Zeitaufwand bewerkstelligt werden, was die Beschäftigung mit den Inhalten intensiviert und zudem mehr Zeit für deren Erarbeitung seitens der Lehrenden zulässt. Überdies fördert der Einsatz von elektronischen Tests durch erweiterte Veranschaulichungsmöglichkeiten (z.B. interaktive Modelle bzw. Multimedia-Dokumente oder Animationen) problemorientiertes Lernen und ermöglicht interdisziplinären Wissenserwerb.

Nennen Sie mögliche Problemstellungen, die bei der Implementierung auftreten können!