Gestalten und Evaluieren von eLearning Szenarien/Evaluation von eLearning Szenarien
aus JKUWiki, der freien Wissensdatenbank
| ||
| Robert Brumfield, eSchool News online | ||
Verfahren zur Evaluation von eLearning Szenarien dienen dazu, anhand verschiedener Kriterien bzw. mit geeigneten Methoden zu bestimmen, welches der angebotenen Szenarien für die jeweilig gestellten Aufgaben und Anforderungen im Bereich von Hochschulen, Universitäten und anderen Bildungseinrichtungen am besten geeignet ist. Die Notwendigkeit der Evaluation ergibt sich in den letzten Jahren besonders vor dem Hintergrund eines stetig wachsenden Angebots an Lernplattformen bzw. Lern-Management-Systemen. Laut einer im Auftrag des Bundesministeriums für Bildung, Wissenschaft und Kultur durchgeführten Studie gibt es derzeit ca. 120 verschiedene Lern-Management-Systeme auf dem Markt (BMBWK, 2002).
Inhaltsverzeichnis |
Definition
Da der Begriff Evaluation in der Literatur sehr vielseitig verwendet wird, beschränken sich die hier vorliegenden Definitionen auf Evaluation im Bildungsbereich.
Evaluation im allgemeinen Sinn ist die Beschreibung, Analyse und Bewertung von Prozessen und Organisationseinheiten, insbesondere im Bildungsbereich, in den Bereichen Gesundheit und Entwicklungshilfe, der Verwaltung oder der Wirtschaft. Evaluation kann sich sowohl auf den Kontext (Voraussetzungen, Rahmenbedingungen), die Struktur, den Prozess als auch das Ergebnis (Produkt) beziehen. Anders als Grundlagenforschung orientiert sich Evaluation an den konkreten Fragen von Entscheidungsträgern, z.B. in der Bildungspolitik und -verwaltung, aber auch von LehrerInnen, SchülerInnen und Eltern. Damit ist sie auf ein breiteres Spektrum an Methoden angewiesen, um zeitgerecht hilfreiche Information bereit zu stellen (Wikipedia, 2005).
Qualitätsevaluation bedeutet, Merkmale eines Lernangebots danach zu beurteilen und bewerten, ob bestimmte Standards und Normen des Designs erfüllt werden (Produktqualität) und ob damit erfolgreich gelernt werden kann (Lernpotenzial) (Tergan, 2003).
Evaluationsverfahren
Verfahren zur Evaluation von eLearning Szenarien gewinnen vor dem Hintergrund dieses mittlerweile in vielen Bildungsbereichen eingesetzten Mediums zunehmend an Bedeutung. Dabei sollen insbesondere der Erfolg und die Qualität der entwickelten Produkte bewertet und überprüft werden können. Eng damit verknüpft ist auch der Bereich Kosten und Nutzen von eLearning.
Zu Beginn sollte dazu nach Meister, Tergan & Zentel (2004) stets die eigentliche Zielsetzung der Evaluation genau festgehalten werden.
- Welche Funktion soll die Evaluation haben?
- Wird eher eine strategische Funktion im Rahmen der Weiterentwicklung des eLearning-Angebots, eine Kontroll- und Entscheidungsfunktion im Rahmen der Qualitätssicherung oder eine Erkenntnisfunktion im Rahmen der wissenschaftlichen Grundlagenforschung angestrebt?
- Welche Methoden sollen verwendet werden?
- Müssen für die Evaluation von eLearning Szenarien neue Evaluationsformen gefunden werden, oder reichen die bisherigen Evaluationsmodelle und –methoden aus?
Evaluation kann nun mit unterschiedlichen methodischen Ansätzen betrieben werden. Je nach Art der Zielsetzungen erweisen sich manche Ansätze als geeignet, andere als eher ungeeignet. Als mögliche Evaluationsansätze im Rahmen von eLearning bieten sich nach Meister et al. (2004) folgende an:
- Evaluation als wissenschaftliche Begleitforschung
- Formative Qualitätsevaluation
- Summative Qualitätsevaluation
- Evaluation zur Transfersicherung
- Qualitative/quantitative Methoden der Evaluation für das eLearning
- Expertenbeurteilung mittels Kriterienraster
- Konzeptionelles themenorientiertes Vorgehen
- Online-Evaluation
Tendenziell überwiegen laut Meister et al. (2004) in der Praxis quantitative Methoden, während qualitative Methoden weniger zum Einsatz kommen. Den Großteil dieser quantitativen Methoden nimmt wiederum der traditionelle Einsatz von Fragebögen ein.
Beispiele für Evaluationsverfahren
Nachfolgend soll zunächst die Internationale Ergonomie-Norm ISO 9241/10 vorgestellt werden. Im Anschluss wird näher auf vier weitere Verfahren zur Evaluation von eLearning Szenarien unter Angabe ihrer jeweiligen Vor- und Nachteile eingegangen.
Internationale Ergonomie-Norm ISO 9241/10
Eine besondere Rolle kommt im Rahmen der Evaluation von Software der Internationalen Ergonomie-Norm ISO 9241/10 zu. ISO 9241 stellt einen internationalen Standard dar, welcher Richtlinien der Interaktion zwischen Mensch und Computer beschreibt. Ziel dieser Richtlinien ist es, gesundheitliche Schäden beim Arbeiten am Bildschirm zu vermeiden und dem Benutzer die Ausführung seiner Aufgaben zu erleichtern. ISO 9241 gilt darüber hinaus auch als Standard zur Bewertung der Forderung nach Benutzerfreundlichkeit aus der Bildschirmarbeitsverordnung. Die Normenreihe beschreibt Anforderungen an die Arbeitsumgebung, Hardware und Software.
Im Rahmen dieses Standards kommen neben allgemeinen Angaben zur Software und zum Benutzer folgende Norm-Kriterien zur Anwendung:
- Aufgabenangemessenheit
- Selbstbeschreibungsfähigkeit
- Steuerbarkeit
- Erwartungskonformität
- Fehlertoleranz
- Individualisierbarkeit
- Lernförderlichkeit
In diesem Zusammenhang sind folgende PDF-Dokumente von besonderer Relevanz. Diese beinhalten detaillierte Informationen zur Internationalen Ergonomie-Norm 9241/10.
- Deutsche Fassung der Internationalen Ergonomie-Norm ISO 9241/10
- Fragebogen zur Beurteilung von Software auf Grundlage der Internationalen Ergonomie-Norm ISO 9241/10
Kriterienkataloge
Kriterienkataloge sind systematische Zusammenstellungen von Fragen und Einschätzungsskalen (Kriterien) zu den Merkmalen eines Lernangebotes. Sie dienen der Beurteilung der Qualität von Lernangeboten und zum Vergleich von verschiedenen Lernangeboten. Kriterienkataloge bieten daher auch eine Entscheidungsgrundlage für die Auswahl eines Lernangebotes. Nur beschränkt hingegen lassen sich durch Kriterienkataloge Rückschlüsse auf den zu erwartenden Lernerfolg mit dem jeweiligen eLearning Szenario ziehen (Tergan, 2003).
Kriterienkataloge als Evaluationswerkzeug bzw. Methode sind - aufgrund ihrer vielen Vorteile - weit verbreitet. Ziel ist es, eine möglichst unabhängige Bewertung unter Berücksichtigung verschiedener Aspekte (pädagogisch, lerntheoretisch und mediendidaktisch) zu erlangen (Benkert, 2001). Auch der Wunsch nach einer schnellen und kostengünstigen Inspektion eines Lernprogramms mittels einer Liste von Qualitätskriterien anstelle einer empirischen Überprüfung ist gerade in Zeiten von knappen Budgets verständlich. Viele Wissenschaftler bezweifeln wiederum, ob es überhaupt valide Merkmale gibt, d.h. Merkmale, die unabhängig vom Lehrstoff der Personengruppe und der Lernumgebung immer in gleicher Weise lernwirksam sind (Fricke, 2000).
Die folgende Tabelle stellt die Vor- und Nachteile nach Baumgartner (2004) gegenüber.
| Vorteile | Nachteile |
| Kosten (günstig in der Erstellung, der Durchführung und der Auswertung) | Vollständigkeit/Detaillierungsgrad (ständig werden neue Faktoren in die Diskussion einbezogen bzw. andere Faktoren weiter unterteilt) |
| Organisation (einfache Organisation) | Bewertungsverfahren (umstrittene Bewertung, Gliederung und Gewichtung der einzelnen Faktoren sowie Tendenz zur Subjektivität) |
| Vergleichbarkeit (aufgrund Nachvollziehbarkeit und weitestgehender Objektivität) | Theoretische Orientierungslosigkeit (keine zugrundeliegende Lerntheorie bzw. didaktische Einbindung wird nicht berücksichtigt) |
| Übergewicht an technischen Kriterien |
Einen sehr umfangreichen Kriterienkatalog stellt die "Erweiterte Prüfliste für Lernsysteme" (EPL) dar. Diese enthält ca. 250 Einzelkriterien und ist eine Weiterentwicklung der "Großen Prüfliste für Lernsoftware" (GPL) von Dorothea Thome. Diese ist als PDF-Dokument zur Evaluation von eLearning Szenarien verfügbar.
"Ziel der EPL wie der GPL ist die fachunabhängige Bewertung multimedialer Lernsysteme unter besonderer Berücksichtigung didaktischer (pädagogischer, lerntheoretischer und mediendidaktischer) Aspekte sowie Fragen der medialen Gestaltung, sowohl als Einzelbeurteilung von Lernsystemen als auch im Vergleich von Lernsystemen" (Benkert, 2001).
Kriterienkataloge wurden unter anderem entwickelt von Baumgartner (2004), Benkert (2001) und Schulmeister (2000).
Rezensionen
Unter dem Begriff "Rezensionen" werden Artikel oder Essays aus einschlägigen Online-Fachzeitschriften verstanden. Es zählen hier weniger die objektiven Fakten sondern die subjektiven Erfahrungswerte und Einschätzungen, vergleichbar mit Buchrezensionen. Da Rezensionen beträchtliche wirtschaftliche Auswirkungen haben können, kommen auch gelegentlich sogenannte Gefälligkeitsrezensionen vor, die ein Werk oder ein Produkt allzu positiv darstellen.
Für einen groben Überblick haben Rezensionen durchaus Sinn. Aufgrund ihrer Subjektivität und der uneinheitlichen Vorgehensweise ist jedoch eine Vergleichbarkeit nicht gegeben.
Die folgende Tabelle stellt die Vor- und Nachteile nach Baumgartner (2004) dar.
| Vorteile | Nachteile |
| Kosten (günstig in der Erstellung) | Subjektivität |
| Verfügbarkeit (sofort verfügbar, da auf Erfahrungswerte anderer zurückgegriffen wird) | uneinheitliche Prioritätenlegung |
| Aufbau (benötigen keinen Aufbau realer Lernsituationen) | Verfügbarkeit (geringe Vergleichbarkeit von Rezensionen, da uneinheitliche Vorgehensweise) |
Vergleichsgruppen
Zwei möglichst identische Gruppen (sollten sich nur in den zu untersuchenden Merkmalen unterscheiden) werden beispielsweise durch Elektronisches Prüfen/Testen von Lernzuwächsen hinsichtlich des Lernerfolges miteinander verglichen (per Fragebogen, etc.), welcher durch den Einsatz unterschiedlicher eLearning Szenarien erreicht wurde. Beispielsweise arbeitet eine Gruppe mit WeLearn und die andere Gruppe mit Moodle den gleichen Stoff durch.
Dieses Evaluationsverfahren entspricht "scheinbar" den Wissenschaftsstandards, jedoch sind die Ergebnisse sehr schwer zu interpretieren, da die einzelnen Variablen nur schwer zu isolieren sind. Auch die Konstruktion der Messinstrumente (Fragebogen, etc.) kann die Untersuchungsergebnisse wesentlich beeinflussen.
Die folgende Tabelle stellt die Vor- und Nachteile nach Baumgartner (2004) dar.
| Vorteile | Nachteile |
| Wissenschaftlichkeit (Objektivität, quantifizierbare Vergleichsgrößen) | hoher Erhebungs- und Auswertungsaufwand |
| Reproduzierbarkeit | Vergleichbarkeit der Gruppen |
| Schwierigkeit der Isolation einzelner Variablen |
ExpertInnenurteil
Hierbei kommen mehrere Experten beispielsweise in Form von einer moderierten Gruppensitzung zu einem gemeinsamen Urteil. Gerade bei neuen Themen und Anwendungen mit noch sehr geringer öffentlicher Verbreitung und Erfahrungswerten können ExpertInnenurteile von Vorteil sein.
Die folgende Tabelle stellt die Vor- und Nachteile nach Baumgartner (2004) dar.
| Vorteile | Nachteile |
| Erfahrungen geben Orientierung | Reliabilität (verschiedene ExpertInnengruppen kommen zu unterschiedlichen Resultaten) |
| setzen Qualitätsstandards bzw. -maßstäbe (Ansichten nicht unbedingt gleich mit Alltagssituationen der breiten Öffentlichkeit) | Operationalisierbarkeit (nicht voll operationalisierbar, die Urteile sind nicht nachvollziehbar und damit auch nicht wiederholbar) |
| Zeit- und Kostenvorteile | Fachexperten versus Evaluationsexperten |
Optimierung von Kriterienkatalogen
Kriterienkataloge sind wie bereits erwähnt aufgrund ihrer vielen Vorteile sehr weit verbreitete und häufig eingesetzte Evaluierungsmethoden. Um Evaluierungen durch Kriterienkataloge noch aussagekräftiger zu machen bzw. einige Nachteile zu umgehen, können zwei unterschiedliche Methoden angewendet werden (Baumgartner, 2004).
Numerische Gewichtung und Summierung (NGS)
Das Numerische Gewichten und Summieren (NGS) ist zur Zeit das am weitesten verbreitete und eingesetzte Modell für komplexe Produktevaluationen. Insbesondere bei der Bewertung von Lernsoftware in Form von Check- oder Prüflisten kommt es sehr oft zur Anwendung.
- Vorgangsweise
Zunächst müssen die einzelnen Dimensionen (Kriterien) nach ihrer relativen Wertigkeit gewichtet werden. Anschließend werden die Leistungen der Evaluanden (die zu evaluierenden Lernplattformen) in den jeweiligen Dimensionen eingeschätzt bzw. benotet (Rating). Diese beiden Werte (die Leistungsbewertung und deren Gewichtung) werden abschließend miteinander multipliziert und diese Produkte eines Evaluanden am Ende summiert. Der Wert bzw. die Leistung jedes Evaluanden wird so durch eine einzige Zahl angegeben. Je größer diese Zahl ist, desto besser ist auch der Evaluand. Das NGS-Verfahren hat einen sehr hohen Verbreitungsgrad, da es auf der einen Seite relativ einfach umzusetzen und leicht verständlich ist und auf der anderen Seite immer zu einem eindeutigen Ergebnis kommt.
- Probleme
Auch wenn dieses Verfahren schon eine eindeutige Verbesserung zu normalen, herkömmlichen Kritierienkatalogen darstellt, so hat dieses Modell auch einige methodische Mängel. Einige Merkmale/Dimensionen machen beispielsweise erst ab einem bestimmten Wert (Mindestanforderung bzw. Minimalwert) Sinn, niedrigere Werte dürften eigentlich nicht mit in die Bewertung einfließen. Ein anderes Problem stellen Bewertungskriterien dar, die miteinander interagieren und daher eigentlich nicht getrennt bewertet werden dürfen. Ein grundsätzliches methodisches Problem liegt in der Annahme einer linearen Skala. Das NGS-Verfahren liefert zur Bewertung aber eine Ordinalskala (Noten), die es eigentlich verbietet, Additionen und Multiplikationen durchzuführen (Baumgartner, 2004).
Qualitative Gewichtung und Summierung (QGS)
Mit dem QGS-Verfahren lassen sich viele der oben beschriebenen Nachteile des NGS-Verfahrens beseitigen. Es stellt ein qualitatives Bewertungsverfahren auf Basis eines paarweisen Vergleichs dar. Das QGS-Verfahren ist jedoch im Vergleich zum NGS-Verfahren komplexer und schwieriger zu verstehen.
Zunächst wird hier für jedes einzelne Kriterium nur eines von fünf Gewichten vergeben. Es haben sich hierfür nicht-ziffernartige Symbole bewährt, damit gleich von Anfang an eine Intervall- oder Ratioskala ausgeschlossen wird. In der Literatur hat sich folgende Einteilung durchgesetzt.
| essential / essentiell | E |
| very valuable / äußerst wichtig | * |
| valuable / wichtig | # |
| marginally valuable / weniger wichtig | + |
| zero / nicht wichtig | 0 |
Damit werden einerseits die Gewichte der einzelnen Kriterien festgelegt und weiters auch bestimmt, welche Merkmale Mindestanforderungen (Essentials) darstellen.
Alle Zero-Kritieren (0) sind ohne Gewicht, sie sind daher auch für die Bewertung irrelevant und können gestrichen werden. In einem weiteren Schritt wird überprüft, ob alle Evaluanden die als Minimal-/Mindestanforderungen bewerteten Dimensionen (Essentials, E) erfüllen. Falls nicht, werden auch diese Evaluanden aus dem Evaluationsverfahren ausgeschlossen.
Nun ist jedes einzelne Kriterium jedes Evaluanden zu bewerten, wobei der Wert im Bereich von Zero (0) bis zur maximalen Gewichtung des Kriteriums liegen muss. D.h. einer als äußerst wichtig (*) gewerteten Dimension kann nur ein Wert von 0 bis * zugewiesen werden.
Abschließend werden für jeden der Evaluanden die Summen der Kriterien, die mit gleicher Wertigkeit bewertet wurden, gebildet (Summe aller mit *, # und + bewerteten Kriterien). Als Ergebnis des QGS-Verfahrens liegen dann für jeden Evaluanden diese drei Werte vor (die Summe der *, die Summe der # und die Summe der +).
Je höher der Wert bei einem dieser Kriterien ist, desto besser hat der Evaluand abgeschnitten, wobei zu beachten ist, dass mit * bewertete Merkmale wichtiger als # und #-Merkmale wichtiger als + sind (Baumgartner, 2004).
Durchführung von Evaluationsverfahren
Anhand von zwei Studien soll gezeigt werden, wie Evaluationsverfahren von eLearning Szenarien in der Praxis durchgeführt werden.
Evaluation von Learning Management Systemen
Diese Studie des Bundesministeriums für Bildung, Wissenschaft und Kultur wurde 2002 durchgeführt. Das Projektziel wurde dabei definiert als "Ein durch qualitative und quantitative Untersuchungsmethoden fundiertes Ranking von Learning-Management-Systemen, das den Aufbau eines Web-Portals mit allen Bildungsangeboten der österreichischen Bildungsanbieter (öffentliche & private) im Sinne von "learning on demand" unterstützt. Das Ranking basiert sowohl auf den Anforderungen, welche von Expertenseite formuliert werden, als auch auf den Bedürfnissen der Praxis" (BMBWK, 2002).
Das Evaluationsdesign gliederte sich in zwei große Projektphasen. In der ersten Phase wurden von den 90 am Markt befindlichen Learning Management Systemen (LMS) 15 herausgefiltert. Dies stellt somit die theoretische Fundierung und qualitative Operationalisierung der Evaluation dar und wird in den Evaluationsschritten 1-5 (siehe Abbildung) genauer erläutert. In der zweiten Projektphase sollen die Learning Management Systeme schließlich einem Usability Test und einer Anwenderbefragung unterzogen werden, wodurch der Schwerpunkt hier vornehmlich auf der quantitativen Überprüfung der Praxistauglichkeit der Evaluanden liegt (BMBWK, 2002).
Diese Studie wurde zur Gänze im Internet dokumentiert und ist zu erreichen unter Evaluation von Learning Management Systemen.
Evaluierung von Open Source eLearning-Plattformen
Im Gegensatz dazu wurde diese Studie an der TU Graz im Wintersemester 2003/2004 durchgeführt. Hier wurden 8 Open Source eLearning Plattformen evaluiert. Dies waren Atutor, CHEF, Fle3, ILIAS, Moodle, OpenUSS, SEGUE und Thebes. Die Evaluation wurde mit Hilfe von Fragebögen, die teilweise im Team und teilweise einzeln auszufüllen waren, durchgeführt.
Auch diese Evaluierungsstudie wurde im Web dokumentiert und ist unter Evaluierung von Opensource eLearning Plattformen zu finden.
Kritik an Evaluationsverfahren
Allgemeine Kritik an in der Praxis vorgefundenen Methoden der Qualitätsevaluation von Lernumgebungen bezieht sich laut Tergan (2003) auf folgende Aspekte.
- Unangemessene Methoden
Methoden der Qualitätsevaluation gründen nicht selten auf unrealistischen Annahmen über effektive Bedingungen für erfolgreiches Lernen. Eine oftmals getroffene aber unrealistische Annahme besteht hinsichtlich des Zusammenhangs zwischen der Gestaltung der Lernumgebung und dem Lernerfolg (optimale Gestaltung der Lernumgebung führt zu optimalen Lernprozessen, und dies führt zu einem optimalen Lernerfolg). Laut Tergan (2003) gibt es keinen kausalen Zusammenhang zwischen objektiven Merkmalen eines Lernangebotes/-szenarios und den damit erzielten Lernerfolgen.
- Medienmerkmale werden in ihrer Wirkung übergewichtet
Einerseits wird der Wechselwirkung zwischen Medienmerkmalen, Lernvoraussetzungen und Lernkontext zu wenig Rechnung getragen. Andererseits werden Lernende als passiv Reagierende statt als aktiv Lernende gesehen, denn auch die Lernenden selbst bestimmen die Qualität eines Lernangebots. Die Qualität einer Lernsoftware wird erst in der Anwendungssituation selbst, also durch das Lernen mit ihr und durch die Aktivitäten des Lernenden selbst, hergestellt (Tergan, 2003).
Diskussion
War die Evaluation von Lernangeboten bis vor wenigen Jahren noch auf die Evaluation von traditionellen Unterrichtsformen konzentriert, so tritt mit zunehmender Akzeptanz und steigender Integration von eLearning Szenarien in der Lehre auch die Evaluation dieser Medien in den Mittelpunkt des Interesses. Die Schlagwörter scheinen hier "Qualität", "Effektivität", "Kosten" und "Nutzen" zu sein.
Doch welche Zusammenhänge und Rahmenbedingungen gilt es bei der Evaluation zu berücksichtigen? Wie kann diesen bestehenden Zusammenhängen und Rahmenbedingungen methodisch Rechnung getragen werden? Wie kann die Implementierbarkeit von eLearning-Angeboten valide eingeschätzt werden? Dies sind Fragen, die sich bei Meister et al. (2004) für die Zukunft aufdrängen.
Der Bereich der Evaluation von eLearning Szenarien wird in naher Zukunft vermutlich nicht an Relevanz verlieren. Da vermehrt eLearning-Produkte eingesetzt werden und deren Angebot für viele Anwender bereits unüberschaubar scheint, werden sinnvolle Evaluationsverfahren eine unterstützende Funktion in der Entscheidungsfindung für oder gegen den Einsatz bestimmter Szenarien einnehmen.
Kontrollfragen
Frage 1: Was versteht man unter Evaluation (im Bildungsbereich)?
Frage 2: Welche Methoden zur Evaluierung von eLearning Szenarien wurden in diesem Kapitel erläutert? Beschreiben Sie diese kurz.
Frage 3: Was versteht man unter NGS und QGS? Erläutern Sie eines dieser Verfahren genauer.
Literaturverzeichnis
Baumgartner, P., Häfele, H., Maier-Häfele K. (2004).
Content Managementsysteme in e-Education
Auswahl, Potenziale und Einsatzmöglichkeiten. Innsbruck-Wien, StudienVerlag.
Baumgartner, P., Häfele, H., Maier-Häfele K.(2003).
Evaluationsverfahren für den Vergleich virtueller Lernplattformen.Planung und Gestaltung neztbasierter Weiterbildung.(S.219-236). Bielefeld: Bertelsmann.
Baumgartner, P., Häfele H., Maier-Häfele K. (2002).
Theorie - Durchführung - Ergebnisse
In: Handbuch E-Learning. A. Hohenstein und K. Wilbers. Köln: Fachverlag Deutscher Wirtschaftsdienst.
Benkert, S. (2001).
Erweiterte Prüfliste für Lernsysteme – Kriterienkatalog zur (vergleichenden) Beurteilung multimedialer Lernsysteme. [WWW-Dokument]. URL
http://homepages.compuserve.de/StephanBenkert/Promotion/EPL.htm [Zugriff: 23.11.2005].
Bundesministerium für Bildung, Wissenschaft und Kultur (BMBWK). (2002). Evaluation von Learning Management Systemen.
[WWW-Dokument]. URL http://virtual-learning.qualifizierung.com/evalplattform.htm [Zugriff: 23.11.2005].
Eigenstuhler, G., Mödritscher, F., Garcia, V. (2003/04).
Evaluierung von Open Source E-Learning-Plattformen. Untersuchungen im Rahmen des Forschungsprojektes AdeLE (Adaptive e-Learning with Eye-tracking). TU Graz.
[WWW-Dokument]. URL http://www2.iicm.edu/cguetl/research/opensource_elearning_systems/Evaluierungsstudie.html#_Toc68426149, [Zugriff: 23.11.2005].
Fricke, R. (2001).
Technische Universität Braunschweig, Abtlg. Empirische Pädagogik
überarbeitete Fassung für die 3. Auflage des Buches Issing, L.J. & Klimsa, P. Information und Lernen mit Multimedia. Weinheim, Beltz. [WWW-Dokument]. URL
http://www.tu-braunschweig.de/Medien-DB/empaed/Eval-Multimedia.pdf [Zugriff: 10.12.2005].
Fricke, R. (2000).
Qualitätsbeurteilung durch Kriterienkataloge. Auf der Suche nach validen Vorhersagemodellen.
Technische Universität Braunschweig
Beitrag für: Schenkel, P., Tergan, S.-O. & Lottmann, A. (Hrsg.) (2000)
Qualitätsbeurteilung multimedialer Lern- und Informationssysteme; Evaluationsmethoden auf dem Prüfstand. Nürnberg: Verlag Bildung und Wissen.
[WWW-Dokument]. URL http://www.tu-braunschweig.de/Medien-DB/empaed/Quali-8.pdf, [Zugriff: 10.12.2005].
Meister, D.M., Tergan, S.-O. & Zentel, P. (2004). Evaluation von E-Learning.
Zielrichtungen, methodologische Aspekte, Zukunftsperspektiven. Wiesbaden: VS Verlag.
Schulmeister R. (2000).
Selektions- und Entscheidungskriterien für die Auswahl von Lernplattformen und Autorenwerkzeugen
[WWW-Dokument]. URL http://serverprojekt.fh-joanneum.at/sp/material/plattformen.pdf [Zugriff: 07.12.2005].
Schwarz, Ch. (2001).
Evaluation von e-Learning in der Hochschullehre : ein Experimentierfeld im Experimentierfeld. [WWW-Dokument]. URL http://www.wa.uni-hannover.de/wa/WIR/schwarz/Experimentier_Aufsatz.pdf [Zugriff: 07.12.2005].
Tergan, S. (2003).
Realistische Evaluation des Lernpotenzials von E-Learning
Institut für Wissensmedien (IWM)Tübingen
[WWW-Dokument]. URL http://www.iwm-kmrc.de [Zugriff: 10.12.2005].