Honorary award
for the best digital educational media.

Honorary award
for the best digital educational media.

 Evaluierung von
Didaktischen digitalen Medien (DDM)

Didaktische digitale Medien (DDM)

sind Träger von Informationen über Gegenstände und Prozesse und Mittel der Kommunikation zwischen allen Beteiligten. Sie sind pädagogisch bzw. didaktisch strukturiert, für den Einsatz in Lehr- und Lernprozessen konzipiert und stehen auf diversen elektronischen und digitalen Datenträgern (Internet, Cloud, USB, hybride Produkte etc.) zur Verfügung. Sie werden in didaktisch intendierten pädagogischen Funktionszusammenhängen genutzt und sollen es den Lehrenden und Lernenden ermöglichen, ihre Handlungskompetenzen (als fachliche, soziale und personelle Kompetenz) zu entwickeln. Der Begriff kennzeichnet eine Vielzahl von Produkten aus dem Computer-, Telekommunikations-, Internet- sowie Hörfunk- und Fernsehbereich. Didaktische digitale Medien werden auch als direktionale DMP bzw. didaktisch intendierte Medienprodukte, wie Internetangebote, hybride Medienprodukte, CD-ROM oder DVD charakterisiert. Zur Evaluation von digitalen und analogen Bildungsmedien wurde die Methode – Evaluation mit Hilfe eines Bewertungssystems und von Qualitätskriterien (Comenius-Bewertung) – gewählt. Vorteil dieser Methode ist es, dass sie leicht handhabbar, einfach zu organisieren sowie zeit- und kostensparend ist. Die Evaluation mit einem Bewertungssystem und mit Qualitätskriterien kann nicht die tatsächlichen Lernsituationen und Lernbedingungen vorwegnehmen. Mit dieser Methode der Evaluation werden die potenziellen Möglichkeiten für den Einsatz eines Mediums gut bestimmt. Auf die Wirksamkeit des Mediums kann damit aber nicht direkt geschlossen werden, da der Erfolg des Lernprozesses neben dem Medium noch von vielen weiteren Faktoren wie Lernumgebung und Lernsituation abhängig ist. Qualitätsanforderungen und Qualitätskriterien, die in der Bildungspraxis angewendet werden können, müssen gut strukturiert und übersichtlich konzipiert sein. Sie müssen Wesentliches betonen und Nebensächliches weglassen. Aus dieser Sicht wurden zur Bewertung von didaktischen digitalen Medienprodukten vier Evaluierungsbereiche konzipiert. Sie unterstreichen pädagogische, didaktische und mediale Akzentuierungen und umfassen folgende vier Evaluierungsbereiche.

 

Evaluierungsbereiche
  • Evaluierungsbereich I: Pädagogisch-inhaltliche Evaluierung
  • Evaluierungsbereich II: Didaktisch-methodische Evaluierung
  • Evaluierungsbereich III: Medial-gestalterische Evaluierung
  • Evaluierungsbereich IV: Organisatorisch-technische Evaluierung
Evaluierungsbereich I: Pädagogisch-inhaltliche Evaluierung
Anforderungen an Bildungsabsichten und Bildungsmöglichkeiten von didaktischen digitalen Medienprodukten

Die pädagogisch-inhaltliche Evaluierung befasst sich mit den grundlegenden Kategorien von Bildung, mit den Zielen, Inhalten und Kompetenzen und analysiert die Bildungsabsichten und Bildungsmöglichkeiten von didaktischen digitalen Medienprodukten. Das Setzen und Realisieren von Zielen und Teilzielen sind Grundvoraussetzungen und Orientierungen für erfolgreiches Lernen. Welche Kenntnisse, Werte und Kompetenzen auf den verschiedenen Lernwegen im Zusammenhang mit der Zielgruppe erworben werden sollen sind deshalb grundlegende Fragen für eine pädagogisch-inhaltliche Evaluierung von didaktischen digitalen Medienprodukten. Eng damit verbunden ist die Frage, welche Inhalte bzw. Stoffe, wie Fakten, Regeln, Begriffe, Gesetze, Methoden Relationen geübt, gelernt und angeeignet werden sollen. Die Evaluierung zur Beurteilung der Bildungsabsichten und Bildungsmöglichkeiten von didaktischen digitalen Medienprodukten ist deshalb ein übergreifender Ansatz, der den Evaluierungsbereich konstituiert. Die pädagogisch-inhaltliche Evaluierung steht an erster Stelle in der Gesamtevaluierung und befasst sich mit den den nachfolgenden Qualitätskriterien.

Qualitätskriterien dieses Evaluierungsbereiches

1. Lernziel
2. Lerninhalt
3. Zielgruppe
4. Innovation
5. Handlungskompetenzen
6. Werte

Qualitätskriterien und Prüfaspekte

 

1. Lernziel
  • Im didaktischen digitalen Medienprodukt sind die Lernziele für den Nutzer erkennbar und werden in realisierbaren, lernlogisch aufbauenden und didaktisch-zweckmäßigen Teilzielen und Arbeitsschritten umgesetzt.
  • Die Lernziele müssen auf den Erwerb qualifizierter Handlungskompetenzen ausgerichtet sein und den jeweiligen Bildungsgängen entsprechen.
  • Alle Ziel- und Inhaltskomponenten (kognitive, affektive, psychomotorische, sozial-kommunikative) sind mit der Gesamtkonzeption abgestimmt.
2. Lerninhalt
  • Die Lerninhalte ermöglichen das Erreichen der vorgesehenen Lernziele des didaktischen digitalen Medienprodukts.
  • Der Lerngegenstand wird sachlich und wissenschaftlich korrekt dargestellt (Struktur, Auswahl, Menge und Dichte sowie Verknüpfung von Informationen, wesentliche Aussagen mit Bezug zum Allgemeinheitsgrad und zur Abstraktionsebene).
  • Auswahl und Vermittlung des Lerninhalts sind aus pädagogischer Sicht zweckmäßig.
  • Die Lerninhalte sind mit entsprechenden Bildungsprogrammen abgestimmt.
  • Begriffe und Termini werden einheitlich, zweckmäßig und logisch richtig verwendet.
3. Zielgruppe
  • Lerninhalte und Lernziele sind zielgruppengerecht.
  • Lerninhalte und Lernziele können von den Lernenden gewählt werden und entsprechen ihren Voraussetzungen und Interessen.
  • Notwendige Vorkenntnisse und Fähigkeiten der Zielgruppe werden berücksichtigt (Wissen und Können, Emotionen und Haltungen, Aufmerksamkeits- und Konzentrationsvermögen, sozial-kulturelles Umfeld).
  • Möglichkeiten für individuelles und kooperatives Lernen sind adressatengerecht angelegt.
4. Innovation
  • Die Thematik oder die Art ihrer Realisierung des didaktischen digitalen Medienprodukts sind neuartig und progressiv. 
  • Lerninhalte und Lernziele entsprechen dem aktuellen Stand der Forschung und der Entwicklung und Fachdiskussion.
  • Es gibt pädagogische Vorteile des Medienprodukts gegenüber anderen Umsetzungsformen.
  • Der inhaltliche Schwerpunkt liegt vor allem bei einem spezifischen Fach-bzw. Themenbereich oder ist interdisziplinär angelegt.
  • Das Produkt kann als inhaltlich gelungenes didaktisches digitales Medienprodukt bzw. digitales interaktives Bildungsmedium, Lehrmittel, Lernmittel, Arbeitsmittel oder Edutainment- bzw. Infotainment-Programm charakterisiert werden.
5. Handlungskompetenz
  • Die Arbeit mit dem didaktischen digitalen Medienprodukt fördert selbständiges, kritisches, multiperspektivisches und flexibles Denken und Handeln in sozialen, ethischen und kulturellen Kontexten.
  • Das Medienprodukt ermöglicht selbständige Entscheidungen zur Bewältigung der Aufgabenstellung.
  • In dem Medienprodukt sind Möglichkeiten zum kreativen Gestalten und zur Interaktivität angelegt.
6. Werte
  • Die Arbeit mit dem didaktischen digitalen Medienprodukt fördert humane Gedanken und Werte.
  • Die angezielten Werte und Normen fördern solidarisches Verhalten.
  • Die angezielten Werte und Normen sind frei von gewaltverherrlichenden, radikalen oder obszönen Darstellungen, ideologischer Beeinflussung, negativen Vorurteilen und gezielter Manipulation.
  • Der Inhalt ist frei von engem geschlechtsspezifischen Rollendenken und Vorurteilen.
  • Das digitale Medienprodukt fördert ethische Bildung.
Evaluierungsbereich II: Didaktisch-methodische Evaluierung
Anforderungen an Lernarrangements und Lernmöglichkeiten von didaktischen digitalen Medienprodukten

Die didaktisch-methodische Evaluierung befasst sich mit wesentlichen Aspekten des Lehrens und Lernens und analysiert, welche Lernarrangements und Lernmöglichkeiten mit dem didaktischen digitalen Medienprodukt verfolgt werden. Die Didaktik als Wissenschaftsdisziplin der Pädagogik beschäftigt sich mit den Regeln des Lernens und den Zusammenhängen zwischen Lernen und Lehren. Unter didaktisch-methodischer Fragestellung wird nach der Methode sowie der Art und Weise der Vermittlung und der Aneignung von Kenntnissen und Kompetenzen gefragt. Die didaktisch-methodische Evaluierung von didaktischen digitalen Medienprodukten bildet deshalb einen zweiten wesentlichen Evaluierungsbereich und strukturiert die Antworten und Kriterien auf die Fragestellung, welche Lernarrangements und Lernmöglichkeiten mit dem didaktischen digitalen Medienprodukt verfolgt werden. Diesem Evaluierungsbereich können die nachfolgenden Qualitätskriterien zugeordnet werden.

Qualitätskriterien dieses Evaluierungsbereiches

1. Didaktische Grundsätze
2. Didaktische Regeln und Verfahren
3. Vermittlungs- und Lernformen
4. Didaktische Schritte
5. Lernsteuerung
6. Interaktionsstrukturen.

 

Qualitätskriterien und Prüfaspekte

 

1. Didaktische Grundsätze
  • Dem didaktischen digitalen Medienprodukt liegt ein erkennbarer lerntheoretischer Ansatz zugrunde, beispielsweise ein eher objektivistischer, konstruktivistischer, traditionalistischer, wissenschaftsorientierter oder handlungsorientierter Ansatz.
  • Der lerntheoretische Ansatz ist zweckmäßig umgesetzt.
  • Nach didaktischen Gesichtspunkten sind die Bildungsinhalte sinnvoll ausgewählt und begründet.
  • Entsprechend dem Bildungsanliegen wurde ggf. eine zweckmäßige didaktische Reduktion vorgenommen.
2. Didaktische Regeln und Verfahren
  • Grundlegende didaktische Regeln und Verfahren sind in dem digitalendidaktischen Medienprodukt erkennbar und wurden eingehalten, wie
    – Fasslichkeit
    – Wissenschaftlichkeit
    – Folgerichtigkeit
    – Anschaulichkeit
    – Vom Allgemeinen zum Besonderen
    – Vom Einfachen zum Komplizierten
    – Vom Leichten zum Schweren
    – Vom Nahen zum Entfernten
    – Vom Bekannten zum Unbekannten
    – Verbindung des Konkreten mit dem Abstrakten.
  • Logische Lernverfahren, wie Analysieren, Synthetisieren, Vergleichen, Differenzieren, Generalisieren, Abstrahieren, Verallgemeinern, Ordnen, Konkretisieren sind in dem Medienprodukt angelegt und werden gefördert.
3. Vermittlungs- und Lernformen
  • Methodische Grundformen der Vermittlung (Darbietende, Aufgebende, Erarbeitende Formen) werden in dem digitalen didaktischen Medienprodukt angewandt.
  • Mögliche und sinnvolle Kooperationsformen der Vermittlung, wie. Frontale Vermittlung, Partnerlernen, Gruppenlernen bzw. Einzellernen, wurden berücksichtigt.
  • Das Medienprodukt ermöglicht bezogen auf Lernformen individuelles und kooperatives Lernen. Individuelles Lernen kann mit kooperativem Lernen verbunden werden. Individuelles Lernen wird sinnvoll mit unterhaltsamen Formen bzw. Spielen verbunden.
  • Das Medienprodukt ist vorrangig für einen bzw. mehrere Einsatzbereichegeeignet, wie:
    – Einzelnutzer oder für die Nutzung in Gruppen einschließlich Online-Gruppen
    – Nachmittagsbeschäftigung / Projektunterricht / Fachunterricht /Freiarbeit / Vertretungsstunden / Einzelarbeit.
    – Ausbildung, Weiterbildung, lebenslanges Lernen.
  • Die Einsatzbereiche sind erkennbar und realisierbar.
4. Didaktische Schritte
  • Wesentliche didaktische Schritte, die einen optimalen Lernprozess ermöglichen, werden in dem digitalen didaktischen Medienprodukt folgerichtig angewandt:
    – Einführung (Zielstellung und -orientierung, Motivierung, Reaktivierung)
    – Arbeit am neuen Stoff / Erstvermittlung / Einführung
    – Festigung (Einprägen, Wiederholen, Üben)
    – Systematisierung, Anwendung,
    – Kontrolle, Evaluierung.
  • Mit den didaktischen Schritten können die Bildungsabsichten sinnvoll und zweckmäßig erreicht werden.
  • Die vorgesehenen didaktischen Schritte ermöglichen unterschiedliches Arbeiten der Nutzer in Schwierigkeitsgrad und Tempo.
5. Lernsteuerung
  • Die Steuerung der Lernhandlung erfolgt in dem digitalen didaktischen Medienprodukt übersichtlich und selbsterklärend.
  • Die Abarbeitung von Lernschritten erfolgt emotional anregend und motivierend.
  • Aufgabenstellungen, Antwortformen und weitere Lernaktivitäten sind dem Anliegen entsprechend sachlich richtig und sinnvoll gestaltet sowie in Kombination von Text und Bild verständlich und klar.
  • Die Aufgabenbearbeitung ist variabel und reduziert sich nicht nur auf mechanisches Abarbeiten. Der Lernweg kann selbst bestimmt werden. Die Antwortgestaltung ist variabel und kann wahlweise durch akustische oder grafische Hinweise bzw. Korrekturen unterstützt werden.
  • Die Übungen und Wiederholungen sind abwechslungsreich und erfolgen variabel.
  • Verzweigungen erfolgen aus didaktischen Überlegungen und entsprechen den Anforderungen der Zielgruppe.
  • Spiele und andere Unterhaltungselemente stehen in erkennbarem Zusammenhang mit der Bildungskonzeption. Das Medienprodukt ermöglicht abwechslungsreiches Lernen und beschränkt sich nicht nur auf Unterhaltung.
6. Interaktionsstrukturen
  • Das didaktische digitale Medienprodukt ermöglicht interaktives Arbeiten, Veränderung von Aufgabenstellungen und flexibles Reagieren entsprechend der unterschiedlichen Lernbedürfnisse und Lernvoraussetzungen. Rückmeldungen werden in variablen Formen, motivierend und effektiv angeboten.
  • Das Medienprodukt reagiert auf den Lernverlauf, indem der individuelle Leistungsstand analysiert wird und entsprechende Verzweigungen empfohlen werden.
  • Verzweigungen werden nach Antwort- und Lernverlaufsanalyse automatisch eingeschlagen und können frei gewählt werden. Verzweigungen sind in angemessener und überschaubarer Anzahl vorhanden. Durch Verzweigungen werden unterschiedlich schwierige und variierte Aufgabenformen angeboten.
  • Interaktivität zwischen Nutzer und Medienprodukt wird ermöglicht indem Aufgaben und Arbeitsaufträge gestellt, Lösungen gefordert und die Entwicklung von Lösungsstrategien gefördert werden.
  • Die Interaktivität wird unterstützt
    – durch Abhängigkeit des Programmfortgangs von den Beiträgen und Aktivitäten des Nutzers,
    – durch Auslösen von Aktivitäten des Nutzers, z.B. Sammeln von Daten, Erweitern von Informationen,
    – durch Bereitstellung von Daten für die weitere Bearbeitung,
    – durch Fehlermeldungen mit Sachbezug,
    – durch sachliche und variable Bestätigung von Arbeitsergebnissen,
    – durch Realisierung von LINKS zu anderen Medien bzw. durch Belohnungssysteme (Bestenliste, Spiele usw.).
  • Leistungsstand und Lernverlauf des Nutzers werden übungsbegleitend ermittelt und sachgerecht, motivierend und ermutigend mitgeteilt. Die Evaluierung der Leistungsergebnisse ist fachlich und didaktisch korrekt und sinnvoll.
  • Die Leistungsauswertungen im Medienprodukt sind fachlich und pädagogisch sinnvoll. Die Feststellung von Leistungsergebnissen ist statistisch korrekt.
  • Für Leistungsauswertungen werden zweckmäßige Möglichkeiten (wie Text, Ton, Grafik, Animation) angeboten. Falsche Lösungen werden in unterschiedlicher und variabler Weise kenntlich gemacht. Rückmeldungen falscher Lösungen erfolgen in motivierender Weise und bewerten die Antwort und nicht die Person.
Evaluierungsbereich III: Medial-gestalterische Evaluierung
Anforderungen an Design und Gestaltung von didaktischen digitalen Medienprodukten

Die medialen Anforderungen zur Beurteilung von Design und Gestaltung von didaktischen digitalen Medienprodukten befassen sich mit der Fragestellung, inwieweit die Umformung einer Idee zu einem ästhetisch und funktionell anspruchsvollen Ergebnis gelungen ist. Es handelt sich hierbei um die Beurteilung der formgerechten und funktionalen Gestaltung. Die medialen Anforderungen zur Beurteilung von Design und Gestaltung stehen in engem Zusammenhang mit medienpädagogischen und mediendidaktischen Fragestellungen, stellen aber eine eigenständige dritte Kriteriengruppe dar. Design und Gestaltung von didaktischen digitalen Medienprodukten können wesentlichen Einfluss auf wichtige Fähigkeiten des Lerners nehmen, wie Wahrnehmungsfähigkeit, Vorstellungsvermögen, konstruktiv- produktives Denken, sensibles Erfassen ästhetischer Werte und Umstrukturierungsfähigkeit. Die Verwendung der verschiedenen medialen Elemente zur medialen Aufbereitung von Lerninhalten muss als Ganzes betrachtet werden und die einzelnen Elemente in Bezug auf ihre Funktion und ihr Zusammenwirken mit den anderen Formen überprüft werden (vgl. Zimmer, G.: E-Learning, BW Bildung und Wissen 2004, S. 103.). Der medial-gestalterischen Evaluierung werden die folgenden Qualitätskriterien zugrunde gelegt.

Qualitätskriterien dieses Evaluierungsbereiches

1. Inhaltsadäquate Gestaltung
2. Adressatengerechte Gestaltung
3. Bildschirmgestaltung
4. Visuelle Gestaltung
5. Auditive Gestaltung
6. Sprachliche Gestaltung

Qualitätskriterien und Prüfaspekte

 

1. Inhaltsadäquate Gestaltung
  • Die Gestaltung (Farben, Typographie, nicht-textuelle Elemente etc.) des didaktischen digitalen Medienprodukts wurde inhaltsadäquat (z.B. Zeichnungen für Kinder, „kalte“ Farben für Winter etc.) vorgenommen.
  • Die Medienart (Video, Bilder, Text etc.) wurde entsprechend dem Inhalt zweckmäßig gewählt (Videos für Bewegungsabläufe, Audioaufzeichnungen für Musik und Sprache).
  • Die Lerninhalte sind mit den Möglichkeiten der Medienart (mediales und grafisches Design) abgestimmt.
  • Es wurde die dem Inhalt gemäße multisymbolische Darstellungsform gewählt. Die multisymbolischen Darstellungsformen (Texte, Grafiken, Bilder, Videos, Audios etc.) sind korrekt und entsprechen ästhetischen Gesichtspunkten.
2. Adressatengerechte Gestaltung
  • Das didaktische digitale Medienprodukt wurde adressatengerecht gestaltet.
  • Unterschiedlichen Adressatengruppen werden verschiedene graphische und mediale Gestaltungskonzepte gewidmet.
  • Die Gestaltung ist den Bedürfnissen des Benutzers angepasst. (Buchstabengröße, Kontraste, Untertitel etc.).
  • Darstellungsformen des Inhalts wie Sprache, Ton, Bild, Animation sind zielgruppengemäß. Benutzer können selbst Inhalte strukturieren. (betonen, überspringen etc.) und hinzufügen.
  • Barrierefreiheit wurde bei der Gestaltung berücksichtigt.
3. Bildschirmgestaltung
  • Die Benutzeroberfläche des didaktischen digitalen Medienprodukts ist klar, übersichtlich, zutreffend und verständlich. Die Informationsmenge je Bildschirmseite ist der entsprechenden Zielgruppe angemessen. Der Bildschirmaufbau weist eine angemessene Detailliertheit auf.
  • Die technische Qualität der Bildschirmseiten ist durch klare Auflösung, gleichmäßige Leuchtdichte und gute Kontraste charakterisiert.
  • Text- und Bildteile stehen auf den Bildschirmseiten in einem funktionalen und ästhetischen Zusammenhang.
  • Jede Bildschirmseite ist für sich durch einen inhaltlichen Zusammenhang abgeschlossen.
  • Betrachtungszeit und Bearbeitungszeit für eine Bildschirmseite können frei gewählt werden.
  • Die Bildschirmgestaltung spricht den Benutzer rational und emotional an. Sie ist im Detail und in der Gesamtheit eine Einheit.
4. Visuelle Gestaltung
  • Die Textgestaltung des didaktischen digitalen Medienprodukts ist übersichtlich, gut erkennbar und lesbar. Textdarstellungen und Verknüpfungen stehen mit Bildungsinhalten in engen funktionalen Zusammenhängen. Textdarstellungen sind übersichtlich aufgebaut und heben wesentliche Informationen hervor.
  • Grafiken, Bilder, Symbole und Farben sind verständlich, sinnvoll, ästhetisch ansprechend, motivierend und qualitätsgerecht produziert. Sie stehen in einem engen funktionalen Zusammenhang mit den Bildungsabsichten. Sie zeichnen sich durch klare Linien, Formen, Kontraste und Verständlichkeit aus.
  • Durch sinnvollen Einsatz von visuellen Elementen wie Farbgestaltung werden Lerninhalte betont, Lernprozesse erleichtert und die Zielgruppe motiviert.
  • Die Animationen und Videos sind verständlich, sinnvoll und motivierend. Die verwendeten Animations- und Videosequenzen sind zur Darstellung und zum Verstehen des Lerninhalts erforderlich bzw. unterstützen nachhaltig. Animationen und Videos haben ein zielgruppenadäquates Niveau und motivieren die Adressaten.
5. Auditive Gestaltung
  • Die akustischen Elemente des didaktischen digitalen Medienprodukts wie Sprache, Musik, Töne, Geräusche u.a. sind sinnvoll, verständlich und motivierend.
  • Die auditive Gestaltung unterstützt die Aneignung des Lerninhaltes und die Interaktion.
  • Auditive Elemente haben eine einwandfreie Qualität und werden angemessen verwendet. Ton- und Lautstärke können verändert werden und wirken für dieZielgruppe motivierend.
6. Sprachliche Gestaltung
  • Sprache in ihrer lautlichen und schriftlichen Form ist in dem didaktischen digitalen Medienprodukt normgerecht und korrekt angelegt.
  • Die sprachlichen Ausdrucksformen und der Stil der Sprache sind sachgemäß und motivierend.
  • Die textliche Ausdrucksform (Rechtschreibung, Grammatik und Zeichensetzung) ist fehlerfrei.
  • Texte sind klar strukturiert und betonen wichtige Information.
Evaluierungsbereich IV: Organisatorisch-technische Evaluierung
Anforderungen an Bedienung und Nutzungskomfort von didaktischen digitalen Medienprodukten

Die Bedienungs- und Organisationsanforderungen befassen sich mit grundlegenden arbeitsorganisatorischen Gesichtspunkten bei der Nutzung von didaktischen digitalen Medienprodukten. Das sind Fragen, die sich mit der humaner Gestaltung von Benutzeroberflächen bzw. von Mensch- Computer-Schnittstellen befassen. Bedienung und Nutzungskomfort sind für die Wirksamkeit von didaktischen digitalen Medienprodukten von wesentlicher Bedeutung und sind deshalb in einer vierten Kriteriengruppe zusammengefasst. Bei der Bedienungsevaluierung sind vor allem arbeitsorganisatorische Gesichtspunkte von Bedeutung wie Bedienungseigenschaften, Handhabungsgesichtspunkte, Gebrauchseigenschaften, Organisation und Technik. Es stehen die Arbeitsbedingungen für Lehrende und Lernende am und mit dem Computer bzw. mit dem didaktischen digitalen Medienprodukt im Mittelpunkt der Evaluierung.. Zur organisatorisch-technischen Evaluierung gehören folgende Qualitätskriterien.

Qualitätskriterien dieses Evaluierungsbereiches

1. Selbsterklärung und Zuverlässigkeit
2. Übersichtlichkeit und Flexibilität
3. Navigation und Steuerung
4. Anpassungsfähigkeit
5. Technische Funktionalität
6. Produktinformationen und Hilfen.

Qualitätskriterien und Prüfaspekte

 

1. Selbsterklärung und Zuverlässigkeit
  • Das didaktische digitale Medienprodukt erklärt sich durch konkrete optische und akustische Hilfen weitgehend selbst.
  • Das Medienprodukt arbeitet zuverlässig, fehlerfrei, schnell und abbruchsicher.
  • Alle angegebenen Funktionen arbeiten problemlos, insbesondere Laden, Speichern, Drucken und Beenden.
  • Das Medienprodukt weist eine weitgehende Fehlbedienungsresistenz auf. Bedienungsfehler werden durch optische oder akustische Hinweise korrigiert. Bedienungsfehler werden weitgehend ignoriert.
2. Übersichtlichkeit und Flexibilität
  • Das didaktische digitale Medienprodukt ist übersichtlich und überschaubar gestaltet und einfach zu benutzen.
  • Das Inhaltsmenü ist klar und logisch gegliedert.
  • Die Steuerungselemente werden durchgehend und einheitlich verwendet. Der Benutzer kann immer erkennen, in welchem Teil er sich befindet.
  • Benutzerhinweise und Erklärungen für Anfänger und Einsteiger können jederzeit abgebrochen und übersprungen werden.
  • Das Medienprodukt ermöglicht vielfältige Auswahlmöglichkeiten und Anwendungsformen.
  • Befehlsumfang, Begriffe und Symbole sind klar, überschaubar und für die Zielgruppe angemessen.
  • Der Benutzer kann das Medienprodukt nach seinen Wünschen und Interessen im Hinblick auf Inhalt, Schwierigkeit und Hilfen bearbeiten. Wahlbereiche sind in ausreichender Anzahl vorhanden und einfach erschließbar.
3. Navigation und Steuerung
  • Die Steuerungsmöglichkeiten des didaktischen digitalen Medienprodukts zeichnen sich aus durch Wechsel der Eingabeformen, Erleichterung der Eingabe, Wahlmöglichkeiten der Bedienung (z.B. Tastatur, Maus), Verfügbarkeit aller Steuerungselemente, Ansteuerungsmöglichkeiten von Zusatzinformationen und Kommunikationsmöglichkeiten über Netze.
  • Die Lernsteuerungsmöglichkeiten sind flexibel, wie Einflussnahme auf Ablaufgeschwindigkeit, Auswahl und Folge der Arbeitsschritte, Umgang und Schwierigkeit der Aufgaben, Festlegung der Lernzeit.
  • Die Navigations- und Orientierungsmöglichkeiten sind einfach und übersichtlich handhabbar.
  • Der Nutzer kann problemlos zwischen den verschiedenen Darstellungen mit bekannten bzw. wieder erkennbaren Steuerungssymbolen wechseln.
4. Anpassungsfähigkeit
  • Das didaktische digitale Medienprodukt ermöglicht die Anpassung an die Leistungsfähigkeit des Benutzers durch Änderungen der Grundeinstellung (z.B. Abstellen des Tones, Wechsel zwischen Text und Tonausgabe) und das Einstellen des Schwierigkeitsgrades (z.B. Aufgaben mit verschiedenen Schwierigkeitsstufen).
  • Das Einstellen des Zeitverhaltens (z.B. Einstellung der Reaktionszeiten nach Erfordernissen des Nutzers) wird durch das Medienprodukt gewährleistet.
  • Das Medienprodukt ermöglicht die Anpassung an die Leistungsfähigkeit des Benutzers durch die Art sowie den Umfang der Informationen (z.B. gesonderte und kombinierte Wahl von Text- oder Toninformationen).
  • Eine Anpassung des Hilfesystems (z.B. variables Angebot von Hilfen) wird durch das Medienprodukt ermöglicht.
5. Technische Funktionalität
  • Installation und Deinstallation bzw. Zugang und Freischaltung für das didaktische digitale Medienprodukt erfolgen problemlos.
  • Das Medienprodukt ist mit verschiedener Hard- und Software kompatibel.
  • Maus- und Tastaturbenutzung sind komfortabel, sinnvoll und selbsterklärend.
  • Das Speichern und Drucken aller wichtigen Ergebnisse ist einfach, komfortabel und erfolgt in einer für die jeweilige Zielgruppe adäquaten Form.
6. Produktinformationen und Hilfen
  • Die erforderlichen Informationen zur Nutzung des didaktischen digitalen Medienprodukts sind für die vorgesehenen Nutzer wie Kinder, Jugendliche, Auszubildende, Erwachsene, Eltern, Lehrer anwendergerecht.
  • Produktbeschreibung und Bedienungsanleitung erfassen alle Informationen, die zum Verstehen und Nutzen des Medienprodukts erforderlich sind. Sie sind verständlich, eindeutig, logisch und übersichtlich strukturiert.
  • Notwendige Informationen zur Initialisierung bzw. zur Installation des Medienprodukts werden genau und richtig angegeben.
  • Erforderliche Hardwareinformationen und notwendige Systemvoraussetzungen sind sach- und anwendergerecht dargestellt.
  • Zum Medienprodukt gibt es ein gut funktionierendes Unterstützungs und Beratungsangebot (Hotline, E-Mail, Tutorial etc.).

Evaluierung von

Digitalen Medien mit Bildungspotential (DMB)

Digitale Medien mit Bildungspotential (DMB)

sind in erster Linie nicht intendiert zum Lehren oder Lernen. Sie sind aber so aufbereitet, dass sie zum Lehren und Lernen eingesetzt werden können. Viele Medien werden mit der Intention entwickelt zu informieren, aufzuklären, Wissen zu verbreitern etc., besitzen aber Bildungspotenzial. Wenn ein solches Medium pädagogische und didaktische Potenzen besitzt, dann kann oder soll es bei Comenius-EduMedia-Awards als DMB eingereicht werden. Beispiele von solchen Medien sind digitale Lexika, interaktive (Hör)Bücher, Fernseh- und Rundfunksendungen oder -Programme, die hinter dem täglichen Diskurs und Handeln stehen etc. Zur Bewertung von DMB (AMP) werden folgende vier Evaluierungsbereiche eingesetzt.

 

Evaluierungsbereiche
  • Evaluierungsbereich I: Informationswert
  • Evaluierungsbereich II: Pädagogisch-didaktisches Potential
  • Evaluierungsbereich III: Gestaltung und Nutzung
  • Evaluierungsbereich IV: Technische Qualität, Innovation und Marketing
Evaluierungsbereich I: Informationswert

Zuerst wird der Wert dessen geprüft, was das Ziel von DMBs (AMPs) ist,also Informieren und Informationen.
(1) Bei Informationen muss man sich heutzutage zuerst vergewissern, dass sie sich auf existente Phänomene beziehen (in jeglicher Form von Sachen, Fakten, Themen etc.) und ihre Basis nicht Spekulation ist (populär auch Fake News genannt). Dies gilt für alle präsentierten Informationen, nicht nur für das Produktthema.
(2) Die zentralen Informationen (bzw. das Produktthema insgesamt) sollen ganzheitlich, d.h. unparteiisch, nicht einseitig präsentiert sein, was nach Möglichkeit bereits aus dem Aufbau/Struktur des Produktes erfahrbar ist.
(3) Präsentierte Informationen (bzw. das Produktthema insgesamt) sollen auf dem aktuellen Stand gebracht sein oder/und Quellen angeben, bei denen Nutzer die Entwicklung des Themas weiterverfolgen können (und auf die sich Produktproduzenten beim Informieren bezogen haben).
(4) Weiter sollen die Informationen besser erforscht und detaillierter sein als man das üblich, täglich in Massenmedien erfahren kann. Dieses Kriterium ist natürlich abhängig von der Zielgruppe und deren Potential, (fachspezifische) Details aufzunehmen.
(5) Das Produkt sammelt und präsentiert Informationen, die nicht „überall zu finden“ sind. Das Produkt bietet neue Informationen oder zeigt bekannte Informationen im neuen Kontext, mit neuem Fokus etc. Es präsentiert weniger bekannte Informationen und wiederholt nicht zum n-ten Male Informationen, die auch in (anderen) Massenmedien präsentiert werden.
(6) Am Ende wird noch geprüft, wie präsentierte Informationen in allen obigen Kriterien in Bezug zu anderen Medien und Produkten stehen bzw. wie sie in Diskurs zum Produktthema passen. Dem Evaluierungsbereich Informationswert können die nachfolgenden Qualitätskriterien zugeordnet werden.

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Weltbezug
2. Ganzheitlichkeit
3. Aktualität
4. Expertise
5. Originalität
6. Kontext

Qualitätskriterien und Prüfaspekte

 

1. Weltbezug
  • Informationen behandeln existente Phänomene (in jeglicher Form wie Sachen, Fakten, Themen etc.), es handelt sich nicht um Spekulationen (diese werden in Informationen als solche kommuniziert).
2. Ganzheitlichkeit
  • Informationen werden ganzheitlich und unparteiisch präsentiert, nicht einseitig.
  • Das Produkt weist einen Aufbau/Struktur auf, in dem sich der ganzheitliche Ansatz erkennen lässt (sinnvoll gewählte Kapitel/Menüeinträge und abgeschlossene Einheiten).
3. Aktualität
  • Das Thema und die Informationen werden auf dem aktuellen Stand gebracht und präsentiert.
4. Expertise
  • Der Produzent/Einreicher gilt als Experte im Themenfeld des Produktes.
  • Quellen werden (explizit oder implizit) angegeben an den Stellen, die außerhalb der Expertise des Produzenten sind.
5. Originalität
  • Präsentierte Informationen sind neu oder werden im neuen Kontext, Detail etc. präsentiert.
6. Kontext
  • Inhalt ist allgemein anerkannt als richtig und orientiert sich am (an)erkannten Wissenstand bzw. an (an)erkannten Argumentationsmethoden.
  • Inhalte können mit bestehendem Wissen/Informationen (im Internet) in Verbindung gebracht werden (Assoziationen).
  • Es wird angegeben oder angedeutet, wo und wie weitere Informationen zum Produktthema zu finden sind, inkl. Kontakt mit Produzenten.
Evaluierungsbereich II: Pädagogisch-didaktisches Potential

In diesem Teil werden Produkt-Eigenschaften geprüft, anhand von denen das Produkt auch in der Bildung eingesetzt werden kann.
(1) Zunächst sind hier die zu erkennende pädagogischen Eigenschaften, die am leichtesten geprüft werden können. Neben der wichtigsten, dem Inhalt, das im ersten Teil dieses Kriterienkatalogs gründlich geprüft wird, wird hier geprüft, ob das Ziel offengelegt oder einfach erkennbar ist und zwar zum Informieren, Aufklären u.ä. und nicht als Verkauf, Werbung u.ä. Weiter wird geprüft, ob das Produkt an eine Zielgruppe oder an mehrere Zielgruppen angepasst wurde.
(2) Neben dem pädagogischen wird in diesem Teil auch das didaktische Potential geprüft, d.h. wie die Informationen aufeinander folgen (induktiv, deduktiv), ob Informationen durch Beispiele verständlicher gemacht werden, ob motiviert wird, ob Informationen weiter zu erforschen sind etc.
(3) In Zeiten der Automatisierung und künstlicher Intelligenz ist eine Didaktik, die kritisches Denken und Kreativität fördert, besonders wichtig und geschätzt.
(4) Aus der pädagogischen Sicht ist es immer auch wichtig, dass die Effizienz des Lernens gemessen wird. Es gibt Möglichkeiten, bei denen der Lernende zeigen kann, was er gelernt hat (meistens in Form von Tests oder Quiz. Es können aber auch „offene Formate“ sein, wie Einreichen eines Aufsatzes, einer Zeichnung etc.). Folgende Qualitätskriterien können diesem Evaluierungsbereich zugeordnet werden:

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Erkennbares pädagogisches Potential
2. Erkennbares didaktisches Potential
3. Kritisches Denken und Kreativität
4. Pädagogische Effizienz (Tests)

Qualitätskriterien und Prüfaspekte

 

1. Erkennbare Pädagogik
  • Das Ziel des Produktes wird offengelegt oder ist erkennbar und dieses ist, Wissen zu verbreiten (und nicht Anregung zum Kauf vom Dargestellten oder Unterhaltung etc.).
  • Das Produkt gibt die Zielgruppe an und Informationen, wie diese das Produkt am besten (zum Lernen) zu nutzen hat.
  • Es wird zur pädagogischen Nutzung des Produktes, d.h. zum Lernen, motiviert – Motivation ist bedeutsamer Faktor des Lernens.
2. Erkennbare Didaktik
  • Didaktische Methoden (Analyse, Synthese, Vergleich, auf-/absteigende Quantität und Qualität der Komplexität usw.) sind im Produkt erkennbar oder eingebaut.
  • Anwendung von didaktischen Aktivitäten wie Erkennen, Ergänzen, Verbinden usw. wird angeregt.
  • Soweit didaktische Aktivitäten vorhanden sind, wird zu deren Einsatz motiviert (durch Anweisungen, Interaktivität etc.).
3. Kritisches Denken und Kreativität
  • Das Produkt regt an oder fördert selbständiges Denken (und Arbeiten).
  • Das Produkt erlaubt Eingriffe und diese stimulieren beim Nutzer eigene Überlegungen und Entscheidungen.
4. Pädagogische Effizienz (Tests)
  • Der Nutzer/Lernende kann sein (neu gewonnenes) Wissen überprüfen (Tests).
  • Der Nutzer bekommt Feedback zu durchgeführten Tests/Wissensüberprüfung.
  • Es wird zur Anwendung des gewonnen Wissens motiviert und das Produkt gibt Anregungen dazu (in einfacher Form von weiteren Verbindungen oder durch konkrete Anweisungen wo, wann und wie das Wissen zu nutzten ist).
Evaluierungsbereich III: Nutzererfahrung

Jedes Produkt wird gegenwärtig so gestaltet, dass es für den Nutzer möglichst einfach ist, mit dem Produkt das angestrebte Ziel zu erreichen. Diesbezüglich sind diese Produkte, DMBs (AMPs), eine große Herausforderung, da es ihr vorrangiges Ziel ist zu informieren, aber geprüft wird, wie geeignet sie sind zum Lehren oder Lernen. So werden in diesem Evaluierungsbereich die allgemeinen Kriterien der Nutzererfahrung kombiniert mit spezifischen Kriterien für Bildungsmedien. Folgende Qualitätskriterien können diesem Evaluierungsbereich zugeordnet werden.

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Intuitive Nutzung und Navigation
2. Visualisierung und Ausdruckmittel
3. Personalisierung und Anpassung
4. Umfang – Detail
5. Interaktion und Kommunikation

Qualitätskriterien und Prüfaspekte

 

1. Intuitive Nutzung und Navigation
  • Es ist erkennbar, dass die Art und Menge der vorgesehenen Nutzeraktionen an eine mehr oder weniger definierte Zielgruppe angepasst ist oder werden kann.
  • Es ist immer klar was vom Nutzer erwartet wird und was er tut (mit Ausnahme von Aufgaben, in denen er das selbst herausfinden muss).
  • Seitengestaltung und Steuerelemente sind konsistent und einfach, damit sich der Nutzer auf den Inhalt und Aufgaben konzentrieren kann (und seine Konzentration nicht durch komplizierte, mehrstufige Prozesse gestört wird).
  • Die Funktion der einzelnen Ikonen ist für den Nutzer intuitiv verständlich und braucht nicht immer wieder erklärt werden (z.B. beim Kontakt mit der Maus).
  • Das Produkt gibt immer die Position des Benutzers innerhalb des Produktes an.
2. Visualisierung
  • Das Produktdesign folgt dem Produktthema – z.B. Themen wie Kunst, IT, Sozialarbeit spiegeln sich im Design.
  • Es ist erkennbar, dass graphisches Design an eine mehr oder weniger definierte Zielgruppe angepasst ist.
  • Durch Visualisierung werden Informationen strukturiert und (ihre Teile) betont und die Navigation erleichtert (z. B. Farben zeigen auf gleiche Ebenen/Themen an, Funktionstasten sind immer auf gleichen Stellen zu finden).
3. Personalisierung und Anpassung
  • Nutzer können Einstellung ändern (so dass sich diese ihren Bedürfnissen anpassen – z.B. Ton ein/ausschalten, Schriftgröße und Kontrast verändern, zwischen Text- und Ton-Widergabe wählen).
4. Umfang – Detail
  • Umfang und Detailliertheit des Produktes sind Zielen, Zielgruppen und Darstellungsmethoden angepasst.
  • Es herrscht ein konsequentes Verhältnis zwischen Umfang und Details – das Produkt als Ganzes hält sich an dieses Verhältnis und geht in einigen Teilen/Kapiteln nicht wesentlich tiefer als in anderen.
5. Interaktivität und Kommunikation
  • Das Produkt hat interaktive Elemente und Nutzer bekommt Feedback für seine Interaktion mit dem Produkt.
  • Es ist erkennbar, dass Kommunikation als wichtig eingestuft wird. Es wird dazu motiviert, Kommunikation einzusetzen. Das Produkt bietet dazu nach Möglichkeit Werkzeuge an.
Evaluierungsbereich IV: Technische Qualität, Innovation und Marketing

Technische Qualität könnte zusammengefasst werden als: Das Produkt funktioniert auf allen Geräten reibungslos und in guter Qualität. In diesen Evaluierungsbereich wurden auch potentieller Innovationscharakter des Produktes und Marketing eingeordnet.
Folgende Qualitätskriterien konstituieren diesen Evaluierungsbereich.

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Adaptiv und Responsive
2. Medienvielfalt und -qualität
3. Innovation
4. Marketing

Qualitätskriterien und Prüfaspekte

 

1. Adaptiv und Responsive
  • Das Produkt kann ohne Einschränkungen auf allen modernen Operationsystemen und/oder Browsern genutzt werden.
  • Das Produkt ist angepasst auf verschiedene Geräte, deren Bildschirme, Kameras, Lautsprecher und Mikrophone (falls gebraucht).
2. Medienvielfalt und -qualität
  • Es werden verschiedene Medienarten (Text, Bild, Video, Audio) eingesetzt (abhängig von Inhalt und v.a. von der Zielgruppe).
  • Eingesetzte Medien sind in guter Qualität und behalten diese in verschiedenen Präsentationssituationen (Bildschirme verschiedener Auflösung und Größe, Projektionen, mit/ohne externe Lautsprecher, Kopfhörer etc.)
  • Nutzer wird gewarnt (und bekommt Anweisungen), wenn die Qualität der genutzten/abgespielten Medien nicht der vorgesehenen Qualität entspricht.
  • Sprache ist im Einklang mit Zielen und Zielgruppen und wird auf hohem Qualitätsniveau umgesetzt.
3. Innovation
  • Das Produkt ist als gesamtes etwas Neues.
  • Das Produkt beinhaltet neue und/oder zukunftsweisende Elemente, die auf den Nutzer motivierend wirken.
  • Das Produkt beinhaltet neue und/oder zukunftsweisende Elemente, die seine didaktische Nutzung fördern.
4. Marketing
  • Im Falle, dass das Produkt oder sein Produzent bereits eine Comenius- EduMedia-Auszeichnung erhalten hat, wurde diese richtig veröffentlicht (neben dem ausgezeichneten Produkt).
  • Für das Produkt wird mit Argumenten geworben, die zur Qualität der Bildung beitragen (nicht mit Argumenten, die andere Qualitäten, z.B. einfach, schnell, Spaß etc., ausdrucken).

Evaluierung von

Lehr- und Lernmanagementsystemen (LMS)

Lehr- und Lernmanagementsysteme (LMS)

sind digitale Werkzeuge, die an den Bildungsprozess angepasst sind bzw. diesen (zum Teil) in eine digitale Form transformieren. Dabei gehen wir davon aus, dass das LMS das technische Bindeglied/Medium zwischen dem Lehrenden und den Lernenden darstellt. Dem LMS kommt damit eine zentrale Rolle im digitalen Bildungsprozess zu. LMS ersetzen und verbessern die klassische Bildungssituation, die als das Klassenzimmer bzw. aus dem Klassenzimmer bekannt ist. Die Bildungssituation ist aber mehr als nur das Klassenzimmer mit seiner (technischen) Ausstattung. Das meiste trägt der Lehrer dazu bei, indem er die Inhalte entsprechend didaktisch vorbereitet und in Kontakt mit den Lernenden seine Lernmöglichkeiten anpasst. Ein LMS kann alle diese Situationen bzw. die ganze Bildungssituation einschließen: Es bietet Werkzeuge zur Vorbereitung der Inhalte und für die Art der Kontakte zwischen dem Lehrenden und dem Lernenden. Mehr noch: LMS kann die Lernerfahrung an der Seite des Lernenden
vorstrukturieren bzw. viel mehr einschränken (oder öffnen) wie es im klassischen Klassenzimmer der Fall wäre. Und vielleicht der wichtigste Unterschied der digitalen und klassischen Bildung: LMS dokumentiert Lehren und Lernen und macht es so vorhersehbar, langfristig und dauerhaft, womit Qualität steigt. Genauso offenbart es „schwarz auf weiß“, wer und wie für Lernen verantwortlich ist bzw. verantwortlich gemacht werden kann, soll oder muss. LMS ist also mehr als nur „ein digitales Klassenzimmer“, es ist die „digitale Lehr- und Lernerfahrung“. Nach diesem Ausgangspunkt und Versuch einer kurzgefassten aber verständlich gemachten wissenschaftlich-fachlichen Definition der LMS kommen wir zum Alltag ihrer Evaluation, mit der die Comenius-EduMedia- Jury langjährige Erfahrung hat. Unsere Evaluierungsbereiche, Qualitätskriterien und Prüfaspekte beruhen v.a. auf Erfahrung, dass LMS nur als Gerüst zur Prüfung freigegeben werden, ohne Inhalte. Für den Prüfer erweist sich als schwierig, sich vorzustellen, wie mit diesen LMS erstellten Produkten, v.a. die Inhalte, aber auch Lektionen/Einheiten/Kurse „aussehen“ und wie – mit welchem Feedback der Lernenden in Foren, Aufgabenregister etc. – genutzt werden können. Deswegen folgen unsere Evaluierungsbereiche, Qualitätskriterien und Prüfaspekte nicht nur akademischen Wissen zur Bildung, sondern auch den fachlich-alltäglichen Fragen. Sie sind so gewählt, dass sie bei möglichst vielen LMS und bei Comenius-EduMedia-Award-Einreichungen mit einer LMS eingesetzt werden können, wofür die Evaluierung gedacht ist. Zur Evaluierung von LMS werden folgende vier Bereiche eingesetzt.

 

Evaluierungsbereiche
  • Evaluierungsbereich I: Lehren (Inhalt)
  • Evaluierungsbereich II: Lernen (Anpassung)
  • Evaluierungsbereich III: Verwaltung (Kommunikation)
  • Evaluierungsbereich IV: Technik, Marketing und Innovation
Evaluierungsbereich I: Lehren (Inhalt)

Im ersten Evaluierungsbereich werden die Möglichkeiten geprüft, die dem Lehrer / Autor zur Verfügung stehen, damit dieser den Lernprozess (des Lernenden als dem Empfänger dieser Möglichkeiten / Arbeit) führen und gestalten kann. Qualitätskriterien konzentrieren sich hier viel mehr an den Inhalten als an der Didaktik, denn die Unterstützung (des Lehrers) bei der Inhaltserstellung ist viel leichter zu prüfen als die Unterstützung bei der Didaktik, d.h. bei der Umsetzung/ beim Lehren der vorbereiteten Inhalte.

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Qualität der Inhalte
2. Inhaltserstellung
3. Vielfalt der unterstützten Medienarten
4. Integrierte/Verbundene Mediatheken
5. Didaktische Vorgaben und Möglichkeiten
6. Nutzerfreundliches Design und Anleitungen für Autoren

Qualitätskriterien und Prüfaspekte

 

1. Qualität der Inhalte
  • In LMS können Inhalte sowohl von einzelnen Autoren (z.B. Lehrer) wie auch von professionellen Produktionen veröffentlicht werden.
  • Vor der Freigabe werden Inhalte vom LMS Inhaber/Mieter auf ihre Qualität (inhaltliche, didaktische, technische) geprüft.
  • Fremde Autorenschaft wird erkennbar angegeben (Quellenangabe).
2. Inhaltserstellung
  • Inhalte können direkt in der LMS erstellt werden.
  • LMS-eigene Werkzeuge zur Inhalterstellung folgen den Vorgaben von gängigen Werkzeugen zur Inhalterstellung (z.B. Word, Power Point, Foto- und Videobearbeitung).
  • Integration der vorproduzierten Inhalte ist leicht und kann vom Lehrer vorgenommen werden.
3. Medienarten
  • Bei Inhaltserstellung können verschiedene Medienarten (Text, Bild, Audio, Video) integriert werden.
  • Für den Lernenden (und Lehrenden) sind Art (oben) und Umfang (in Bytes, Dauer etc.) des Mediums leicht erkennbar.
4. Mediatheken
  • Eine oder mehrere integrierte oder vernetzte Mediatheken stehen Autoren zur Verfügung für den Einbau in eigene Inhalte/Kurse.
  • Inhalte aus der Mediathek lassen sich leicht in den Kurs einbauen und werden automatisch klar gekennzeichnet (Quelle, Medienart, Umfang).
  • Inhalte aus der Mediathek lassen sich bearbeiten, möglichst direkt in LMS/Mediathek.
5. Didaktik
  • LMS hat eingebaute didaktische Methoden (z.B. Lernstoff, Diskussion, Quiz) aus denen Autoren wählen können.
  • LMS ist auf einige didaktischen Methoden beschränkt, die bei allen Inhalten/Lektionen/Kursen eingebaut werden (z.B. Zwischen- und Abschlusstest).
6. Design
  • Der Autor kann leicht erkennen, wo in der LMS-Struktur er sich befindet (Überblick).
  • LMS-eigene Ikonen folgen den gängigen Ikonen für gleiche Elemente (z.B. für Internetseite/Link, Video etc.).
Evaluierungsbereich II: Lernen (Anpassung)

Der zweite Evaluierungsbereich beschäftigt sich mit der Perspektive des Lernenden, d.h. welche Möglichkeiten ihm zur Verfügung stehen, damit sein Lernen möglichst effektiv, effizient und angenehm ist. Anpassung und/oder Nutzererfahrung ist etwas, dass für Nutzer in allen Rollen, die sich in einem LMS befinden (Lehrer, Lernende, Administration), von wesentlicher Bedeutung ist. Am wichtigsten ist sie jedoch u. E. in der Rolle des Lernenden
– erstens, machen Lernende die größte Nutzergruppe aus, und
– zweitens, müssen sie zur Nutzung durch Nutzung motiviert werden (sie werden nicht bezahlt, wie andere Rollen).

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Motivierende Nutzererfahrung
2. Organisation des Lernens
3. Aufgaben und Tests
4. Feedback
5. Personalisierung

Qualitätskriterien und Prüfaspekte

 

1. Motivierende Nutzererfahrung
  • Es ist erkennbar, dass graphisches Design an eine mehr oder weniger definierte Zielgruppe angepasst ist oder werden kann.
  • Es ist erkennbar, dass die Art und Menge der vorgesehenen Nutzeraktionen an eine mehr oder weniger definierte Zielgruppe angepasst ist oder werden kann.
  • Seitengestaltung und Steuerelemente sind konsistent und einfach, damit sich der Lernende auf den Inhalt und Aufgaben konzentrieren kann (und seine Konzentration nicht durch komplizierte, mehrstufige Prozesse gestört wird).
  • Die Funktion der einzelnen Ikonen ist für Lernenden intuitiv verständlich und braucht nicht immer wieder erklärt werden (z.B. beim Kontakt mit der Maus).
2. Organisation des Lernens
  • LMS zeigt die Navigationsleiste an (je nach Zielgruppenalter) oder zeigt mit anderen Signalen/Symbolen (Farben, Ikonen etc.) , wo in der LMS sich der Lernende befindet bzw. was er gerade macht.
  • Erstellte oder abgegebene Materialien (Aufgaben) werden im Profil des Lernenden gespeichert und können nach mehreren Eigenschaften (Filter) geordnet werden.
3. Lernfortschritt
  • Lernende kann eigenen Fortschritt verfolgen, inkl. Angaben, welche Aufgaben er bereits (inwieweit und wie erfolgreich) erfüllt hat und welche (wann) noch auf ihn warten (und wieviel Zeit sie einnehmen werden).
  • LMS hat eigebaute Werkzeuge mit denen Lehrer (oder LMS automatisch) den Lernenden auf seinen Fortschritt bzw. auf Mangel dieses, aufmerksam machen kann.
  • Lerntempo (Fristen) und Möglichkeit der Wiederholung von (einzelnen) Abschnitten lassen sich einstellen (für alle, Gruppen oder einzelne Lernende).
4. Aufgaben und (Selbst)Tests
  • LMS hat eigebaute Werkzeuge, mit denen der Lernende, die ihm zugeteilte Aufgaben erfüllen bzw. in der LMS erstellen kann.
  • Aufgaben-Abgabe in der LMS ist einfach (benötigt wenige Schritte).
  • Es ist vorgesehen, dass Lernende Inhalte/Einheiten mit (Selbst)Tests abschließen (in Form von Quiz o.ä.), z.B. bei der Auflistung von didaktischen Methoden werden Tests (Quiz) am Ende angeführt.
  • (Selbst)Tests können wiederholt werden (abhängig von Zielgruppe/Lernzweck).
5. Feedback
  • LMS hat eigebaute Werkzeuge mit denen der Lehrer oder die LMS automatisch Feedback/Bewertung geben kann/gibt.
  • LMS sieht vor (durch Eingabefelder), dass der Lehrer erklärt, wie Feedback gegeben wird und wie es zu deuten ist (bzw. gibt die LMS diese Informationen automatisch bei der Bewertung mit).
6. Personalisierung
  • Lernende können sich die LMS/Interface anpassen (Einstellungen wie Farbe, Kontrast, Ausschalten von nicht benötigten Funktionen, Benachrichtigungen etc.).
  • LMS ermöglicht Lernenden Profile/Portfolios zu erstellen (mit verschiedenen Medienformaten, wie Texte, Bilder, Videos, Audiodateien, etc.).
  • Lernende können ihr LMS-Profil mit ihren Profilen auf anderen Plattformen verbinden (z.B. Instagram, Facebook, Twitter etc.) oder diese am dafür vorgesehenen Platz im Profil-Formular angeben
Evaluierungsbereich III: Verwaltung (Kommunikation)

Eingangs wurden LMS als das Bindeglied zwischen dem Lehrer und dem Lernenden definiert. In diesem Bereich wird diese „Bindefunktion“ der LMS geprüft, aber in noch ausgeweiteter Form, die neben Nutzern auch die Interaktionen mit den Inhalten umschließt.

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Umgang mit Lernenden
2. Umgang mit Inhalten
3. Werkzeuge für Kommunikation
4. Werkzeuge für Kollaboration
5. Struktur, Filter und Suche
6. Anleitungen

Qualitätskriterien und Prüfaspekte

 

1. Umgang mit Lernenden
  • Lernende werden als Individuen behandelt (Anmeldung mit Namen, individuelle Zulassung zum Kurs möglich).
  • Lernende können vom Lehrer individuell kontaktiert werden.
  • Lernenden können Inhalte/Kurse individuell zugeteilt werden.
2. Umgang mit Inhalten
  • Der Lehrende kann Inhalte (Lernstoff) nach ihrer Veröffentlichung noch (einfach) verändern.
  • Lernende können ihre Aufgaben nach Abgabe noch (einfach) verändern (bis zur Abgabefrist).
  • Inhalte/Aufgaben können in der LMS (einfach) zugeteilt werden (vom Lehrer an Lernende) bzw. zur Diskussion werden (initiiert von Lernenden – unter sich oder gerichtet an den Lehrer).
3. Werkzeuge für Kommunikation
  • LMS hat eingebaute Werkzeuge für asynchrone Kommunikation zwischen dem Lehrer und Lernenden, z.B Foren, Gruppen-Email etc.
  • LMS hat eingebaute Werkzeuge für synchrone Kommunikation zwischen dem Lehrer und Lernenden und unter Lernenden, z.B. Chat.
  • In Kommunikation sind Lehrer und Lernende gleichberechtigt (z.B. auch Lernende können Foren und Themen in ihnen erstellen, auf Ansuche haben sie Zugriff zur Gruppen-Mail etc.).
4. Werkzeuge für Kollaboration
  • LMS hat eingebaute Werkzeuge für asynchrones kollaboratives Lernen/Arbeiten, z.B. gemeinsame Mappen (shared Folder), Möglichkeit zur Einsicht in abgegebene Aufgaben anderer Lernenden, etc.
  • LMS hat eingebaute Werkzeuge für synchrones kollaboratives Lernen/Arbeiten, z.B. Videomeetings, gemeinsame „Tafel“ (whiteboard), Dokumente etc.
  • LMS hat eingebaute Werkzeuge mit denen Lernende (Gruppen)Arbeit organisieren können, z.B. gemeinsames Kalender, Management-Tools (wie z.B. Trello).
5. Struktur, Filter und Suche
  • LMS ist übersichtlich mit verständlichen Kategorien (Menü-Elementen), die hierarchisch aufgebaut sind und verständlich dargestellt werden.
  • Bei mehreren Einträgen (z.B. Kurse, Inhalte, Lernende etc.) kann Nutzer diese filtern und reihen/ordnen.
  • LMS hat interne Suchfunktion(en), die der Nutzer auf verschiedenen Ebenen nutzen/einstellen kann (z.B. Plattform, meine Kurse, meine Inhalte etc.).
  • Obige Funktionen sind für LMS-Nutzer auf allen Ebenen (Administrator, Lehrer, Lernende) zugänglich.
6. Anleitungen
  • Anleitungen zu (allen oder wichtigsten) Funktionen sind für Lehrer und Lernende (und andere Nutzer) jederzeit zugreifbar.
  • Anleitungen sind nach Funktionen/Menge der Informationen/Umfang/Dauer sinnvoll aufgeteilt.
  • Anleitungen sind in Darstellungsform und Komplexität der Zielgruppe angepasst.
  • Anleitungen sind gebunden an die jeweilige Stelle in der LMS, wo sie gebraucht werden (Nutzer brauchen nicht selbständig nach Anleitungen zu suchen)
Evaluierungsbereich IV: Technik, Marketing und Innovation

Der letzte Evaluierungsbereich umschließt mehrere Perspektiven, von denen technische und innovative Vorrang vor Marketing haben. Technische Umsetzung auf hohem Niveau ist heutzutage zum Standard geworden, deswegen muss nur noch geprüft werden, ob „alles funktioniert“. Es folgen dann noch zwei Kriterien, die sicherstellen, dass die LMS an möglichst vielen, unterschiedlichen Geräten, Operationssystemen oder Browsern funktionieren (Adaptiv und Responsive) und dass sie Daten widergeben, die dem Lehrer helfen sein Lehren zu optimieren (Analytische Daten). Am Ende folgen gleich zwei Kriterien zur Innovation, die es (sehr) innovativen Produkten ermöglichen bei der Gesamtbewertung / Punkten besser abzuschneiden.

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Einwandfreies Funktionieren
2. Adaptiv und Responsive
3. Analytische Daten
4. Marketing
5. Große Innovation
6. Kleine Innovationen

Qualitätskriterien und Prüfaspekte

 

1. Einwandfreies Funktionieren
  • Alle im Produkt vorgesehene/angegebene und eigebaute Funktionen werden schnell ausgetragen.
  • Bei technischen Problemen findet man einfach und schnell Hilfeanweisungen, durch deren verfolgen der Nutzer selbst das Problem lösen/beseitigen kann.
2. Adaptiv und Responsive
  • LMS kann ohne Einschränkungen auf allen modernen Operationsystemen und/oder Browsern genutzt werden.
  • LMS ist angepasst auf verschiedene Geräte, deren Bildschirme, Kameras, Lautsprecher und Mikrophone.
3. Analytische Daten
  • Bei Registration werden Nutzer auf Zustimmung zu Geschäftsbedingungen und Datensammlung (weiter GDPR)
    aufmerksam gemacht.
  • Im Einklang mit GDPR sammelt LMS Daten zum Benehmen der Plattform-Nutzer.
  • Lehrer haben Zugriff zu obigen Daten von Lernenden, die in ihren Kursen inskribiert sind, und zu Zugriffen auf ihre Inhalte.
  • Obige Daten werden automatisch in verschiedenen Formen vorbereitet, die für Nutzer (v.a. Lehrer) brauchbar sind.
4. Marketing
  • Im Falle, dass das Produkt oder sein Produzent bereits eine Comenius- EduMedia-Auszeichnung erhalten hat, wurde diese richtig veröffentlicht (neben dem ausgezeichneten Produkt).
  • Für die LMS wird mit Argumenten geworben, die zur Qualität der Bildung beitragen (nicht mit Argumenten, die verwechselbar mit Produkten in anderen Branchen, z.B. Unterhaltung, auswechselbar sind).
5. Große Innovation
  • Das Produkt ist als gesamtes eine herausragende Innovation auf dem Gebiet von LMS.
6. Kleine Innovationen
  • LMS hat innovative Elemente, die auf den Nutzer motivierend wirken.

Evaluierung von

Spielbasierten digitalen Bildungsmedien SDB (CKP)

 

Spielbasierte digitale Bildungsmedien (SDB)

(game based learning) haben in den letzten Jahren eine ständige Entwicklung mit großen didaktischen, spielerischen und technologischen Fortschritten zu verzeichnen. Wesentlich für die Kategorie der SDB (CKP)s (Digitale spielbasierte Bildungsmedien) ist, dass versucht wird, mittels Spielmethoden die vorgesehenen Bildungsabsichten zu realisieren. Der anerkannte Mehrwert des spielerischen Lernens ist der Grund, um immer mehr Lernspiele für formales und informelles Lernen zu entwickeln. Parallel dazu werden auch in anderen Bildungsmedienkategorien immer mehr „spielerische“ Elemente eingebracht (international bezeichnet als „Gamification). In der Bildungsmedienkategorie SDB (CKP) werden „ Spielbasierte Bildungsmedien“ sowie Comenius-Lernspiel-Einreichungen mit dem Fokus auf die Bildungsaspekte der vorliegenden Einreichung bewertet. Dank neuer Lernmethoden und neuer medialer Technologien lassen sich für Lernende jetzt recht neuartige und einfach zugängliche spielerische Bildungsmedienprodukte realisieren. Deshalb ist es erforderlich, die „alten“ CKP-Kriterien zu aktualisieren. Die neuen Kriterien wurden definiert, um Comenius-Jurymitglieder zu helfen, die spezifischen Qualitäten von SDB (CKP)s jetzt und in der näheren Zukunft zu unterscheiden sowie gerecht und angemessen zu bewerten (innerhalb des bereits existierenden Comenius-Bewertungsrahmens).

Anmerkungen

Bei der weiteren Arbeit an den Kriterien für diese Bildungsmedienkategorie/Bildungsmedienart wird geprüft, ob die Bezeichnung aktualisiert und verändert werden sollte:
– „Computerspiele mit kompetenzförderlichen Potenzialen“ (SDB (CKP)) ersetzen durch – „Digitale spielbasierte Bildungsmedien mit kompetenzförderlichen Potenzialen“ (DSB). In dieser Fassung werden beide Begriffsfassungen verwendet.

Vorbemerkungen zur Neugestaltung
A Unterschied zur heutige SDB (CKP) Bewertungsmodell

(1) In diesem Vorschlag wird die Begriffsabgrenzung der SDB (CKP)s näher definiert als vorher, um zu klären, dass die Kategorie Lernspiele, Spiele, digitale sowie spielerische Bildungsmedien umfasst und auf Bildung fokussiert ist. Damit sind sie abgegrenzt von
(a) Entertainment (Vergnügung’s) Spiele in denen man nebenbei auch etwas lernen kann und von.
(b) Bildungsmedien, die mit einem anderen prioritären Bildungsfokus auch spielerische Elemente nutzen.

(2) Auf Grund von Praxiserfahrungen mit der angemessenen Bewertung von aktuellen Spielen und der Literatur im Bereich „Serious Game based Learning“-Evaluierung wurde die SDB (CKP)-Evaluierung geändert, um ein angemessenes Gleichgewicht bei der Bewertung von didaktischen Anwendungen von „Game mechanics“ (Spiel Methoden und die materielle/ Technische Implementation) und mehr Bildungsunterstützung zu erreichen.

B Überlegungen zur Neugestaltung der Bewertungskriterien.

für „ Lernspiele (spielerische Bildungsmedien) mit kompetenzförderlichen Potenzialen“

(1) Ziel der Anpassung der SDB (CKP)-Kriterien ist, dass die Jurymitglieder mit diesen neue Kriterien in der Lage sind, die Qualität der Comenius-Einreichungen auf Basis vom aktuellen pädagogischen Wissen zur Lernheuristik, zur Bildungsqualität und zum funktionellen Einsatz von „spielerischen Methoden“ zu bewerten.
(2) Das definierte Set „neue“ Kriterien muss in der Lage sein, neben heutigen SDB (CKP)s auch in Zukunft (ganz) neue technologische Lernspiel-Anwendungen im Hinblick auf ihre integralen Bildungsqualitäten angemessen zu bewerten.
(3) Das bedeutet explizite Aufmerksamkeit für Lern- und Spielelemente und ihre balancierte Integration im Kontext.
(4) Wesentlich für die Bewertung von SDB (CKP)s ist nach unserer Meinung, wie in einem SDB (CKP) die Kompetenzentwicklung mittels der für Lernspiele einzigartiger integraler Kombination von pädagogischer Lernunterstützung und Integration von Lernspielmechanismen realisiert wird, um Lernerfahrungen zu maximieren, dort wo spielerisch lernen besser im Stande ist, Lehrende ständig zu engagieren, zu motivieren und durch ständige komplexe Herausforderungen aktiv weiterzubilden.
(5) In den vorgeschlagenen Evaluierungsbereichen für SDB (CKP)s gibt es
(a) Kategorien, die auf die kompetenzfördernden Qualitäten (die Bereiche 1 und 2) fokussieren und
(b) Kategorien die fokussieren auf die Implementations-Qualitäten des „Produkts“ bzw. der Einreichung.

Zur Bewertungs-Begründung der SDB (CKP)s

Digitale spielerische Bildungsmedien (oder digitale Lernspiele) sind Bildungsmedien, die spielerisches Lernen (game based learning) gezielt zur Entwicklung von Bildungskompetenzen nutzen.

Unter dem Begriff Computerspiele mit kompetenzförderlichen Potenzialen sind alle Arten digitaler Spiele zu verstehen, die Eigenschaften aufweisen, die sich förderlich auf den Kompetenzerwerb bzw. die Kompetenzförderung der Nutzerinnen und Nutzer auswirken. Diese Spiele sind plattformunabhängig (z.B. PC, Konsole, Smartphone), können sowohl offline als auch online genutzt werden und werden alleine oder mit mehreren Personen gespielt. (Grün & Rosenberger, 2017). Diese Kategorie betrifft digitale Serious Games, Lernspiele die Bildungszwecke zur Vermittlung von Wissen für unterschiedliche Formen von Kompetenzentwicklung verfolgen. Das wichtigste Merkmal von SDB (CKP)s ist das Verfolgen pädagogischer Zwecke mittels spielerischer Methoden, also Aktivitäten, die Spaß und Motivation am Spiel in entzückende, innovative Umgebungen realisieren – aber immer orientiert an Lernprozesse und das Erreichen der vorgesehenen Lernziele. (Bitter & Giannoulis, 2021) und unabhängig von der technischen Implementation (Laptop, Desktop, Handy , Gameconsole, cloudbasierte vernetzte Plattformen oder Apps, single-multiplayer, synchrone –asynchrone AR-VR oder Mixed Reality settings). Die Erscheinungsformen von Spielen mit denen man lernen kann sind vielfältig: von Serious / Educational Games, Open World / Sandbox, Rollenspielen (RPG), Virtuele World Games, Epistemische Spielen zu Unterhaltungsspielen, Abenteuerspielen , Actionspielen Strategiespielen bis zu reinen Unterhaltungsspielen. Entscheidend ist, das Serious Game/Lernspiele Einreichungen für den Comenius-Award direkt in einen Bildungszusammenhang stehen. (Bitter & Giannoulis, 2021). Bewertungen in der SDB (CKP)-Kategorie benötigen ein gezieltes verfolgen von Bildungszielen. Das bedeitet, dass reine Unterhaltungsspiel nicht in dieses Bereich evaluiert werden. Lernspiele eignen sich besonders gut zur Realisierung von ganz unterschiedlichen Kompetenzen, um mittels ,,engagierter spielfreudiger Lernprozesse“ effektiv komplexe Fähigkeiten in Kontext zu erwerben. Die holistische und dynamische Integration und fließende mediale Realisation von Lernen beim Spielen erfordert eine separate SDB (CKP)- Bewertungskategorie. Im Kontext von Comenius-Bewertungen ist das Ziel Qualitätsanforderungen und Qualitätskriterien zur Evaluation zu definieren, die man einfach in der Bildungspraxis anwenden kann. Sie müssen gut strukturiert und übersichtlich konzipiert sein. Sie müssen Wesentliches betonen und Nebensächliches weglassen. Dazu sind hier nach der von Mikuszeit vorgeschlagene Analogie die Kompetenzbereiche in folgenden vier Evaluierungsbereiche gegliedert: (Bitter& Giannoulis, 2021).

Evaluierungsbereiche
  • Evaluierungsbreich 1: Pädagogisch-inhaltliche Evaluierung
  • Evaluierungsbreich 2: Didaktisch-methodische Evaluierung
  • Evaluierungsbreich 3: Kompetenzorientierte Evaluierung
  • Evaluierungsbreich 4: Medial-technologische Gestaltungs-Evaluierung

Der wesentliche Unterschied zum bestehenden Bewertungssystem besteht, in der autonomen Bewertung der erworbenen Kompetenzen. Dies ist eine sehr wichtige Änderung, da sich moderne Lernspiele mehr auf bestimmte
Kompetenzen konzentrieren, insbesondere für jüngere Spieler/Auszubildende. Es liegt auf der Hand, dass jedes Bildungsinstrument hauptsächlich im Hinblick auf die von ihm festgelegten pädagogischen Ziele bewertet werden sollte.
Zur Spezifizierung sind jedem Evaluierungsbereich differenzierte Qualitätskriterien und Bewertungsaspekte zugeordnet. Die Qualitätskriterien basieren auf den übergreifend existierenden Evaluations- Rahmen (Comenius Bewertungsmodelle, Praxis Erfahrungen, Vorschläge von Grün & Rosenberger in Bauer et al (2017) und Lern-Heuristik-Wissen in der Serious Gaming Literatur.

Evaluierungsbereich I: Pädagogisch-inhaltliche Evaluierung
Anforderung an Bildungsabsichten von SDB (CKP)

Digitale Lernspiele (SDB (CKP)s) werden charakterisiert durch das Befördern von Bildungsabsichten mittels spielerischen Lernens. Die erste Evaluierungsbereich mit Qualitätskrierien befasst sich mit die übergreifenden Frage, wie mit einer SDB (CKP)-Comenius-Einreichung die beabsichtigten Lernziele erreicht werden können. Es wird die konzeptionelle Lerngrundlage des Lernspiels bewertet. Spielbasiertem Lernen wird in Studien besondere Potenziale beispielsweise zum Engagieren und Motivieren zugeschrieben. Bei spielimmanenten Herausforderungen können verschiedene kognitive Kompetenzen erworben werden.

Mit SDB (CKP)s kann eine große Variation von Lernzielen verfolgt werden. Benjamin Bloom hat eine Taxonomie zur kognitiven Aktivitäten definiert, die sich gut zur Bewertung der Lernziele und Lernaktivitäten in einem SDB (CKP) eignen. Die kognitiven Aktivitäten werden durch Bloom in sechs Ebenen unterteilt, die von einfach jeweils immer komplexer werden. Diese inhaltliche Hierarchie der kognitive Aktivitäten des Verlaufs von Wissen (1), Verständnis (erinnern/verstehen) (2), Anwendung (anwenden) (3), Analyse (analysieren) (4), Synthese bewerten/Synthese) (5) bis Exploration/Kreation) (6). (vgl. Ablage 1).

Diese Unterteilung schließt bei Lernspiel-Szenarien an, wo Spieler die in den vorhergehenden Phasen erlernten Fähigkeiten, Kenntnisse und Strategien beherrschen und anwenden müssen, um kompetenter zu werden und um das (nächste) höhere Level zu erreichen.

Mit den Qualitätskriterien und Prüfaspekten für die pädagogisch-inhaltliche Evaluierung bewerten die Jury Mitglieder die Lernzielsetzung. In dem zweiten Evaluierungsbereich schätzen die Jurymitglieder, wie die Lernzielsetzung mittels passender Spiel-Mechanismen abgestimmt wird. Die Art und Weise der Kompetenzentwicklung wird im dritten Evaluierungsbereich und die mediale Realisierung im vierten Evaluierungsbereich bewertet.

Zum Evaluierungsbereich der pädagogisch-inhaltliche Evaluierung gehören die nachfolgenden Qualitätskriterien.

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Lernziele
2. Lernziel – Innovation

Qualitätskriterien und Prüfaspekte

 

1. Lernziele
  • Wir deutlich, welche Lernziele mittels des SDB (CKP) gesetzt, expliziert und (erfolgreich) realisiert werden können?
  • Passen die integrierten Lernaktivitäten und die Lernspielmethoden zur effektiven Realisierung der Bildungsziele (s. Anlage 1)?
  • Bleibt der Fokus während das Spiel auf das Lernziel gerichtet?
  • Ist die didaktische Unterstützung zum Erreichen des Lernziels effektiv integriert? Werden die Spieler adäquat unterstützt, um das Lernziel zu erreichen?
  • Ermöglichen die Spielszenarien und Spielmethoden das didaktisch zweckmäßige Erreichen der vorgesehenen Lernziele?
  • Werden im Lernspiel zur Unterstützung des Lernprozesses „unterwegs“ zielgerecht Feedback und Informationen zum Fortschritt gegeben?
  • Werden über Spieldauer und Aktivitäten hinweg die Unterstützung und Belastung pädagogisch zweckmäßig unterstützt?
  • Wird mit kognitivem Overload, Handlungs- und Konzentrationsbelastung gerechnet? Und werden die benötigten positiven Stimuli und Feedbacks für den Lernzielerfolg verwendet?
  • Wird im Lernspiel eine Tiefe der Benutzerinteraktion realisiert, um die gezielte Lernziele zu erreichen und letztendlich beim Lernenden dauerhaft zu verankern?
2. Lernziel – Innovation
  • Sind Thematik und Lernspiel-Welt lerninhaltlich neuartig?
  • Ist die Art der Lernziel-Realisierung neuartig?
  • Ist durch den Lernziel-Fachinhalt das Lernspiel innovativ?
Evaluierungsbereich II: Didaktisch-methodische Evaluierung
Anforderungen für das spielerische Lernen von SDB (CKP)

Spielerisch lernen kann ein individuelles Spiel betreffen, ein single- Player Games, aber meistens wird im soziale Kontexten mit Kommunikation gelernt. Kollaboration von Teilnehmern in unterschiedlichen Rollen, in die die Spieler eintauchen, sind wesentlich. In einer virtuellen (evt. Phantasie) Welt brauchen Spieler Klarheit über ihre Identität (Rolle) im Spiel, das Lernziel des Abenteuers/Spiels, die Interaktionsmöglichkeiten und die Feedback-Informationen, um die immer komplexeren Herausforderungen zu meistern (Annetta, 2010, Malone 1981).

Das Lernen von immer komplexeren Sachen wird im Lernspiele mit „ levels“ ermöglicht. Die „levels“ als „ game mechanismus“ ermöglichen es, das Spieler im spielerische (lern) „flow“ (Csikszentmihalyi, 1988) bleiben und in die nächste Zone der Kompetenz-Erwerbung eintreten (Vygotky’s 1978 ZDP/ Zone of proximal Development), während Sie kontinuierlich engagiert und „ neugierig“ nach den nächsten „ Herausforderungen“ bleiben (Malone 1981).

Dieser Evaluierungsbereich beschreibt, wie wir die integrierte Anwendung von Spielelementen im Lernspiel bewerten können und ihre Qualität beim Erwerb von Kompetenzen (wie Motivation, Konzentration, usw.) durch spielerisches Lernen im Lernprozess zum Erreichen des Lernziels eingeschätzt werden kann.

In diesem Evaluierungsbereich schauen wir auf die Kompetenzen des spielerischen Lernen, die spezifisch wichtig sind, für engagiertes und erfolgreiches Lernen mit SDB (CKP)s.

Zu diesem Evaluierungsbereich gehören nachfolgende Qualitätskriterien.

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Einsatz angemessener Spielelemente (game mechanics).
2. Art und Unterstützung der Entwicklung spielerischer Kompetenzen.
3. Innovation des spielerischen Lernens.

Qualitätskriterien und Prüfaspekte

 

1. Einsatz angemessener Spielelemente (game mechanics)
  • Sind optimale Spielformen passend zum Lernziel, zu den Lernprozessen und der Zielgruppe konzipiert?
  • Werden angemessene Spielelemente zum erfolgreichen spielerischen Lernen eingesetzt?
  • Unterstützt der Mix der Spielelemente (wie Spielpreise, Profi-/ Benutzerbewertungen, Leaderboards, Empfehlungen von Domain-Experten, etc.) den Lernprozess des Lehrenden?
2. Art und Unterstützung der Entwicklung spielerischer Kompetenzen
  • Ermöglichen die Spielwelten/Spielszenarien das Erreichen der vorgesehenen Lernziele mit Einhaltung von didaktischen Lernspiel- Qualitäten, wie Engagement, Motivation Konzentration, Empowerment?
  • Sind die Spielelemente so integriert das sie den Lern-/Trainingsprozess nicht beeinträchtigen/behindern?
  • Lern und Spielziele sind klar und angemessen, damit Lehrende auf die charakterisierenden Ziele hinarbeiten können. Lernziele sind obligatorisch?
  • Angemessene Feedbacks für die Spieler zum Fortschritt zu ihrer Leistung.
3. Innovation des spielerischen Lernens.
  • Die game mechanics/spielerische Lernmethoden des didaktischen digitalen Medienprodukts sind innovativ (neuartig).
Evaluierungsbereich III: Kompetenzorientierte Evaluierung
Anforderung an die Kompetenzförderung von SDB (CKP)

Bei der Bewertung im Comenius-Wettbewerb durch die Jury ist es sinnvoll, Lernspiele anhand der Ziele zu bewerten, die sich Spieler / Lernende gesetzt haben. Das heißt, es sollte bewertet werden, inwieweit das Lernspiel durch seine pädagogischen Heuristik, Standards, Lehrmethoden und technischen Mittel, die es einsetzt, in der Lage ist, das Wissen und die Fähigkeiten bereitzustellen, die es verspricht. Auf Basis vom Bloom’s Taxonomie (1956) der Hierarchie von Bildungszielen schauen wir in diesem Evaluierungsbereich auf die Bewertung der Kompetenzentwicklung:
– einerseits im Bereich der personenbezogenen Kompetenzen: kognitive, affektive, psychomotorische Kompetenzen und
– andererseits im Bereich der sozialen Kompetenzen.

Empowerment- Gestaltung durch spielerisches Lernen.

Anerkannte didaktische Qualitäten von Lernspielen sind Motivation, Mechanismus, Stärkung (empowerment) von persönlichkeitsbezogenen und sozial emotionalen Kompetenzen von Person und Teams. Die damit zusammenhängenden Kompetenzen werden in diesem dritten Evaluierungsbereich spezifiziert.

Kognitive Kompetenzen

Kognitive Kompetenzen sind erlernbare, kognitiv verankerte, wissensbasierte Fähigkeiten und Fertigkeiten, die auf eine erfolgreiche Bewältigung der Anforderungen im Alltags- und Berufssituationen zielen und im Lernspiel erworben werden können. Derartige Anforderungen sind Kompetenzen, die funktional bestimmt, erlernbar und überprüfbar sind (Stangl, 2015).
Manche kognitiven Kompetenzen, die von Stangl (2015) benannt werden, wie Wissen, Kreativität, kritisches Denken, Observation, Vergleich, Konfrontation, Auswertung, Interpretation, Analyse, Argumentation, Kontrollfähigkeit, Bezweifelung, Probleme lösen sind zu bewerten bei der Kompetenzentwicklung, die ein Lernspiel verfolgt. Welche relevant sind, ist abhängig vom spezifische Lernspiel. Als Beispiel benennen wir hier einige oft relevante Kompetenzen als Qualitätskriterien von Lernspielen.

Sozial-emotionale und ethische Kompetenzen

Kompetenz

Soziale Kompetenz ist nach Ansicht von Jansen, Melchers & Kleinmann (2012) die Fähigkeit, in unterschiedlichen Situationen die eigenen Ziele zu verfolgen, und dabei sozial angemessen zu handeln. Sozial angemessen handelt man, wenn die Bedürfnisse und Interessen des anderen berücksichtigt oder die eigenen Verhaltensabsichten gut erklärt werden (Stangl, 2015).
Emotionale Kompetenz bezeichnet das Erlernen emotionsbezogener Fähigkeiten (Emotionsausdruck, Emotionsverständnis, Emotionsregulation) und Empathiefähigkeit. Sozial-emotionale Kompetenz bezeichnet die Fähigkeit, die eigenen Gefühle auszudrücken, zu regulieren und zu verstehen und Verständnis für die Gefühle anderer aufzubringen. (Stangl, 2021). In diesem Zusammenhang können Spiele die Funktion erfüllen, Beziehungen aufzubauen.

Innovation des spielerischen Lernens – Involvement

Anerkannte didaktische Qualitäten, neben Stärkung von persönlichkeitsbezogenen und sozial emotionalen Kompetenzen, sind die Qualitäten von Lernspielen zum andauernden Engagement und zur Motivation. Dazu brauchen wir separate Aufmerksamkeit, um Involvement-und Empowerment-Qualitäten eines Lernspiels zu bewerten.

Technisch-multimediale Kompetenzen

In diesem Evaluierungsbereich unterscheiden wir zwei Bereiche:
– einerseits die nötige technologische Fähigkeit, die Lehrende und Lernende im Lernspiel benötigen;
– anderseits die technisch-multimedialen Kompetenzen und das Wissen, das sie im Spiel als Fähigkeiten, die im heutiges oder zukünftiges Berufsleben von entscheidende Bedeutung sind, erwerben. Viele der Bildungsmedien, die bisher im Rahmen des Comenius-Wettbewerbs eingereicht wurden, bezogen sich auf spezifische Kenntnisse, Fähigkeiten und Einstellungen in bestimmte Branchen oder Unternehmen. Zur Vorbereitung auf die nähere Zukunft sind allgemein nützliche Medialiteracy-Kompetenzen wichtig, allgemein nützliche multimediale Handlungskompetenzen, die man in Lernspielen erwerben kann. Daher halten wir es für angemessen, ein zusätzliches Kriterium zu spezialisierten medial-technischen Fähigkeiten und Kenntnissen aufzunehmen. Zum Evaluierungsbereich „Kompetenzorientierte Evaluierung“ gehören deshalb die nachfolgenden Qualitätskriterien.

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Kognitive Kompetenzen
2. Sozial-emotionale und ethische Kompetenzen
3. Innovation des spielerischen Lernens – Involvement
4. Innovation des spielerischen Lernens – Spielfreude
5. Technisch-multimediale Kompetenzen

Qualitätskriterien und Prüfaspekte

 

1. Kognitive Kompetenzen
  • Problemlösungsfähigkeit: viele Aufgaben (Challenges) im Lernspiel fördern kognitive Kompetenzen, wie kognitive analytische Informationsverarbeitung, Recherche, Handlungs und Planungsfähigkeiten beim Problemlösen.
  • Kreativität: Die Steigerung der Vorstellungskraft.
  • Persönliche Entwicklung: Die Herausforderungen im Spiel lösen das Kompetenzwachstum der Teilnehmer aus und stärken das „ Ich“, die eigene Stärkung der Entwicklung der Selbstkontrolle kritischen Denkens, des Argumentierens, des Bezweifelns, der Teamfähigkeit, der moralischen Urteilskompetenz, des Umgehens von sozialen (Spiel) Regeln, des Bewältigen von Niederlagen usw.
2. Sozial-emotionale und ethische Kompetenzen
  • Persönlichkeitsbezogen: Das Spiel unterstützt die Entwicklung von Selbstwahrnehmung und Selbstkontrolle. Spieler haben Kontrolle über ihre Aktionen im Spiel?
  • Selbstwahrnehmung: Die Selbstbeobachtung und Selbstwirksamkeit der Spielenden wird stimuliert und durch spielinterne Rückmeldungen gefördert.
  • Konsequenzen: Die eigenen Handlungen werden deutlich, in dem den Spielenden Aussagen über deren Spielverhalten, Erfolg und Misserfolg sowie Hinweise auf missachtete Regeln mitgeteilt werden.
  • Team Fähigkeiten: Wie werden im Multiplayer-Spiel die Teamfähigkeiten entwickelt (Wettbewerb, Kollaboration, Interaktionen und Feedback von anderen Spielern)?
  • Entscheidungs und Beurteilungskompetenz: Wie gelingt das spielerische Handeln in virtuell simulierten Welten des Lernspiels, inklusiv des Umgehens mit moralische Standpunkten und ethische Grundlagen?
3. Innovation des spielerischen Lernens – Involvement
  • Engagement: Werden positive Erfahrungen und damit andauernde Motivation während des Spielen sichergestellt?
  • Flow (gameflow): Bleibt das Lernspiel kontinuierlich spannend und unterhaltsam?
  • Das Spiel verfolgt einen „game-flow“: Wird ein Gleichgewicht zwischen den Fähigkeiten und der Herausforderung des Spielers (Csikszentmihaly) erreicht?
4. Innovation des spielerischen Lernens – Spielfreude
  • Das Spiel motiviert: Es bietet ein abwechslungsreiches Spielvergnügen?
  • Das Spiel engagiert: Es bietet ansprechende Erfahrungen für den verschiedenen Spielertypen?
  • Das Spiel ist adaptiv: Es passt sich dynamisch an den Schwierigkeitsgrad und die Leistung der aktuellen Spielers an.
  • Das Spiel passt sich an die Spieler an, um die Effektivität zu steigern (Übungen/Explorationen Wiederholungen)? Erhöhung vom Komplexität, wenn die Spieler besser werden.
5. Technisch-multimediale Kompetenzen
  • Koordination: Das Lernspiel fragt unterschiedliche sensomotorische Handlungsabläufe und Koordinaten der multimedialen Aktionen ab.
  • Steuerung und Reaktionsvermögen: Bietet das Spiel klare und leicht verständliche und verwendbare Orientierungsoptionen? Entspricht die erforderliche Flexibilität der Reaktion den aktuellen Standards in der zukünftigen Berufswelt?
  • Einführung in multimediale Mixed-Reality-Umgebungen: Im Lernspiel lernen Spieler mit neu(st)en digitalen multi/mixed media Umgebungen umzugehen.
  • Reflexion: Das Spiel bietet Ausgangspunkte für Medien und Spiel.
Evaluierungsbereich IV: Medial-technologische Gestaltung
Mediale Anforderungen an SDB (CKP)

Diese Kategorie befasst sich mit der Bewertung der medienbezogenen Anforderungen, die bei der Nutzung des SDB (CKP)s an Lehrende gestellt werden. Technologische Implementation und die Anforderungen die sie bei der Nutzung des SDB (CKP) stellt. Das Ermöglichen von unterhaltsamen Lernprozessen, die zum Lernerfolg und zu einer reichhaltigen Lernerfahrung führen, erfordert neben einer guten Lernspiel-Bilanz auch medial eine ausgezeichnete („ kohärente gesamt“) Gestaltung. Dabei spielen nicht nur die visuelle und auditive Gestaltung eine wichtige Rolle, sondern auch die Möglichkeiten der aktiven Gestaltung des
Computerspiels durch die Nutzerinnen und Nutzer. Zu den Prüfaspekten der medialen Anforderungen gehört die kreative Realisation der visuellen, auditiven, ästhetische Interaktions-Strukturen. Dazu gehört eine technologische Gestaltung, die zielgruppengerecht und kontextgerecht ist.

In dem Evaluierungsbereich der medial-technologische Gestaltung werdendazu folgende Qualitätskriterien geprüft.

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Medial technologische Realisation
2. Ausarbeitung im Kontext – Bilanz zwischen Spielen und Lernen
3. Ausarbeitung im Kontext – Abstraktion & Transfer Potential
4. Innovation

Qualitätskriterien und Prüfaspekte

 

1. Medial technologische Realisation
  • Wird das Zurechtfinden im „ Lernspiel“ sowie das Lernen im spielerischen „flow“ durch die mediale Realisation des Spiels garantiert?
  • Wo/Wie behindert oder unterstützt die technologische Gestaltung die Lernenden bei ihren Lernspiel-Aktivitaten im Lernspiel?
  • Wie finden sich die Spieler innerhalb der medialen Implementation (in der virtuellen Welt ,3D/AR-VR Mixed Realitäten) zurecht?
  • Wie konsistent ist die virtuelle Spielwelt gestaltet für die Lehrenden beim Lernspiel der virtuellen Spielwelt. Wie wohlfühlend ist die Darstellung der imaginären Welt gestaltet? Und wie angemessen istdie „High-Fidelity-Spielumgebung “ gestaltet, wenn z.B. die Simulation eine realitätsähnliche virtuelle Welt-Abbildung braucht?
  • Wie natürlich und effektiv ist virtuelle Kommunikation im Lernspiel realisiert?
  • Die mediale Gestaltung ist auf dem Stand der heutige Technik mit erkennbaren Effekten (visuell, akustisch, haptisch; sensorisch, multimedial). Sie ist qualitativ gut implementiert und anpassbar. Sorgen Sie für ein umfassendes Erlebnis, damit die Spieler das das Gefühl haben, „da zu sein“.
  • Die Gestaltung bietet ein klares Ecosystem, wo unnötige Informationen, mediale Präsentationen, Möglichkeiten und Elemente die Spieler nicht ablenken.
  • Sensomotorische und technische Anforderungen dürfen die Spieler nicht hindern oder einschränken.
2. Ausarbeitung im Kontext – Bilanz zwischen Spielen und Lernen
  • Das Lernspiel kennt eine gelungene Bilanz und Integration zwischen Lernen und spielerischen Elementen.
3. Ausarbeitung im Kontext – Abstraktion & Transfer Potential
  • Die entwickelten Kompetenzen im Lernspiel sind in andere Bereiche und Anwendungen einsetzbar.
  • Inhaltliche generische Kenntnisse sind übertragbar auf andere Lernbereiche.
  • Das Spiel bietet ausreichende Hilfe zur Abstraktion, damit Spieler virtuelle Spielwelten von den realen Welten klar abgrenzen können.
  • Das Spiel trägt auch zur Entwicklung spielerischer Lernkompetenz (game-media literacy) bei.
  • Spielerische Handlungsmuster können auf andere Spiele ähnlichen Genres angewendet werden.
4. Innovation
  • Die Realisierung des didaktischen digitalen Medienprodukts isttechnologisch innovativ/ neuartig.
Literatur

Annetta, L.A. (2010) The “I’s” have it: A framework for serious educational game design Review of General Psychology,
Caserman, P., Hoffmann, K., Müller, P., Schaub, M., Straßburg, K., Wiemeyer, J. & Göbel, S. (2020). Quality Criteria for Serious Games: Serious Part, Game Part, and Balance. JMIR serious games, 8(3).
Bloom, B. S.; Engelhart, M. D.; Furst, E. J.; Hill, W. H.; Krathwohl, D. R. (1956). Taxonomy of educational objectives: The classification of educational goals. Handbook I: Cognitive domain. New York: David McKay Company.
Checa, D., & Bustillo, A. (2020). A review of immersive virtual reality serious games to enhance learning and training. Multimedia Tools and Applications, 79(9), 5501-5527.
Deterding, Sebastian, Khaled, Rilla, Nacke, Lenard E., Dixon, Dan (2011). Gamification:Toward a Definition, CHI 2011 Gamification Workshop Proceedings, Vancouver, BC,Canada.
Fokides, E., Atsikpasi, P., Kaimara, P., & Deliyannis, I. (2019). Let players evaluate serious games. Design and validation of the Serious Games Evaluation Scale. ICGA Journal, 41(3), 116-137.
Greipl, S., Moeller, K., & Ninaus, M. (2020). Potential and limits of game-based learning. International Journal of Technology Enhanced Learning, 12(4), 363-389.
Grün, S., & Rosenberger,D (2017) Evaluierung von Computerspielen mit kompetenzförderlichen Potenzialen (SDB (CKP)) Qualitätsanforderungen und QualitätskriterienIn: Bauer, A & Mikuszeit, B.H. (2017) Lehren und Lernen mit Bildungsmedien Grundlagen – Projekte – Perspektiven – Praxis.
Guillén-Nieto, V., Aleson-Carbonell, M. (2012) Serious games and learning effectiveness: The case of It’s a Deal! Computers and Education, Volume 58, Issue 1, January 2012
Petri, G., & von Wangenheim, C. G. (2017). How games for computing education are evaluated? A systematic literature review. Computers & education, 107, 68-90.
Stangl, W. (2015) Online Lexikon für Psychologie und Pädagogik. Online verfügbar unter:
http://lexikon. stangl. eu/7024 speziel ,
https://lexikon.stangl.eu/8857/soziale-kompetenz/ (2021-01-11),
https://lexikon.stangl.eu/17243/emotionale-kompetenz/ (2021-01-11), und
https://arbeitsblaetter.stangl-taller.at/LEHREN/Computerspiele-Unterricht.shtml und
https://www.diepresse.com/688752/serious-games-der-ernst-des-spielens
https://www.diepresse.com/688752/serious-games-der-ernst-des-spielens
Auf basis Jansen, Melchers & Kleinmann (2012) Der Beitrag sozialer Kompetenz zur Vorhersage beruflicher Leistung Zeitschrift für Arbeits- und Organisationspsychologie A&O Apr 2012, Vol. 56, Issue 2, pp. 87-97

Anlage 1:
Bloom Lern Taxonomy – Game Types
Cognitive Skill
Game Types to Consider
Stufe 1: Wissen
Fakten und Ideen kennen und sich daran erinnern.
Quiz-, Arcade-, Matching- und Game-Show-Stile
Stufe 2: Verständnis
Verstehe die Fakten oder Ideen; in der Lage sein, sie genau zu erklären.
Quiz-, Sammel- und Klassifizierungsspiele, Erkundungsspiele, Erzählspiele
Stufe 3: Anwendung
Verwenden Sie Fakten oder Ideen, um Probleme zu lösen oder auf Situationen zu reagieren.
Story- oder szenarienbasierte Quizspiele, Matching-Spiele, Rollenspiele, Entscheidungsspiele mit Szenarien, Simulationen
Stufe 4: Analyse
Teilen Sie Informationen in Teile auf und identifizieren Sie Ursachen. Schlüsse ziehen und Verallgemeinerungen auf der Grundlage der Prüfung von Tatsachen bilden.
Strategiespiele
Stufe 5: Synthese
Organisieren und kombinieren Sie Informationen zu alternativen Lösungen.
Spiele bauen, Simulationen
Stufe 6: Bewertung/Kreation
Beurteilen Sie Informationen und Fakten anhand einer Reihe von Kriterien. Bilden Sie auf der Grundlage dieses Urteilen und Ideen und die verteidigen
Simulationen, Rollenspiele

 

Evaluierung von

Blended-Learning-Programmen (BLEP)

 

Blended-Learning-Programme (BLEP)

sind „Kombinationen von Lernen in Präsenzveranstaltungen mit E-Learning“(Arnold; Kilian; Thillosen; Zimmer 2018, 527). Blended-Learning-Programme und Blended-Learning-Kurse sind Lehr-und Lernkonzepte, die eine didaktisch sinnvolle Verknüpfung von Präsenz-Phasen, Online-Phasen und Phasen des selbständigen Lernens (E-Learning-Phasen) umfassen. Dabei werden digitale und analoge Formate und Methoden miteinander kombiniert. Sowohl in Präsenz- als auch E-Learning-Phasen können unterschiedliche digitale Medien genutzt werden. „Je höher der Anteil der virtuellen Phasen in einem Blended_learning-Szenario ist, umso größer ist die Bandbreite der Gestaltungsmöglichkeiten“ “(Arnold; Kilian; Thillosen; Zimmer 2018, 130). Die virtuellen Lehr- und Lernszenarien in einem Blended-Llearning-Programm werden vor allem durch die unterschiedlichen pädagogischen Verhältnisse zwischen Lehrenden und Lernenden oder die möglichen Kombinationen von qualitativen, technischen und didaktischen Aspekten bestimmt. Konkretisiert können diese Szenarien durch Folgende derzeit aktuelle, typische Ausprägungen, in denen digitale Medien eingesetzt werden:
– MOOCs (Massive Open Online- Courses);
– Flipped Classoom (auch Inverted Classroom genannt)
– Game Based Learning (spielbasiertes Lernen)
(Arnold; Kilian; Thillosen; Zimmer 2018, 147).

Zur Bewertung von Blended-Learning-Programmen (BLEP) werden folgende vier Evaluierungsbereiche empfohlen.

 

Evaluierungsbereiche
  • Evaluierungsbereich I: Kompetenzanforderungen
  • Evaluierungsbereich II: Pädagogisch-didaktisches Potential
  • Evaluierungsbereich III: Gestaltung und Nutzung
  • Evaluierungsbereich IV: Technische Qualität, Innovation und Marketing

——————————–
Anmerkung: In verschiedenen Publikationen wird statt von Blended-Learning auch von Blended-Education gesprochen. Diese Bezeichnung ist zweckmäßig, da damit Lehren und Lernen gleichermaßen betont werden. Da Blended-Learning in der Medienpädagogik eingeführt, in der Fachliteratur ein gängiger Begriff ist und in der Weiterbildungspraxis ausschließlich genutzt wird, verwendet das Projekt DigiMedia und die Comenius-Jury vor allem den Begriff Blended-Learning. Blended-Education wir in geeigneten Zusammenhängen synonym genutzt.

Evaluierungsbereich I: Kompetenzanforderungen
Pädagogisch-inhaltliche Anforderungen an Bildungsabsichten und Bildungsmöglichkeiten für Blended-Learning-Programme BLEP

Die Kompetenzanforderungen befassen sich mit den grundlegenden Kategorien von Bildung, mit den Zielen, Inhalten und Kompetenzen. Es werden die Bildungsabsichten und Bildungsmöglichkeiten für Blended- Learning-Kurse analysiert.
Das Setzen und Realisieren von Zielen und Teilzielen sind Grundvoraussetzungen und Orientierungen für erfolgreiches Lernen.
Welche Kompetenzen und Werte in den verschiedenen Lehr- und Lernszenarien im Zusammenhang mit der Zielgruppe erworben werden sollen, sind deshalb grundlegende Fragen für die Konzipierung von Blended-Learning-Kursen. Eng damit verbunden ist die Frage, welche Inhalte bzw. Stoffe, wie Fakten, Regeln, Begriffe, Gesetze, Methoden Relationen geübt, gelernt und angeeignet werden sollen. Die pädagogisch-inhaltlichen Anforderungen zur Konzipierung von Blended-Learning-Kursen sind deshalb ein übergreifender Ansatz, der diesen Evaluierungsbereich konstituiert. Dieser Evaluierungsbereich befasst sich mit folgenden Qualitätskriterien in einem Blended-Learning-Szenarium.

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Lernziel
2. Lerninhalt
3. Zielgruppe
4. Werte

Qualitätskriterien und Prüfaspekte

 

1. Lernziel
  • Alle Zielkomponenten des Blended-Learning-Programms (kognitive, affektive, psychomotorische, sozial-kommunikative) sind klar definiert und erkennbar.
  • Die Lernziele des Programms verfolgen ein für die Nutzer relevantes moralisches Problem.
2. Lerninhalt
  • Die Lerninhalte sind sachlich und wissenschaftlich korrekt dargestellt (Struktur, Auswahl, Menge und Dichte sowie Verknüpfung von Informationen, wesentliche Aussagen mit Bezug zum Allgemeinheitsgrad und zur Abstraktionsebene).
  • Die Lerninhalte sind mit den entsprechenden Bildungsprogrammen abgestimmt.
  • Die Bildungsinhalte sind nach pädagogischen Gesichtspunkten sinnvoll ausgewählt und begründet und sprechen aktuelle Themen an/sind aktuell..
3. Zielgruppe
  • Das Programmkonzept ist auf die Zielgruppe abgestimmt.
  • Vorhandene Erfahrungen, notwendige Vorkenntnisse und Fähigkeiten der Zielgruppe werden berücksichtigt (Wissen und Können, Emotionen und Haltungen, Aufmerksamkeits- und Konzentrationsvermögen, Umfeld).
  • Das Programm fördert (unterstützt) Integration und Inklusion der Zielgruppe.
4. Werte
  • Das Programm fördert ethische Orientierungen und Leitvorstellungen.
  • Das Programm fördert humane Gedanken und Werte.
  • Die angezielten Werte und Normen fördern die Würde des Menschen und solidarisches Verhalten.
  • Die angezielten Werte und Normen sind frei von Gewalt verherrlichenden, radikalen oder obszönen Darstellungen, ideologischer Beeinflussung, negativen Vorurteilen und gezielter Manipulation.
  • Der Inhalt des Programms ist frei von engem geschlechtsspezifischen Rollendenken und Vorurteilen gegenüber Individuen und gesellschaftlichen Gruppen.
  • Der konzipierte Lerninhalt ist geeignet die Erkenntnisse weiter zu geben (awareness raising).
Evaluierungsbereich II: Anforderungen an Präsenzphasen
Didaktisch-methodische Anforderungen an Präsenzphasen von Blended-Learning-Programmen

Die didaktisch-methodische Anforderungen an Präsenzphasen von Blended-Learning-Kursen befassen sich mit wesentlichen Aspekten des Lehrens und Lernens, insbesondere welche Lehr- und Lernszenarien in Blended-Learning-Kursen verfolgt werden. Die Didaktik als Wissenschaftsdisziplin der Pädagogik beschäftigt sich mit den Regeln des Lernens und den Zusammenhängen zwischen Lernen und Lehren. Unter didaktisch-methodischer Fragestellung wird nach der Methode sowie der Art und Weise der Vermittlung und der Aneignung von Kenntnissen und Kompetenzen gefragt. Die didaktisch-methodischen Anforderungen an Präsenzphasen bilden deshalb einen zweiten wesentlichen Evaluierungsbereich und strukturieren welche Anforderungen an qualitativ gute Blended-Learning-Kurse gestellt werden müssen.

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Didaktische Blended-Learning Ansätze und Phasen
2. Vermittlungs- und Lernformen in Präsenzphasen
3. Didaktische Schritte in Präsenzphasen
4. Didaktische Regeln und logische Lernverfahren
5. Didaktische Schwerpunkte der Präsenzphasen

Qualitätskriterien und Prüfaspekte

 

1. Didaktische Blended-Learning Ansätze und Phasen
  • Dem Blended-Learning-Programm liegt ein erkennbarer lerntheoretischer Ansatz zugrunde, beispielsweise ein eher objektivistischer, konstruktivistischer, traditionalistischer, wissenschaftsorientierter oder handlungsorientierter Ansatz. Der lerntheoretische Ansatz ist zweckmäßig umgesetzt und die Bildungsinhalte sind nach didaktischen Gesichtspunkten zweckmäßig strukturiert.
  • Das Blended-Learning-Konzept umfasst eine oder mehrere Präsenzphasen.
  • Die Präsenzphasen ordnen sich didaktisch zweckmäßig in das Gesamtkonzept des Kurses ein und sind mit
    E-Learning-Phasen zweckmäßig abgestimmt und verbunden.
  • Das Lehrszenario wird zweckmäßig in Form von „MOOCs (Massive Open Online- Courses)“k angeboten.
2. Vermittlungs- und Lernformen in Präsenzphasen
  • Methodische Grundformen für Präsenzphasen, wie darbietende, aufgebende und erarbeitende Formen, werden angewandt.
  • Mögliche und sinnvolle Kooperationsformen in Präsenzveranstaltungen, wie frontale Vermittlung, Partnerlernen, Gruppenlernen bzw. Einzellernen, wurden berücksichtigt.
  • In den Präsenphasen werden sinnvolle Kooperationsformen und Lernformen angewandt. Frontale, kooperative und individuelle Lernformen werden zweckmäßig kombiniert.
  • Die geplanten Präsenzphasen können leicht in die E-Learning Phasen umgewandelt werden.
  • P2P peer to peer/Gruppen Projekte werden gefördert und können in die Präsenz- sowie in die E-Learning Phasen durchgeführt und präsentiert werden.
3. Didaktische Schritte in Päsenzphasen
  • Wesentliche didaktische Schritte , die einen effektiven Lernprozess ermöglichen, werden in den Präsenzphasen folgerichtig angewandt:
    – Einführung und Aktivierung, Hinführung und Reaktivierung, Gruppendynamik – Vielfältigkeit stärken
    – Vermittlung und Verarbeitung, Vertiefung und Verallgemeinerung
    – Festigung und Anwendung, Wiederholen und Anwenden Systematisierung
    – Wertung und Auswertung, Vereinbarungen treffen.
  • Die vorgesehenen didaktischen Schritte ermöglichen unterschiedliches Arbeiten der Nutzer in Schwierigkeitsgrad und Tempo.
  • Die Abarbeitung der Lernschritte erfolgt emotional wirksam und motivierend.
  • Begleitung/Unterstützung sollte auch zu fixe Zeiten anwesend/erreichbar sein
4. Didaktische Regeln und logische Lernverfahren
  • Grundlegende didaktische Regeln und Prinzipien wurden bei der Kurskonzeption für die Präsenzphasen eingehalten, wie
    – Fasslichkeit
    – Wissenschaftlichkeit
    – Folgerichtigkeit
    – Anschaulichkeit
    – Vom Allgemeinen zum Besonderen
    – Vom Einfachen zum Komplizierten
    – Vom Leichten zum Schweren
    – Vom Nahen zum Entfernten
    – Vom Bekannten zum Unbekannten
    – Verbindung des Konkreten mit dem Abstrakten.
  • Logische Lernverfahren, wie Analysieren, Synthetisieren, Vergleichen, Differenzieren, Generalisieren, Abstrahieren, Verallgemeinern, Ordnen, Konkretisieren, sind im Kurs angelegt und werden gefördert.
5. Didaktische Schwerpunkte der Präsenzphasen

Das Blended-Learning-Konzept umfasst eine oder mehrere Präsenzphasen mit einigen der angeführten didaktisch-methodischen Schritte.

  • Präsenzphase A: Darbieten, Initiieren, Hinführen
    Themenpräsentation
    – Problemsituation
    – Impuls (Vortrag oder Medien)
    – Einführung in das Lernkonzept Blended Learning
    – Einführung in die eLearning-Phase (Umgang mit Internet, Medien und Kommunikationsarten)
    – Einführung in die genutzten Medien
    – Aufgabenstellung für die eLearning-Phase (einzeln oder in der Gruppe)
  • Präsenzphase B: Weiterführen, Vertiefen
    – Ergebnispräsentationen der Teilnehmer (einzeln oder in der Gruppe)
    – Feedback Regeln aufstellen
    – Diskussion der Lernergebnisse
    – Systematisierung des Themas, mögliche Einbeziehung von Medienangeboten
    – Aufgabenstellung für Weiterführungsphase zum Thema (Forum, Multimedia)
  • Weitere Präsenzphasen: Weiterführen, Vertiefen
    – wie Präsenzphase B in Abhängigkeit von der Themenstellung
Evaluierungsbereich III: Anforderungen an E-Learning-Phasen
Didaktisch-methodische Anforderungen an E-Learning-Phasen von Blended-Learning-Programmen

Die didaktisch-methodische Anforderungen an E-Learning-Phasen / Selbstlernphasen von Blended-Learning-Kursen befassen sich mit wesentlichen Aspekten vor allem des Lernens, insbesondere welche Lernszenarien in Blended-Education-Kursen verfolgt werden. Die Didaktik als Wissenschaftsdisziplin der Pädagogik beschäftigt sich mit den Regeln des Lernens und den Zusammenhängen zwischen Lernen und Lehren. Unter didaktisch-methodischer Fragestellung wird nach der Methode sowie der Art und Weise der Vermittlung und der Aneignung von Kenntnissen und Kompetenzen gefragt. Die didaktisch-methodischen Anforderungen an E-Learning-Phasen von Blended-Learning-Kursen bilden deshalb einen dritten wesentlichen Evaluierungsbereich und strukturieren, welche didaktisch-methodische Anforderungen an E-Learning-Phasen gestellt werden müssen.

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Didaktische Blended-Learning Ansätze und Phasen
2. Didaktisch-inhaltliche Aspekte der E-Learning-Phasen
3. Allgemeine Anforderungen an E-Learning-Phasen
4. Didaktische Regeln und logische Lernverfahren
5. Didaktische Schwerpunkte der E-Learning-Phasen

Qualitätskriterien und Prüfaspekte

 

1. Didaktische Blended-Learning Ansätze und Phasen
  • Dem Blended-Learning-Programm liegt ein erkennbarer lerntheoretischer Ansatz zugrunde. Der lerntheoretische Ansatz ist zweckmäßig umgesetzt und die Bildungsinhalte sind nach didaktischen Gesichtspunkten zweckmäßig strukturiert.
  • Das Blended-Learning-Konzept umfasst eine oder mehrere E- Learning-Phasen.
  • Die E-Learning-Phasen ordnen sich didaktisch zweckmäßig in das Gesamtkonzept des Kurses ein und sind mit den Präsenzphasen zweckmäßig abgestimmt und verbunden.
  • Die geplanten Präsenzphasen können leicht in die E-Learning Phasen umgewandelt werden.
  • Das Lernszenario wird zweckmäßig in Form von „Flipped Classoom (auch Inverted Classroom genannt)“ angeboten.
2. Didaktisch-inhaltliche Aspekte der E-Learning-Phasen

Die E-Learning-Phasen und die E-Learning-Angebote zeichnen sich durch folgende didaktisch-inhaltlichen Aspekte aus:

  • Curriculare Einbindung – Die E-Learning-Angebote sind in das Blended-Learning-Konzept didaktisch zweckmäßig integriert und sind für das Erreichen der Kursziele notwendig.
  • Lernprozessorientierung – Mit dem E-Learning-Angebot wird neues Wissen in einem aktiven Aneignungsprozess erarbeitet und nicht als ein Set von fertigen und eindeutigen Informationseinheiten übermittelt.
  • Kompetenzförderung – Die E-Learning-Angebote fördern und verstärken die Fach-, Methoden- und Sozialkompetenz aller Teilnehmer.
  • Förderung kooperativer Arbeits- und Lernformen – Die E-Learning- Angebote fördern kooperative Arbeits- und Lernformen sowie Modelle verteilter Wissensgemeinschaften.
  • P2P peer to peer/Gruppen Projekte werden gefördert und können in die Präsenz- sowie in die E-Learning Phasen durchgeführt und präsentiert werden.
  • Kontextualisierung – Die E-Learning-Angebote fördern die Vernetzung des Angebots mit anderen gesellschaftlichen Feldern (vor allem über das Internet).
3. Allgemeine Anforderungen an E-Learning-Phasen
  • Es kann zeit- und ortsunabhängig gelernt werden.
  • Teilnehmer können ihr Lerntempo selbst bestimmen.
  • Durch unterschiedliche medialen Angebote (Apps, Bild, Video, Ton, Animation, Text) und unterschiedliche Aufgabenstellungen
    (Praxisnähe, Theoretischer Zugang …) werden unterschiedliche Lerntypen angesprochen.
  • Der Lehrstoff ist didaktisch und methodisch gut aufbereitet und flexibel handhabbar.
  • Eine tutorielle Betreuung ist gesichert. Die Unterstützung/Begleitung ist auch zu geregelten Zeiten erreichbar.
4. Didaktische Regeln und logische Lernverfahren
  • Grundlegende didaktische Regeln und Prinzipien wurden bei der
    Kurskonzeption der E-Learning-Phasen eingehalten, wie
    – Fasslichkeit
    – Wissenschaftlichkeit
    – Folgerichtigkeit
    – Anschaulichkeit
    – Vom Allgemeinen zum Besonderen
    – Vom Einfachen zum Komplizierten
    – Vom Leichten zum Schweren
    – Vom Nahen zum Entfernten
    – Vom Bekannten zum Unbekannten
    – Verbindung des Konkreten mit dem Abstrakten.
  • Logische Lernverfahren, wie Analysieren, Synthetisieren, Vergleichen, Differenzieren, Generalisieren, Abstrahieren, Verallgemeinern, Ordnen, Konkretisieren, sind im Kurs angelegt und werden gefördert.
5. Didaktische Schwerpunkte der E-Learning-Phasen

Das Blended-Learning-Konzept umfasst eine oder mehrere E-Learning- Phasen mit einigen der angeführten didaktisch-methodischen Schritte.

  • E-Learning-Phase A: Begleiten, Erarbeiten, selbständiges Bearbeiten
    – Bearbeitung des Themas anhand eines Mediums und nach einer Aufgabenstellung (selbständiges Lernen)
    – Kommunikation mit Mitlernenden und Dozenten (Foren, Chat, Tutorial, P2P Gruppen)
    – Online-Zusammenarbeit (Workspace)
  • E-Learning-Phase B: Begleiten, selbständiges Bearbeiten
    – Weiterführung des Teilnehmer-Forums zum Diskurs unter den Teilnehmern (von Teilnehmern geleitet)
    – Einbeziehung weiterer Medienprodukte
  • Weitere E-Learning-Phasen: Begleiten, selbständiges Bearbeiten
    – wie E-Learning-Phasen B in Abhängigkeit von der Themenstellung und den Präsenzphasen
Evaluierungsbereich IV: Organisatorische und mediale Anforderungen
Anforderungen an Organisation und Medien für Blended-Learning-Programme

Die organisatorischen Anforderungen befassen sich mit grundlegenden arbeitsorganisatorischen Gesichtspunkten bei der Durchführung von Blended-Learning-Kursen und bei der Nutzung von didaktischen digitalen Medienprodukten. Das sind Fragen, die sich mit der nutzergerechten Gestaltung von Lehr- und Lernszenarien bzw. von Mensch-Computer- Schnittstellen befassen. Zu den Rahmenbedingungen des Blended-Learning- Projekts gehören neben der curricularen Verankerung auch der zur Verfügung stehende Kostenrahmen ebenso wie die Beratungs- und Supportkapazitäten, auf die zugegriffen werden kann. Außerdem sind Nutzungskomfort und Handhabung der didaktischen digitalen Medienprodukte für einen erfolgreichen Blended-Learning-Kurs von wesentlicher Bedeutung. Diese Kriterien sind deshalb in einer vierten Kriteriengruppe als Anforderungen an Organisation und Medien zusammengefasst. Bei diesen Anforderungen sind vor allem arbeitsorganisatorische Gesichtspunkte von Bedeutung wie Rahmenbedingungen, Bedienungseigenschaften, Handhabungsgesichtspunkte und Gebrauchseigenschaften. Die Arbeitsbedingungen für Lehrende und Lernende sind oft der Schlüssel zum Erfolg bzw. Misserfolg für einen Blended-Learning-Kurs. Weiterbildungsveranstaltungen können als institutionalisiertes kommunikatives Handeln angesehen werden, in dessen Mittelpunkt die Schaffung von Lernsituationen steht. Dozentinnen und Dozenten sowie Teilnehmerinnen und Teilnehmer müssen sich in einem Rahmen von institutionellen Bedingungen über ihre Ausgangslage, ihre Kursziel, über vermittelnde Variablen wie Verhalten, Lehr- und Lernverfahren, organisatorische Maßnahmen und die möglichen Erfolgskontrollen verständigen. Innerhalb dieser wechselseitig aufeinander wirkenden Handlungsaspekte wird die Organisation eines
Blended-learning-Kurses zu einer wichtigen Vermittlungsvariablen. Weiterbildungsorganisation bezieht sich auch auf die Organisation der Sozialformen der Weiterbildung. Die frontal geführten Präsenz-Phasen, die Offline und Online durchgeführt werden können, begünstigen vor allem rezeptives Lernverhalten. In der Gruppenarbeit ist die gesamte Lehr-Lern- Gruppe an der Planung und Durchführung des Unterrichts beteiligt. Die Selbstlernphasen ermöglichen am ehesten die Anpassung an den individuellen Lernfortschritt.

Zu den organisatorischen, kommunikativen und medialen Anforderungen gehören folgende Qualitätskriterien:

 

Qualitätskriterien dieses Evaluierungsbereiches

1. Rahmenbedingungen
2. Inhaltsadäquate und adressengerechte Auswahl und Gestaltung der didaktischen digitalen Medienprodukte
3. Multimedialität
4. Interaktivität
5. Adaptivität
6. Informationen zum Blended-Learning-Programm

Qualitätskriterien und Prüfaspekte

 

1. Rahmenbedingungen
  • Für die Durchführung des Blended-Learning-Programms steht eine technische Beratungs- und Supportkapazität zu geregelten Zeiten zur Verfügung.
  • Es ist sichergestellt, dass sich die Kursteilnehmer die nötigen technischen und medialen Kompetenzen selbstständig erwerben können.
  • Die für den Kurs erforderliche Hard- und Software steht in der Regel bereit bzw. kann problemlos beschafft werden.
  • Die Anforderung des Kurses für einen entsprechend ausgerüsteten Multimediaraum als Veranstaltungsort eine (z.B. eine kreisförmige Anordnung der Computerarbeitsplätze) werden dargestellt.
  • Die Anforderungen an das geplante Lehrpersonal, ihre Vorbereitung und Ausbildung, werden deutlich.
  • Die verschiedener didaktischer Variablen im Lehr- und Lernprozess zur Entwicklung von Lernmotivationen sind berücksichtigt, insbesondere die intrinsischen Motivation, z.B. zur Erlangung emotionaler Sicherheit, zur Mitbestimmung der Teilnehmer über die Organisation und Durchführung von Veranstaltungen, zur Zahl der Teilnehmer an Veranstaltungen, zur Fülle und Gliederung der zu vermittelnden Informationen im Hinblick auf die Zielgruppe.
2. Inhaltsadäquate und adressengerechte Auswahl und Gestaltung der didaktischen digitalen Medienprodukte
  • Die Auswahl der didaktischen digitalen Medienprodukte für den Blended-Learning-Kurs erfolgt inhaltsadäquat für die Präsenz- und E- Learning-Phasen.
  • Die didaktische Medienprodukte und die Medienkategorie wurden entsprechend dem Inhalt zweckmäßig gewählt. Die Lerninhalte sind mit den Möglichkeiten der Medienkategorie abgestimmt.
  • Es wurde die dem Inhalt gemäße multisymbolische Darstellungsform gewählt. Die multisymbolischen Darstellungsformen (Texte, Grafiken, Bilder, Videos, Audios etc.) sind korrekt und entsprechen ästhetischen Gesichtspunkten.
  • Das Medienprodukt wurde adressatengerecht gestaltet.
  • Darstellungsformen der Inhalte wie Sprache, Ton, Bild, Animation sind zielgruppengemäß.
3. Multimedialität
  • Die in dem Blended-Learning-Programm integrierten Medienprodukte können funktional, sinnvoll und lernunterstützend genutzt werden.
  • Die Lernkanäle werden lernunterstützend sinnvoll aktiviert (visuell, auditiv, haptisch, motorisch)
  • Es werden verschiedene Vermittlungs- und Kommunikationsformen angeboten.
  • Die ausgewählten Programme und Programmelemente (Tutorielles Programm, Simulation, Übung, Spiel, Nachschlagewerke etc. sind begründet, ergänzen sich und sind inhaltsadäquat.
  • Die Medienprodukte sind mit Mobiletelefonen kompatibel..
4. Interaktivität
  • Die in dem Blended-Learning-Programm integrierten Medienprodukte ermöglichen interaktives Arbeiten, Veränderung von Aufgabenstellungen und flexibles Reagieren entsprechend den unterschiedlichen Lernbedürfnissen und Lernvoraussetzungen.
    Rückmeldungen werden in variablen Formen, motivierend und effektiv angeboten.
  • Für Leistungsauswertungen werden zweckmäßige Möglichkeiten (wie Text, Ton, Grafik, Animation) angeboten. Falsche Lösungen werden in unterschiedlicher und variabler Weise kenntlich gemacht. Rückmeldungen falscher Lösungen erfolgen in motivierender Weise und bewerten die Antwort und nicht die Person.
  • Die Medienprodukte reagieren auf den Lernverlauf, indem der individuelle Leistungsstand analysiert wird und entsprechende Verzweigungen empfohlen werden.
  • Verzweigungen werden nach Antwort- und Lernverlaufsanalyse automatisch eingeschlagen und können frei gewählt werden. Verzweigungen sind in angemessener und überschaubarer Anzahl vorhanden. Durch Verzweigungen werden unterschiedlich schwierige und variierte Aufgabenformen angeboten.
  • Interaktivität zwischen Nutzer und den Medienprodukten werden ermöglicht, indem Aufgaben und Arbeitsaufträge gestellt, Lösungen gefordert und die Entwicklung von Lösungsstrategien gefördert werden.
  • Die Interaktivität wird unterstützt durch Abhängigkeit des Programmfortgangs von den Beiträgen und Aktivitäten des Nutzers, durch Auslösen von Aktivitäten des Nutzers, z.B. Sammeln von Daten, Erweitern von Informationen, durch Bereitstellung von Daten für die weitere Bearbeitung, durch Fehlermeldungen mit Sachbezug, durch sachliche und variable Bestätigung von Arbeitsergebnissen, durch Realisierung von LINKS zu anderen Medien bzw. durch Belohnungssysteme (Bestenliste, Spiele usw.).
  • Interaktivität wird durch Motivationssystem unterstützt (Bonuspunkte, Belohnungen, Level-Übersprung).
5. Adaptivität
  • Die Medienprodukte des Blended-Learning-Kurses ermöglichen die Anpassung an die Leistungsfähigkeit des Benutzers durch Änderungen der Grundeinstellung (z.B. Abstellen des Tones, Wechsel zwischen Text und Tonausgabe) und das Einstellen des Schwierigkeitsgrades (z.B. Aufgaben mit verschiedenen Schwierigkeitsstufen).
  • Das Einstellen des Zeitverhaltens (z.B. Einstellung der Reaktionszeiten nach Erfordernissen des Nutzers) wird durch die Medienprodukte gewährleistet.
  • Die Medienprodukte ermöglichen die Anpassung an die Leistungsfähigkeit des Benutzers durch die Art sowie den Umfang der Informationen (z.B. gesonderte und kombinierte Wahl von Text- oder Toninformationen).
  • Eine Anpassung des Hilfesystems (z.B. variables Angebot von Hilfen) wird durch die Medienprodukte ermöglicht.
6. Informationen zum Blended-Learning-Programm
  • Der Blended-Learning-Kurs ist in ausrechenden Maßen bekannt gemacht worden (Flyer, Internet, Presse)
  • Zum Blended-Learning-Kurs wird den Teilnehmern ein Studienmaterial bzw. geeignete Literatur bereitgestellt.
Literatur

Arnold, Patricia: Kilian, Lars; Thillosen, Anne; Zimmer, Gerhard (2018): Handbuch E-learning. Lehren und Lernen mit digitalen Medien. W. Bertelsmann Verlag Bielefeld.
Bauer, Thomas; Mikuszeit, Bernd: Lehren und Lernen mit Bildungsmedien. Peter Lang GmbH Frankfurt am Main, 2017. S.323 ff.

Comenius-Bewertungssystem mit Qualitätsanforderungen und Qualitätskriterien

Bernd Mikuszeit

Qualitätsanforderungen und Qualitätskriterien, die in der Bildungspraxis angewendet werden können, müssen gut strukturiert und übersichtlich konzipiert sein. Sie müssen Wesentliches betonen und Nebensächliches weglassen. Aus dieser Sicht wurde als Modell zur Medienbewertung das Comenius-Bewertungssystem konzipiert, das Übersichtlichkeit und Überschaubarkeit sichert. Dazu wurden 4 Evaluierungsbereiche (EB) konzipiert. Diese 4 Evaluierungsbereiche unterstreichen pädagogische, didaktische und mediale Akzentuierungen und umfassen folgende Anforderungsbereiche:

1. Anforderungen an Bildung bzw. Kompetenzen
2. Anforderungen an die Medienartspezifik
3. Anforderungen an Design und Gestaltung
4. Anforderungen an Technik und Anwendung

Im ersten Anforderungsbereich „Bildung bzw. Kompetenzen“ wurden grundlegende inhaltliche und pädagogische Anforderungen für Bildungsmedien zusammengefasst. Der zweite Anforderungsbereich befasst sich mit der „Medienartspezifik“ mit Anforderungen zu Didaktik, Methodik, Information, Unterrichtsphasen oder Lernarrangements. Die Anforderungen an „Design und Gestaltung“ im dritten Bereich befassen sich mit der Gestaltung und medialen Aufbereitung der Bildungsmedien. Im vierten Anforderungsbereich „Technik und Anwendung“ werden Anforderungen zur Benutzung, zur technischen Umsetzung und zu Organisation und Nachhaltigkeit analysiert. Ortner vergleicht die vier Qualitätsbereiche für didaktische Multimediaprodukte mit den vier Blättern eines glücksbringenden Kleeblattes. Das didaktische Multimediaprodukt, das mit allen vier Blättern umfassend ausgestattet ist, ist mit Sicherheit ein sehr qulitativ hochwertiges Bildungsmedium (Ortner 2003, S. 20).
Jedem Evaluierungsbereich wurden jeweils 6 Qualitätskriterien (QK) zugeordnet. Sicher hätten weitere Qualitätskriterien formuliert werden können. Um Übersichtlichkeit zu gewährleisten, erfolgte die Konzentration auf jeweils 6 Qualitätskriterien. Dabei muss davon ausgegangen werden, dass die 6 Qualitätskriterien bezogen auf die Gesamtheit der Medien einer Medienart zutreffen, aber nicht alle bei jedem Medium gleichzeitig zutreffen müssen. Der Grad der Ausprägung jedes Qualitätskriteriums wird aus der Sicht der Erfüllung von mindesten zwei Prüfaspekten/Indikatoren bestimmt. Die Realisierung der Prüfaspekte und Indikatoren kann numerisch (1 bis 5 oder 0 wenn ein QK nicht zutrifft/nicht geeignet für die Bewertung des Produktes ist) und verbal bestimmt werden.

Die 4 Evaluierungsbereiche werden auch bei der Comenius-EduMedia-Bewertung eingesetzt. Beispielsweise sind das für Didaktische Multimediaprodukte (DMP) die Evaluierungsbereiche

– „Pädagogisch-inhaltliche Anforderungen“,
– „Didaktisch-methodische Anforderungen“,
– „Medial-gestalterische Anforderungen“ und
– „Benutzerorientiert-technische Anforderungen“.

Genauso haben wir für die Comenius-EduMedia-Bewertungen 6 Qualitätskriterien mit verschiedenen Prüfaspekten, als praktisches Instrumentarium für Begutachtung und Bewertung, konzipiert. Mathematisch ausgedrückt sind bei der Konzipierung des Bewertungssystems die magische Vier, die 4 Evaluierungsbereiche, mit der magischen Sechs, den 6 Qualitätskriterien, verbunden worden. Erst wenn alle 4 Evaluierungsbereiche mit ihren jeweils 6 Qualitätskriterien geprüft und erfüllt sind, können wir von einem ausgezeichneten Bildungsmedium sprechen.

Comenius-Bewertung – Prüf- und Bewertungsverfahren für digitale Bildungsmedien

Die Comenius-Auszeichnungen werden auf der Grundlage eines wissenschaftlich fundierten Bewertungssystems vergeben. Die Kriterien orientieren sich vor allem an den Bildungsabsichten, didaktischen Möglichkeiten und dem Bedienungskomfort für den vorgesehenen Nutzer der Bildungsmedien. Die Anwendung des Comenius-Bewertungssystems mit den Qualitätskriterien ermöglicht eine schnelle, ökonomische und konzeptionsorientierte Prüfung der Qualität von Multimediaprodukten und Bildungsmedien. Zur Prüfung vom Multimediaprodukten und Bildungsmedien wurde als Comenius-Bewertung eine arithmetische Kriterienbewertung und eine verbale Konzeptionsbewertung entwickelt und im Rahmen der Comenius-EduMedia- Wettbewerbe der GPI erprobt und evaluiert. Mit Hilfe einer arithmetischen Kriterienbewertung kann eine schnelle und ökonomische Bewertung vorgenommen werden. Vorteile dieses Vorgehens sind vor allem geringer Aufwand und vergleichbare Ergebnisse. Der Nachteil dieses Verfahrens liegt darin, dass gegebenenfalls bestimmte Schwerpunkte, die dem Multimediaprodukt bzw. dem Bildungsmedium und der pädagogischen und medialen Konzeption zugrunde liegen, bei der Abarbeitung der Kriterien nicht genügend berücksichtigt werden können. Deshalb wird die arithmetische Kriterienbewertung mit einer verbalen Konzeptionsbewertung vervollständigt, die sich am Kriterienkatalog orientiert, aber sowohl lerntheoretische und mediale Schwerpunkte als auch die Gesamtkonzeption des Multimediaprodukts bzw. des Bildungsmediums umfassend berücksichtigen kann. Für die Auszeichnungen bei Comenius-Edumedia-Awards wird also eine arithmetische Kriterienbewertung und eine verbale Konzeptionsbewertung vorgenommen.

Aritmetische Kriterienbewertung von Digitalen Bildungsmedien (Kurzbewertung, qantitativ)

Um relativ schnell zu einem angenäherten Qualitätsurteil zu kommen, ist es zweckmäßig, eine arithmetische Kriterienbewertung durchzuführen. Diese Bewertung kann mit Hilfe des Comenius-Bewertungsbogens, der alle Qualitätskriterien und Prüfaspekte / Indikatoren enthält, durchgeführt werden. Im Mittelpunkt dieser Bewertung steht die Frage, in welchem Umfang das Qualitätskriterium konzipiert wurde bzw. realisiert werden kann. Anhand verschiedener Prüfaspekte / Indikatoren ist die Bewertung unkompliziert möglich. Qualitätskriterien, die bei einem Bildungsmedium bzw. Multimediaprodukt nicht zutreffen werden nicht bewertet (0 Punkte). In der folgenden Übersicht ist die Kurzbewertung für einen Prüfaspekt zusammengefasst:

 

Bewertung
Prüfung (arithmetisch/5er-Skalierung) nach Qualitätskriterien und Prüfaspekten / Indikatoren (zutreffendes bitte auswählen):
5 Punkte (sehr gut, beispielhaft, hervorragend) Der Prüfaspekt ist in hervorragender Art und Weise
konzipiert und realisierbar.
4 Punkte (gut, gelungen, empfehlenswert) Der Prüfaspekt ist in gelungener Art und Weise
3 Punkte (befriedigend, zweckmäßig, geeignet) Der Prüfaspekt ist in befriedigender Art und Weise
konzipiert und realisierbar.
2 Punkte (ausreichend, genügend, verwendbar) Der Prüfaspekt ist in ausreichender Art und Weise
konzipiert und realisierbar.
1 Punkt (mangelhaft, nicht zu empfehlen) Der Prüfaspekt ist mangelhaft konzipiert und kaum realisierbar.
0 Punkte (nicht zutreffend) Prüfaspekt ist für das Produkt nicht zutreffend

 

Nach der Bewertung aller Prüfaspekte zu den Qualitätskriterien einer der vier Evaluierungsbereiche einer Mediengruppe (z.B. bei der Produktgruppe DMP: pädagogisch- inhaltliche, didaktisch-methodische, medial-gestalterische und benutzerorientiert-technische Evaluierung) ergibt sich jeweils ein arithmetisches Mittel der für die Qualitätskriterien vergebenen Punkte.
Die arithmetischen Mittel, die sich nach der Kurzbewertung einer Bewertungsgruppe ergeben, sollten folgendermaßen interpretiert werden:

 

Interpretation der durchschnittlichen Punktzahl
einer Kriteriengruppe
4,5 – 5 Punkte Die Qualitätskriterien der Kriteriengruppe sind in hervorragender Art und Weise konzipiert und realisierbar. sehr gut (1)
3,5 – 4,4
Punkte
Die Qualitätskriterien der Kriteriengruppe sind in gelungener Art und Weise konzipiert und realisierbar. gut (2)
2,5 – 3,4
Punkte
Die Qualitätskriterien der Kriteriengruppe sind in befriedigender Art und Weise konzipiert und
realisierbar.
befriedigend (3)
1,5 – 2,4
Punkte
Die Qualitätskriterien der Kriteriengruppe sind in ausreichender Art und Weise konzipiert und
realisierbar.
ausreichend (4)
1,4 Punkte und
weniger
Die Qualitätskriterien der Kriteriengruppe sind mangelhaft konzipiert und kaum realisierbar. mangelhaft (5).

 

Die Gesamtbewertung ist die Summe der jeweiligen arithmetischen Mittel der vier Evaluierungsbereiche.
Mit dieser Bewertung wird gesichert, dass die vier Evaluierungsbereiche zwar gleichrangig behandelt in die Gesamtbewertung einfließen, aber z.B. bei DMP in zwei Evaluierungsbereichen pädagogische und didaktische Aspekte dominieren und 50% der Bewertung ausmachen. Darin spiegelt sich die grundlegende Absicht für das Comenius- Bewertungs- und Prüfverfahren von Bildungsmedien wieder, bis zu 50 % aller Prüfaspekte pädagogisch und didaktisch zu determinieren. Auf diese Art und Weise können bereits 10 Punkte von maximal 20 Punkten erreicht werden.

Die erreichte Gesamtpunktzahl kann folgendermaßen interpretiert werden:

Interpretation der Gesamtpunktzahl
18,0 – 20 Punkte beispielhaftes didaktisches Bildungsmedium sehr gut (1)
14,0 – 17,9 Punkte Der Prüfaspekt ist in hervorragender Art und Weise konzipiert und realisierbar. gut (2)
10,0 -13,9 Punkte Der Prüfaspekt ist in gelungener Art und Weise befriedigend
(3)
6,0 – 9,9 Punkte Der Prüfaspekt ist in befriedigender Art und Weise konzipiert und realisierbar. ausreichend (4)
5,9 Punkte und weniger Der Prüfaspekt ist in ausreichender Art und Weise konzipiert und realisierbar. mangelhaft (5).

 

Im Comenius-EduMedia-Wettbewerb werden Produkte mit einer Bewertung von mehr als 18 Punkten für die Auszeichnung mit einer Comenius-Medaille und Produkte mit einer Bewertung zwischen 10 und 18 Punkten für die Auszeichnung mit einem Comenius-Siegel vorgeschlagen.

Comenius-EduMedia-Award – Vergabeverfahren

Zur Ermittlung der Comenius-EduMedia-Auszeichnungen wird ein zweistufiges Vergabeverfahren angewendet:

1. Stufe: Comenius-EduMedia-Siegel (Rating)
Alle zum Comenius-Wettbewerb eingereichten digitalen Produkte werden nach dem oben beschriebenen Comenius-Bewertungssystem und den Qualitätskriterien bewertet. Bei einer Gesamtpunktezahl von über 10 Punkten wird das Bildungsmedium mit dem Comenius- EduMedia-Siegel ausgezeichnet. Produkte mit einer Gesamtpunktezahl von über 18 Punkten oder mit einer herausragender verbalen/qualitativen Bewertung werden für die zweite Stufe und für die Vergabe der Comenius-EduMedia-Medaille nominiert.

2. Stufe: Comenius-EduMedia-Medaille (Ranking)

Die Vergabe von Comenius-EduMedia-Medaillen erfolgt nach Juryentscheidungen aus der Gruppe der besten digitalen Bildungsmedien, denen das Comenius-EduMediaSiegel zuerkannt wurde.

The only European media award that is awarded independently of providers and producers.