Qualität von OER

Internationale Bestandsaufnahme von Instrumenten zur Qualitätssicherung von Open Educational Resources (OER) – Schritte zu einem deutschen Modell am Beispiel der Hamburg Open Online University

Olaf Zawacki-Richter

Kerstin Mayrberger

Die HOOU ist ein hochschulübergreifendes Projekt, welches durch das Netzwerk aus den sechs staatlichen Hamburger Hochschulen – der Universität Hamburg (UHH) mit dem Universitätsklinikum Hamburg-Eppendorf (UKE), der Technischen Universität Hamburg (TUHH), der Hochschule für Angewandte Wissenschaften Hamburg (HAW Hamburg), der HafenCity Universität (HCU), der Hochschule für bildende Künste (HFBK) und der Hochschule für Musik und Theater (HFMT) – sowie der Behörde für Wissenschaft, Forschung und Gleichstellung (BWFG), der Senatskanzlei sowie dem Multimedia Kontor Hamburg (MMKH) getragen wird.

www.hoou.de

Inhalt

1 Einführung

2 Qualität im Kontext von Lernmaterialien / OER

2.1 Der Qualitätsbegriff im Bildungsbereich

2.2 Open Educational Resources (OER)

2.2.1 Verständnis von OER und Offenheit an der HOOU

2.2.2 Granularität von OER

2.3 Qualitätsdimensionen im Kontext von Lernmaterialien/OER

3 Übersicht internationaler Ansätze zur Qualitätssicherung von Lernmaterialien / OER

3.1 Methodische Vorüberlegungen

3.2 Weitere Unterscheidungsmerkmale von Evaluationsansätzen

3.3 Internationale Ansätze zur Qualitätssicherung von OER

3.3.1 Learning Object Review Instrument (LORI)

3.3.2 MERLOT Rubric

3.3.3 Framework for Assessing Fitness for Purpose in OER (Jung et al.)

3.3.4 OER Rubric der Achieve Organisation

3.3.5 Learning Object Evaluation Instrument (LOEI)

3.3.6 Learning Objects Quality Evaluation Model (eQNet)

3.3.7 Rubric to Evaluate Learner Generated Content (LGC)

3.3.8 Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

3.4 Zwischenfazit

4 Qualitätskriterien mit Blick auf OER

4.1 Technische Kriterien

4.1.1 Usability (Nutzerfreundlichkeit)

4.1.2 Accessibility (Zugänglichkeit)

4.1.3 Reusability (Wiederverwendbarkeit)

4.2 Pädagogisch-didaktische Kriterien

4.2.1 Content (Inhaltliche Qualität)

4.2.2 Learning Design

4.2.3 Assessment

4.3 IPR-Kriterien

4.4 Zusammenfassung

5 Schlussfolgerungen für die HOOU

5.1 Verständnis von OER

5.2 Qualitätssicherungsinstrumente

5.3 Qualitätssicherungsverfahren

6 Literatur

7 Anhang

Autoren

1 Einführung

Die vorliegende Studie stellt einen ersten Schritt dar, um sich systematisch mit der Frage nach der Entwicklung und Sicherung von Qualität von Open Educational Resources (OER) auseinandersetzen. Zugleich stellt sie einen ersten Schritt zu einem deutschen Qualitätsmodell für OER dar.

Im Zuge der Diskussionen im deutschsprachigen Raum um das Thema Openness im Bildungsbereich gab es insbesondere in den letzten Jahren eine Reihe von Bestandsaufnahmen (vgl. u. a. das vom BMBF geförderte und von Wikimedia koordinierte Projekt „Mapping OER“ 1 und die Machbarkeitsstudie zu einer OER Infrastruktur im Bildungsbereich (Deutscher Bildungsserver 2016) sowie zuvor eine Reihe von White Paper für die Bereiche Schule, Hochschule und Weiterbildung 2, die die Thematik OER und eine entsprechende Praxis breit erörtert und dokumentiert haben. Darüber hinaus gab es eine Vielzahl von Projekten und Handreichungen.

Das Thema Qualität spielt hierbei immer eine Rolle, wird allerdings sehr ambivalent betrachtet. Galt es die letzten Jahre zumeist, erst einmal eine Kultur und Praktik für Offenheit und das Teilen zu schaffen und möglichst viele Personen von der Idee OER sowie der dazugehörigen Open Educational Practice (OEP) durch vielfältige (Qualifizierungs-)Angebote zu überzeugen, wurde die Frage der Qualität von OER tendenziell nachgelagert. Dies mag daran liegen, dass eine Auseinandersetzung mit Fragen der Qualität erst einmal einen Widerspruch zum Gedanken einer Openness darstellt, denn Kriterien anzulegen heißt immer auch, dass man ihnen potenziell nicht genügen kann und es damit konkret gesprochen tendenziell bessere und schlechtere OER geben wird, die auch entsprechend erkennbar wären. Diese Ambivalenz zwischen Inklusion und Exklusion für ein solch relativ normativ aufgeladenes und sensibles Thema ist einerseits nachvollziehbar – man denke nur an die Diskussionen rund um die systematische Einführung von Lehrevaluationen in der Hochschullehre. Doch braucht es mittlerweile auch eine Auseinandersetzung mit Fragen der Qualität, da dieses sonst zu einem sehr großen Kritikpunkt an OER im Vergleich zu Bildungsmedien anderer Art avancieren könnte. Dass OER hierbei nicht wie herkömmliche Bildungsmedien behandelt werden können, sondern einer Spezifikation bedürfen und einer behutsamen Herangehensweise, zeigen erste Überlegungen aus dem Kontext des Hochschulbereichs (vgl. Ebner et al. 2017).

Auch die vorliegende Studie hat ihren Anlass aus der akademischen Lehre bezogen, in dem sich aus dem Kontext des Verbundvorhabens „Hamburg Open Online University – HOOU“ heraus eine entsprechende Problemstellung herausgebildet hat (Mayrberger 2016).

Denn die „Qualitätsfrage“ wurde neben den Aspekten der Institutionalisierung oder rechtlichen Fragestellungen als strategisch relevant für das Verbundprojekt identifiziert.

Im Projektbericht zur Vorprojektphase 2015 / 2016 wird die Leitidee für die HOOU, in der Offenheit und OER zentrale Elemente sind, wie folgt beschrieben (Bessenrodt-Weberpals, et al. 2017):

Die Idee der Hamburg Open Online University (HOOU) basiert zuvorderst auf dem Grundgedanken der Openness, die sich in einer sozialen, formalen und rechtlichen, technischen sowie in besonderem Maße mediendidaktischen Öffnung widerspiegelt. Übergeordnetes Ziel der Hamburg Open Online University (HOOU) ist es, eine Öffnung der Hochschulen zu erreichen und zeitgemäße, webbasierte Lehr- und Lernangebote zur Nutzung durch unterschiedliche Zielgruppen zur Verfügung zu stellen. (S. 9)

Im Hinblick auf die Qualitätsfrage von OER an der HOOU hat man sich auf die folgenden Maßgaben bzw. leitenden Fragestellungen als „Eckpfeiler“ verständigt (vgl. ebd. S. 15 f.):

– Es soll nicht um eine „triviale Standardisierung“ der Qualitätssicherung gehen, die Kreativität behindern würde. Eine „OER-Kontrollstelle“, die schematisch mit Checklisten arbeitet, ist nicht gewünscht.

– Leitend für das HOOU-Projekt ist eine Lernendenorientierung. Beiträge von Studierenden, die selbst OER erstellen (Stichwort „User-generated content“), sind besonders willkommen, wobei der Qualitätssicherung eine noch gesteigerte Bedeutung zukommt.

– Inhalte, die im Rahmen der HOOU erstellt werden, sollen der Grundidee der freien und offenen Lizensierung von OER gerecht werden. Eine Kultur des Teiles (Open Educational Practice) soll gefördert werden, wobei unterschiedliche Fachkulturen und Sichtweisen berücksichtigt werden sollen.

– Es ist geplant, in das OER Repositorium der HOOU auch Inhalte von Hochschulen außerhalb des HOOU-Verbundes aufzunehmen bzw. diesbezüglich Kooperationen mit Hochschulen außerhalb Hamburgs einzugehen. In diesem Zuge wird die Entwicklung eines HOOU-Labels für OER als Qualitätssiegel angestrebt, wobei nicht ausgeschlossen wird, dass das Ergebnis auch darin bestehen könnte, eine Begründung dafür zu erarbeiten, warum es kein HOOU-Label geben sollte oder kann.

Die Notwendigkeit einer relevanten Auseinandersetzung mit dem, was eine Qualität von OER ausmacht, beginnt – um hier ein Beispiel aus der Praxis der HOOU heranzuziehen – schon mit der Frage, was eine „richtige“ OER darstellt. Es stellt sich also auch hier die Frage nach dem Qualitätsverständnis von OER im Besonderen und offenen Bildungsmaterialien im weiteren Sinne. Die HOOU hat entsprechend eine vorläufige Arbeitsdefinition dessen, was HOOU-Materialien ausmachen, zu ihrem Launch im September 2017 bestimmt 3. Knapp gefasst wird hier die Position vertreten, dass ein weiterer Begriff von OER angelegt wird, als er beispielsweise in der derzeit viel zitierten Definition von OER der UNESCO (2015) gilt: „Open Educational Resources (OERs) are any type of educational materials that are in the public domain or introduced with an open license. The nature of these open materials means that anyone can legally and freely copy, use, adapt and re-share them. OERs range from textbooks to curricula, syllabi, lecture notes, assignments, tests, projects, audio, video and animation.“ 4

In der HOOU gelten mit Bezug auf die Abstufung von Lizensierungen (wie es bei creative commons mit Ausrichtung auf den Grad der Offenheit erfolgt 5) sowohl Lizenzformen von CC 0 bis CC BY NC und CC BY NC SA für Personen in der Funktion als Bildungsmedienproduzierende an staatlich finanzierten Bildungseinrichtungen als auch „richtige“ OER. Daher wird derzeit die Formulierung „Offene Bildungsmaterialien der HOOU“ für Materialien herangezogen, die eine kommerzielle Nutzung ausschließen.

Materialien mit weniger offenen Lizenzierungen als die angeführten, die im Rahmen der HOOU-Projekte entstanden sind und immer wieder entstehen werden, werden einfach als „Bildungsmaterialien der HOOU“ bezeichnet und ebenso über die HOOU-Plattform verfügbar gemacht.

Nachdem zwar eine erste Positionierung erfolgt ist, was unter OER gefasst wird, bleibt dennoch offen, welche Qualitätssicherung zur Idee der HOOU passt. Denn spätestens mit Blick auf die Einbindung weiterer Akteure sowie weiterer Bildungsorganisationen und einer großen Zahl an Lernenden mit ihren User-Generated-Contents (UGC) stellt sich die Frage, welche Inhalte in welcher Form auf der Plattform präsentiert werden – und wo begründet Grenzen gezogen werden.

Nachfolgend wird die Herausforderung, sich mit den Grenzen der Offenheit am Beispiel der Frage nach der Qualität von Bildungsmedien in Form von OER auseinanderzusetzen, entlang von fünf Abschnitten behandelt: Zunächst werden Überlegungen zum Qualitätsbegriff und zu Qualitätsdimensionen im Kontext von Lernmaterialien / OER angestellt (Abschnitt 2). Es folgt ein Überblick über internationale Ansätze zur Qualitätssicherung von Lernmaterialien / OER (Abschnitt 3), woraufhin eine synoptische Darstellung von Qualitätskriterien mit Blick auf OER erstellt wird (Abschnitt 4). Daraus werden Empfehlungen für Qualitätssicherungsinstrumente für die HOOU abgeleitet, die im Rahmen eines Workshops mit Stakeholdern diskutiert werden (Abschnitt 5), um schließlich Empfehlungen für ein Qualitätssicherungsverfahren für OER an die HOOU geben zu können (Abschnitt 6).

1 http://mapping-oer.de/ und hier der Fokus auf Qualitätssicherung: http://mapping-oer.de/themen/qualitaetssicherung/ (Zugriff am 31.10.2017)

2 https://open-educational-resources.de/materialien/oer-whitepaper/ (Zugriff am 31.10.2017)

3 https://www.hoou.de/footer-items/ea4bff0d-c09a-4764-a3eb-c4b881b0136d (Zugriff am 31.10.2017)

4 http://www.unesco.org/new/en/communication-and-information/access-to-knowledge/open-educational-resources/what-are-open-educational-resources-oers/ (Zugriff am 31.10.2017)

5 https://de.wikipedia.org/w/index.php?title=Creative_Commons&oldid=170308127 und hier besonders https://upload.wikimedia.org/wikipedia/commons/3/3d/Creative_Commons_Lizenzspektrum_DE.svg (Zugriff am 30.09.2017)

2 Qualität im Kontext von Lernmaterialien / OER

2.1 Der Qualitätsbegriff im Bildungsbereich

Um Qualitätssicherungsinstrumente für ein mögliches Qualitätssicherungsverfahren für Lernmaterialien / OER zu betrachten, gilt es zunächst, den Qualitätsbegriff im Bildungsbereich zu beleuchten. Ganz allgemein wird vom Deutschen Institut für Normung e. V. (DIN) in der Norm zum Qualitätsmanagement (ISO 9000) Qualität wie folgt definiert: „Qualität ist das Vermögen einer Gesamtheit, inhärenter Merkmale eines Produktes, Systems oder Prozesses zur Erfüllung von Forderungen von Kunden und anderen interessierten Parteien“. Qualität gibt in diesem Sinne an, in welchem Maße ein Produkt oder eine Dienstleistung bestimmte Anforderungen erfüllt.

Qualität ist jedoch immer kontextabhängig, sodass es keinen allgemeingültigen Qualitätsbegriff geben kann: „Qualität ist keine absolute Größe, sondern immer abhängig von dem jeweiligen Kontext, auf den sie sich bezieht“ (Ehlers, 2011, S. 56). Eine Definition, was Qualität bedeutet, wird im jeweiligen Anwendungs- und Praxisfeld festgelegt. Qualität ist also immer eine normative Setzung und interessengeleitet. An der Hochschule gilt sicherlich nicht die einfache Formel „Qualität ist, was der Kunde wünscht!“. Ein Bildungsangebot ist kein Produkt oder eine Dienstleistung, die an Kunden ausgeliefert wird, sondern bedarf der Mitwirkung der „Kunden“, d. h. der Lernenden. Die Lernergebnisse sind in hohem Maße auch von ihnen selbst abhängig. Es handelt sich hier also um einen „interaktiven Prozess mit offenem Ausgang“ (ebd., S. 61). Ehlers plädiert daher für ein Qualitätsverständnis aus Sicht der Lernenden.

Im Bildungsbereich hat es dementsprechend eine lange Qualitätsdebatte gegeben, zu deren Geschichte hier auf Bülow-Schramm (2006) verwiesen sei. Die Entwicklung von Qualitätssicherungsverfahren und Evaluation an Hochschulen ist einzubetten in die Forderung nach einer Bilanzierung der Erträge der Bildungsexpansion in den 1960er und 1970er Jahren bei immer knapper werdenden öffentlichen Mitteln und der wachsenden Autonomie der Hochschulen mit dem Ziel einer Steuerung durch Selbstverpflichtung und Wettbewerb.

Ehlers (2011) systematisiert die Diskussion um Qualität im Bildungs- und Sozialbereich anhand von drei Dimensionen: nach unterschiedlichen Qualitäten (z. B. des Inputs, des Kontextes, des Prozesses, des Outputs), nach den unterschiedlichen beteiligten Akteuren (z. B. Lernende, Lehrende, Programmverantwortliche, die Hochschulleitung) und nach unterschiedlichen Praxisfeldern, auf die sich die Diskussionen um Qualitätssicherungsansätze beziehen (z. B. produktbezogen, anwenderbezogen, fertigungsbezogen). Entlang dieser Dimensionen und einer Synthese verschiedener Qualitätsansätze entwickelt Ehlers (2011) ein integriertes fünfstufiges Qualitätsmodell im Kontext von E-Learning und Weiterbildung, wodurch ein umfassendes Raster möglicher Qualitäten entsteht (Kontextqualität, Inputqualität, Prozessqualität, Ergebnisqualität, Impactqualität).

Qualitätskontext

Qualitäten

Vor der Bildungsmaßnahme

Interaktion:

Lernender – Umwelt Lernender – Arbeitskontext Lernender – Bildungsinstitution

Kontextqualität (Organisationelle Voraussetzungen)

Organisationeller Kontext der Bildungs- und Trägerinstitution, Bedürfnisse, initiale Motivationskontexte lernender Subjekte und deren globalen Zielvorstellungen

Inputqualität (Programmbezogene Voraussetzungen)

Strukturelle Rahmenbedingungen des Lernangebotes, beispielsweise eines Kurses: Personal der WB-Institution, Ort der Intervention etc., konkrete kursbezogene Zielvorstellungen lernender Subjekte

Während

Interaktion:

Lernende – Kursmaterial Lernende – Kursarrangement

Prozessqualität (Durchführung der WB-Maßnahme)

Interaktionsprozess zwischen Programmressourcen und Zielgruppe

Nach der Bildungsmaßnahme

Interaktion:

Lernender – Umwelt Lernender – Arbeitskontext

Ergebnisqualität (Ergebnis der WB-Maßnahme)

Effekte, die nach Abschluss einer Intervention eingetreten sind und sich direkt auf das angestrebte Ergebnis der Intervention beziehen

Impactqualität (Auswirkungen der WB-Maßnahme)

Erfassung von Interventionseffekten, die über die vorgesehenen Zielgruppen und erwarteten Effekte hinausgehen

Tabelle 1: Fünfstufiges Qualitätsmodell im Kontext von E-Learning nach Ehlers (2011, S. 74)

Vor dem Hintergrund dieses ganzheitlichen Modells wird deutlich, dass Qualität ein äußerst komplexes, multiperspektivisches Konstrukt ist, das abhängig ist vom jeweiligen Kontext der Bildungsinstitution, der Formate der Bildungsangebote und ihrer Zielgruppen. So stellen auch Röbken und Broens (2017) fest, dass: „besondere Lerndesigns auch besondere Qualitätserfordernisse mit sich bringen, die bei der Gestaltung und Evaluation von online-gestützten Studiengängen berücksichtigt werden müssen“ ( S. 269 – 283).

Im Folgenden geht es um die Qualität von Lernmaterialien, insbesondere digitalen bzw. elektronischen Lernmaterialien, die als sogenannte Open Educational Resources (OER) oder „kostenfreie Lehrmittel“ (vgl. Fey, 2015, S. 42) zur Verfügung gestellt und an Hochschulen für das Lehren und Lernen genutzt werden sollen. Daher wird in einem nächsten Schritt zunächst auf das Begriffsverständnis von OER eingegangen.

2.2 Open Educational Resources (OER)

Parallel zur Open Access Bewegung im Bereich wissenschaftlicher Publikationen und zu Open Source Entwicklungen wie zum Beispiel der Lernplattform Moodle oder des Betriebssystems Linux haben sich seit der UNESCO-Erklärung (2002) zu „Open Courseware for Higher Education in Developing Countries“ zahlreiche Initiativen zur Verwendung, zum Austausch und zur Modifikation von Lernmaterialen, sogenannten Open Educational Resources (OER) oder freien elektronische Bildungsressourcen (Baumgartner & Zauchner, 2010) formiert. Ein Meilenstein in dieser Entwicklung war die Entscheidung des Massachusetts Institute of Technology, alle Kursunterlagen zur freien Verfügung ins Internet zu stellen (MIT OpenCourseWare). Seit 2007 fördert auch die Europäische Kommission Projekte zu OER (z. B. Open eLearning Content Observatory Services, OLCOS). OER stehen damit in der Tradition der Idee von Bildung als Gemeingut.

Erstmalig genannt wurde der Begriff OER in der UNESCO-Erklärung (2002), womit gemeint war: „The open provision of educational resources, enabled by information and communication technologies, for consultation, use and adaptation by a community of users for noncommercial purposes“ (S. 24).

Um 2006 / 2007 wurde eine Definition des Begriffs OER noch ausgehandelt, „ein allgemeiner Konsens über dessen Verwendung“ (Zauchner & Baumgartner, 2007, S. 244) stehe noch aus. Parallel zum MIT startete auch die William and Flora Hewlett Foundation ihr Engagement für OER, in dessen Rahmen die erste allgemein anerkannte und weit rezipierte Definition im ersten Bericht von Atkins, Brown und Hammond (2007) erarbeitet wurde:

OER are teaching, learning, and research resources that reside in the public domain or have been released under an intellectual property license that permits their free use or re-purposing by others. Open educational resources include full courses, course materials, modules, textbooks, streaming videos, tests, software, and any other tools, materials, or techniques used to support access to knowledge. (S. 4).

In der deutschsprachigen Literatur definieren Mruck et al. (2011) analog wie folgt: „Open Educational Resources (OER) sind Materialien für Lernende und Lehrende, die kostenlos im Web zugänglich sind, entsprechend zur Verwendung und Modifikation freigegeben, das heißt lizensiert wurden“ (S. 246).

Die vorerst letzte ausgehandelte Definition wurde in der UNESCO-Erklärung (2012) im Rahmen des UNESCO Weltkongresses zu OER in Paris veröffentlicht, die heute weithin anerkannt wird:

Teaching, learning and research materials in any medium, digital or otherwise, that reside in the public domain or have been released under an open license that permits no-cost access, use, adaptation and redistribution by others with no or limited restrictions. Open licensing is built within the existing framework of intellectual property rights as defined by relevant international conventions and respects the authorship of the work. (S. 1)

Auf dieser Grundlage hat die UNESCO 2015 die Definition noch überarbeitet und vereinfacht:

Open Educational Resources (OERs) are any type of educational materials that are in the public domain or introduced with an open license. The nature of these open materials means that anyone can legally and freely copy, use, adapt and re-share them. OERs range from textbooks to curricula, syllabi, lecture notes, assignments, tests, projects, audio, video and animation.6

2.2.1 Verständnis von OER und Offenheit an der HOOU

Openness und OER werden an der HOOU als Teil des „Markenkerns“ wie folgt charakterisiert (Bessenrodt-Weberpals et al., S. 10 f.):

Die HOOU orientiert sich an einer Idee von Offener Bildung oder OpenEducation. Sie zielt konsequent darauf ab, dass Lernmaterialien als (möglichst echte) Offene Bildungsressourcen bzw. Open Educational Resources (OER) über die HOOU zur Verfügung stehen oder erstellt sowie weiterverarbeitet und geteilt werden. So liegen OER in unterschiedlichem Grad der Strukturierung und Kopplung vor, d. h. beispielsweise in Form von Lernarrangements zum Mitmachen, zum Weiternutzen, Materialsammlungen oder Diskussionen über Materialien. Darüber hinaus folgt die HOOU mit der Idee der Offenheit einer technologischen Offenheit durch eine Verwendung von vornehmlich Open Source Software, einer rechtlichen Offenheit durch Nutzung von offenen Lizenzen, einer sozialen Offenheit ebenso wie der Eröffnung von Handlungs- und Lernräumen in der didaktisch offenen Gestaltung der unterschiedlichen Lernszenarien. Offenheit drückt sich darüber hinaus im Zugang zu Materialien und Interaktionen im Sinne einer möglichst großen Barrierefreiheit aus. Nicht zuletzt umfasst Offenheit auch die Sensibilisierung für eine (Lern-)Kultur des Teilens im Sinne einer Open Educational Practice (OEP).

Zentral für OER ist die jeweilige Lizenzierung der Lernmaterialien, was gerade in der UNESCO Definition von 2012 besonders betont wird. OER sollen frei verfügbar und dezidiert auch frei einsetzbar und modifizierbar sein, wobei das Urheberrecht zu berücksichtigen ist. Wiley (2013) beschreibt in seinem Blog diese Offenheit mit 5 Rs: Retain, Reuse, Revise, Remix und Redistribute 7.

Weit verbreitet ist der Einsatz von Creative Commons (CC) Lizenzen, die auch für an der HOOU erstellte OER gelten sollen. Diese sind zum Beispiel gekennzeichnet durch folgendes Symbol:

Hierbei handelt es sich um eine weit gehende Lizenz: „This license lets others distribute, remix, tweak, and build upon your work, even commercially, as long as they credit you for the original creation. This is the most accommodating of licenses offered. Recommended for maximum dissemination and use of licensed materials“ (http://creativecommons.org/licenses).

2.2.2 Granularität von OER

Die erste Definition von Atkins, Brown und Hammond (2007) zeigt das weite Spektrum von möglichen OER auf. Jung, Sasaki und Latchem (2016) sprechen in diesem Zusammenhang von der „Ganularität“ von Lernmaterialien: „OER range from entire courses and massive open online courses to small-scale learning materials, games, simulations, quizzes and other digital resources“ (S. 10).

Freie Bildungsressourcen beschränken sich also nicht alleine auf Inhalte (content), sondern können auch Open Source Software und Tools zum Lernen und Lehren umfassen (z. B. ein Etherpad für kollaboratives Schreiben). Für solch ein weites Verständnis von OER ist es jedoch kaum möglich, ein praktikables Qualitätssicherungsinstrumentarium zu entwickeln und zu nutzen, das von einem kurzen Video-Clip bis hin zu einem ganzen Open Access Learning Management System (z. B. Moodle mit seinen unzähligen Plugins) anwendbar sein müsste.

So fokussiert sich das HOOU-Projekt auch auf die Inhalte von Lernmaterialien, wenn Bessenrodt-Weberpals et al. (2017) feststellen, dass die HOOU „entscheidend von Inhalten („Content“) in Form von Open Educational Resources (OER) lebt, die eingebettet in mediendidaktischen Szenarien entwickelt werden, den sogenannten HOOU-Lernarrangements“ (S. 15).

Die folgenden Überlegungen konzentrieren sich daher auch auf OER im Sinne von Lernmaterialien, die im Rahmen von didaktischen Szenarien in Lehr-Lern-Prozessen (Mikroebene) eingesetzt werden und nicht auf übergeordnete Aspekte der technologischen Infrastruktur für die HOOU, etwa im Hinblick auf die Software für die internetbasierte Lernumgebung oder das OER Portal.

2.3 Qualitätsdimensionen im Kontext von Lernmaterialien/OER

Bevor auf einzelne Qualitätskriterien eingegangen werden kann bzw. diese synoptisch dargestellt werden können, bedarf es einer Ordnungsstruktur. Daher sollen zunächst ganz allgemein Qualitätsdimensionen zur Evaluation von Lernmaterialien / OER sowie im folgenden 3. Abschnitt unterschiedliche (internationale) Modelle und Ansätze zur Qualitätssicherung mit besonderem Fokus auf OER betrachtet werden.

Die Evaluation von Lernmaterialien oder Lernmedien (educational technology, educational media) hat bereits eine sehr lange Tradition und geht bis in die erste Hälfte des 20. Jahrhunderts zurück zu audio-visuellen Medien für Lehr-Lernzwecke (Saettler, 2004). Die Forschung zu computer-basierten Bildungstechnologien und Lernsoftware begann in den 1960er Jahren, als vermehrt CAL-Programme (computer-assisted learning) aufkamen (vgl. Vinsonhaler & Bass, 1972). Mit der Verbreitung des Personal Computers und immer größeren Rechenkapazitäten wurden ab den 1980er Jahren multimediale Lernprogramme zunächst „stand-alone“ auf CD-ROM und später webbasiert (WBT) ermöglicht.

Die Entwicklung von computerbasierten Lernmaterialien war schon immer sehr kostenaufwändig, weshalb Arbeiten zur Evaluation ihrer Qualität und zum Nachweis ihrer Nützlichkeit und Wirksamkeit in „neuen“ wissenschaftlichen Journalen wie etwa dem British Journal of Educational Technology (seit 1970) oder Computers & Education (seit 1976) schon früh eine wichtige Rolle spielten, wie Kidd und Holmes (1984) in einer Rückschau feststellen: „Teachers, school administrators and funding agencies are often reluctant to support the acquisition of a CAL facility unless some sort of statistical evidence can be brought forth that will prove the desirability of CAL“ (p. 77).

Dimension

Ausprägungen (von – bis)

Pädagogische Dimensionen

Epistomology

Objectivism – Constructivism

Pedagogical Philosophy

Instructivist – Constructivist

Underlying Psychology

Behavioral – Cognitive

Goal Orientation

Sharply focused – Unfocused

Instructional Sequencing

Reductionist – Constructivist

Experiental Value

Abstract – Concrete

Role of Instructor

Teacher-proof Materials – Egalitarian Facilitator

Value of Errors

Errorless Learning – Learning from Experience

Motivation

Extrinsic – Intrinsic

Structure

High – Low

Accommodation of Individual Differences

Non-existent – multi-faceted

Learner Control

Non-existent – Unrestricted

User Activity

Mathemagenic – Generative 8

Cooperative Learning

Unsupported – Integral

User Interface Dimensionen

Ease of Use

Difficult – Easy

Navigation

Difficult – Easy

Cognitive Load

Unmanageable – Manageable

Mapping

None – Powerful

Screen Design

Violates Principles – Follows Principles

Knowledge Space Compatibility

Incompatible – Compatible

Information Presentation

Obtuse – Clear

Media Integration

Uncoordinated – Coordinated

Aesthetics

Unpleasing – Pleasing

Overall Functionality

Dysfunctional – Highly

Tabelle 2: Evaluation multimedialer Lernmaterialien nach Reeves und Harmon (1994)

Vor diesem Hintergrund und auf der Grundlage von Forschungsarbeiten zum computer-basierten Lernen der ersten 20 Jahre haben Reeves und Harmon (1994) ein sehr detailliertes Modell zur Evaluation von „Interactive Multimedia“ vorgelegt, in dem grundsätzlich zwei große Sphären unterschieden werden: pädagogische Aspekte (didaktisches Design) und User Interface Aspekte (Usability). Diese gliedern sich wiederum auf in 14 pädagogische Dimensionen und zehn User Interface Dimensionen, deren jeweiligen Ausprägungen entlang eines Spektrums zwischen zwei Polen beschrieben werden (siehe Tabelle 2).

Mit dem Aufkommen von OER ist wieder eine neue Dynamik in die Diskussion um die Qualität von Lernmaterialien gekommen. Grundsätzlich sind aber die Evaluationsdimensionen von Reeves und Harmon aus der Zeit des „stand-alone multimedia learning“ in den 1980er und 90er Jahren (vgl. Zawacki-Richter & Latchem, 2017) übertragbar auf digitale Lernmaterialien, die heute über das Internet geteilt werden können.

Gerade weil an (deutschen) Hochschulen auch mit Hinweis auf die im Grundgesetz garantierte Freiheit von Forschung und Lehre eher keine Kultur der Offenheit und des Teilens im Bereich der Lehre herrscht, wird von Skeptikern gerne das Argument der undurchsichtigen Qualität von „fremden“ Lernmaterialien herangezogen. Wie auch Deimann und Bastiaens (2010) in einer Delphi-Studie zu Potentialen und Hemmnissen beim Einsatz von OER festgestellt haben, herrscht eine geringe Bereitschaft der Lehrenden, eigene Inhalte frei zu veröffentlichen bzw. fremde Inhalte zu verwenden. Um dieser Abwehrhaltung zu begegnen, kommt der Qualitätssicherung besondere Relevanz zu, was zur Entwicklung und Veröffentlichung von neuen Evaluationsmodellen und -instrumenten (rubrics) im Kontext von OER geführt hat.

Auf der Grundlage einer Literaturrecherche konnten sechs Evaluationsmodelle identifiziert werden, die im Kontext von OER unterschiedliche Qualitätsdimensionen unterscheiden:

1. Das Bewertungsraster zur Evaluation von naturwissenschaftlichen Lernmaterialien für forschungsbasiertes Lernen von Fitzgerald & Byers (2002) mit vier Dimensionen (Increase students’ understanding of the science subject matter investigated, Gain an understanding of how scientists study the natural world, Develop the ability to conduct investigation, Develop the habits of mind associated with science).

2. Das Learning Object Evaluation Instrument (LOEI) von Haughey & Muirhead (2005) mit fünf Dimensionen (Integrity, Usability, Learning, Design, Value).

3. Das Bewertungsraster von Custard & Sumner (2005) mit fünf Dimensionen (Provenance, Description, Content, Social Authority, Availability).

4. Das Bewertungsraster zur Evaluation von Learner Generated Content (LGC) von Pérez-Mateo, Maina, Guitert und Romero (2011) mit drei Dimensionen (Content, Format, Process).

5. Der Ansatz von Achieve (2014) „Educators Evaluating the Quality of Instructional Products“ (EQuIP) mit vier Dimensionen in der Domäne Math / Literacy (Alignment to the depth of the Common Core State Standards (CCSS), Key shifts in the CCSS, Instructional supports, Assessment) und drei Dimensionen in der Domäne Science (Alignment to the Next Generation Science Standards (NGSS), Instructional Supports, Monitoring Student Progress).

6. Das „Framework for assessing fitness for purpose in open educational resources“ von Jung, Sasaki und Latchem (2016) mit drei Dimensionen (Content, Potential Teaching / Learning Effectiveness, Ease of Use).

Es wurden in der letzten Dekade noch weitere Evaluationsinstrumente für OER veröffentlicht, die jedoch nur aus Listen von Qualitätsindikatoren bestehen und diese nicht übergeordneten Qualitätsdimensionen zuordnen. Diese Ansätze sollen in Abschnitt 3 (Überblick über internationale Ansätze von Qualitätssicherungsinstrumenten) und Abschnitt 4 (Synoptische Darstellung von Qualitätskriterien) mit einbezogen werden.

Auf eine längere Beschreibung der Dimensionen der oben genannten Ansätze wird hier verzichtet, da sich deren inhaltliche Ausgestaltung aus den jeweilig zugeordneten Qualitätskriterien ergibt (siehe Abschnitt 4).

Zusammenfassend kann aber festgestellt werden, dass die Dimensionen zur Erfassung der Qualität Lernmaterialien / OER regelmäßig die folgenden Aspekte umfassen:

– Inhalt (z. B. Korrektheit, Vollständigkeit und Aktualität der Lerninhalte)

– Didaktisches Design und Support (z. B. persönliche Betreuung, automatisches Feedback, Student Engagement)

– Usability und Access (Zugänglichkeit, Interface Design, Metadaten)

– Assessment (z. B. Passung zwischen Lernzielen und Lernerfolgskontrolle)

Es folgt nun eine Kategorisierung und umfassende Übersicht internationaler Ansätze zur Qualitätssicherung von Lernmaterialien / OER.

6 http://www.unesco.org/new/en/communication-and-information/access-to-knowledge/open-educational-resources/what-are-open-educational-resources-oers/ (Zugriff am 30.05.2017) http://open-educational-resources.de/unesco-definition-zu-oer-deutsch/ (Zugriff am 30.05.2017)

7 https://opencontent.org/blog/archives/3221 (Zugriff am 11. Mai 2017)

8 Zur Erklärung dieser Dimension bei Reeves und Harmon (1994): „Hannafin (1992) identified another important dimension of IMM, especially those that he and others characterise as “learning environments”. He maintains that some learning environments are primarily intended to enable learners to „access various representations of content“ (p. 59). He labels these “mathemagenic” environments. Other learning environments, called generative by Hannafin, engage learners in the process of creating, elaborating or representing knowledge” (S. 486, Hervorhebungen durch den Autor).

3 Übersicht internationaler Ansätze zur Qualitätssicherung von Lernmaterialien / OER

3.1 Methodische Vorüberlegungen

Bevor nun ein Überblick zu verschiedenen Verfahren zur Qualitätssicherung von Lernmaterialien bzw. OER gegeben wird, sollen zunächst einige methodische Vorüberlegungen zur Entwicklung entsprechender Instrumente angestellt werden.

Es gibt eine Fülle frei verfügbarer Bildungsressourcen, die als Lernsoftware in Seminare und Module integriert werden können. Allein die MERLOT-Datenbank 9 listet 79.002 freie Anwendungen aus allen Fächern auf. Bei der Planung und Gestaltung einer Lerneinheit stehen wir also vor dem Problem, eine dem Inhalt und der Zielgruppe angemessene Auswahl zu treffen. Diese Auswahl sollte kriteriengeleitet, methodisch korrekt und nachvollziehbar erfolgen.

Um 2000 führte Peter Baumgartner eine umfassende Markanalyse von E-Learning Tools im Auftrag des österreichischen Bundesministeriums für Bildung, Wissenschaft und Kultur (bm:bwk) durch. Es ging damals um die Bewertung und Auswahl von Lernplattformen anhand eines Kriterienkatalogs. Grundsätzlich können zur Bewertung einzelner Items in einem Kriterienkatalog zwei Verfahren unterschieden werden:

– die numerische Gewichtung und Summierung (NGS) und

– die qualitative Gewichtung und Summierung (QGS).

Baumgartner, Häfele und Maier-Häfele (2002) haben das Verfahren der qualitativen Gewichtung und Summierung (QGS) angewendet, das von Scriven (1991) entwickelt wurde und auch beim mediendidaktischen MEDIDA-PRIX der Gesellschaft für Medien in der Wissenschaft e. V. und anderen Lernsoftware Awards eingesetzt wurde (vgl. Baumgartner & Payr, 1997).

Die Bewertung erfolgt nach dem Verfahren der numerischen Gewichtung und Summierung (NGS) anhand von Check- und Prüflisten, deren Items oder Dimensionen nach ihrer relativen Wertigkeit gewichtet werden (z. B. von 1 – 5). Dann werden die einzelnen Produkte entlang dieser Items auf einer Skala mit Punkten (z. B. von 1 – 5) bewertet. Anschließend werden die Bewertungspunkte mit der Gewichtung multipliziert und die Werte für alle Items aufsummiert. Das Ergebnis ist eine einzige Zahl für jedes Produkt, nach der ein Ranking erstellt werden kann.

NGS ist im Verfahren transparent, leicht durchzuführen, und das Ergebnis ist eine eindeutige Rangordnung. Baumgartner, Häfele und Maier-Häfele (2002, S. 66) geben jedoch einige methodische Limitationen zu bedenken:

1. Das Minimum-Problem: Einige Leistungsdimensionen ergeben erst Sinn, wenn ein bestimmtes Mindestmaß erfüllt ist. Dieses Problem lässt sich über die Definition von K. o.-Kriterien auf einer dichotomen Skala (ist erfüllt / ist nicht erfüllt) lösen. Wenn z. B. eine Software nicht stabil läuft oder die Teilnehmer nicht darauf zugreifen können, scheidet das Produkt aus.

2. Das Problem der isolierten Kriterien: Die Items werden isoliert voneinander betrachtet, obwohl sie oft nicht unabhängig voneinander sind. Eine sehr sorgfältige Operationalisierung der Items kann diesem Problem entgegenwirken, ist aber schwierig.

3. Das Problem des Detaillierungsgrades: Kriterienkataloge unterscheiden sich sehr in ihrem Umfang. Sie können ein Dutzend bis zu mehrere Hundert Items umfassen. Hier ist oft unklar, welches die relevanten Kriterien sind und wie sie gewichtet wurden: „Besonders fatal beim NGS-Verfahren ist, dass diese Gewichtungsprozedur keine Spuren hinterlässt. Da sich als Ergebnis bloß eine einzige Zahl pro Evaluand ergibt, sind nachträglich keine inhaltlichen Fehlerkorrekturen mehr möglich“ (ebd., S. 67).

4. Die Annahme einer linearen (metrischen) Skala: Die unterschiedlichen Leistungsdimensionen lassen sich nicht alle auf der gleichen linearen Skala bewerten. NGS nimmt eine Linearität der Punktabstände an, obwohl die Dimensionen in Wirklichkeit nicht äquidistant, sondern ordinalskaliert sind. Eine Multiplikation und Summierung ist daher streng genommen nicht zulässig, eine Reihung der einzelnen Items jedoch schon.

In der Annahme einer linearen Skala sehen Baumgartner, Häfele und Maier-Häfele (2002) das unlösbare Hauptproblem des NGS-Ansatzes: „Die scheinbar methodisch sauberen und exakten Ergebnisse des NGS-Verfahrens sind ein methodischer Trugschluss, eine Illusion, welche nicht der Realität entspricht“ (S. 67). Sie favorisieren daher das Verfahren der qualitativen Gewichtung und Summierung (QGS).

Hier werden zunächst nur Gewichte für die einzelnen Bewertungskriterien vergeben, die durch Symbole gekennzeichnet sind, um von vornherein unerlaubte Rechenoperationen, die eine metrische Skala erfordern würden, auszuschließen. Baumgartner, Häfele und Maier-Häfele (2002) verwenden folgende Einteilung:

– essentiell (E)

– äußerst wichtig (*)

– sehr wichtig (#)

– wichtig (+)

– weniger wichtig (I)

– nicht wichtig (0)

Bei der Bewertung mit Symbolen kann es jedoch passieren, dass eine eindeutige Rangordnung nicht festgelegt werden kann: Ein Lernobjekt mit 3*4#3+ kann nicht als eindeutig besser eingeschätzt werden als eine Anwendung mit 2*6#2+. In einem solchen Fall müssen die beiden Evaluanden einem nochmaligen paarweisen Vergleich unterzogen werden. Das Ergebnis wird in der Jury diskutiert, die dann entscheidet.

Abbildung 1: Ablauf des komplexen QGS-Verfahrens

Mit dem QGS-Verfahren kann man zwar den methodischen Mängeln der NGS begegnen, andererseits ist das QGS-Verfahren sehr komplex, schwer verständlich, und es liefert nicht immer eindeutige Ergebnisse.

Entsprechend hat sich der Ansatz von der qualitativen Gewichtung und Summierung offensichtlich nicht durchgesetzt. Wie die folgenden Abschnitte zeigen werden, ist der QGS-Ansatz in keinem der nach 2000 entwickelten Evaluationsinstrumente im Kontext von OER zum Einsatz gekommen.

3.2 Weitere Unterscheidungsmerkmale von Evaluationsansätzen

Yuan und Recker (2015) definieren Evaluationsansätze (rubrics) zur Qualitätsmessung von OER wie folgt:

A rubric provides a scoring scheme to help guide a user in judging products or activities […]. For example, rubrics are widely used in education to help guide people’s evaluation of a variety of constructs, including students’ writing performances, the quality of research projects, and the quality of educational resources […]. Among them, a number of rubrics have been developed to evaluate the quality of OER, as people increasingly need assistance in identifying high-quality resources available on the Internet […]. (S. 18)

Nach Yuan und Recker (2015) lassen sich die Evaluationsansätze zunächst nach dem Inhaltsaspekt unterscheiden. Hiermit ist das dem Evaluationsinstrument zugrunde liegende Qualitätsmodell gemeint. Einige Ansätze basieren auf einem Qualitätsmodell mit mehreren Qualitätsdimensionen (vgl. Abschnitt 2.3), denen eine Anzahl von Qualitätskriterien zugeordnet werden. Andere bestehen lediglich aus Kriterienlisten.

Der Inhaltsaspekt betrifft auch die Auswahl einer Ratingskala und deren Operationalisierung entlang der Qualitätsdimensionen und -kriterien. Einige Ansätze haben hierfür eine detaillierte Handreichung erarbeitet (scoring guide), andere bestehen aus simplen Checklisten.

Im Hinblick auf den Anwendungskontext gibt es generische Ansätze und solche, die für eine spezifische Fachdomäne (z. B. Naturwissenschaften) entwickelt wurden.

Bei Evaluationsansätzen handelt es sich um Instrumente zur Messung von Qualität, für die die wissenschaftlichen Gütekriterien gelten (zumindest die Hauptkriterien Objektivität, Reliabilität und Validität). Entsprechend können die Evaluationsansätze auch nach ihrem Entwicklungsprozess unterschieden werden. Für einige Instrumente wurden in der Literatur empirische Testergebnisse berichtet und der Entwicklungsprozess dokumentiert, zu anderen Ansätzen gibt es hingegen keine Angaben bezüglich ihrer wissenschaftlichen Güte.

Schließlich ist allein die Entwicklung von Qualitätskriterien nicht ausreichend, wenn nicht auch Handreichungen zur ihrer Anwendung zur Verfügung gestellt werden. Colton et al. (1997) heben die Bedeutung der Anleitung und des Trainings für die Anwender der Evaluationsinstrumente insbesondere im Hinblick auf ihre Reliabilität hervor. Auch Rezaei und Lovorn (2010) stellen fest, dass ohne entsprechende Unterstützung (user support) die Reliabilität und Validität der Bewertungsraster leidet: „Study results also indicated that using rubrics may not improve the reliability or validity of assessment if raters are not well trained on how to design and employ them effectively“ (S. 18).

Vor diesem Hintergrund sollen im Folgenden die verschiedenen Evaluationsansätze neben den methodischen Unterschieden nach

– dem Inhaltsaspekt

– dem Anwendungskontext

– dem Entwicklungsaspekt bzw. der wissenschaftlichen Güte und

– im Hinblick auf vorhandene Handreichungen und Trainingsunterlagen

betrachtet werden.

3.3 Internationale Ansätze zur Qualitätssicherung von OER

Im folgenden Abschnitt werden acht internationale Ansätze zur Qualitätssicherung von OER, die im Rahmen einer Literaturrecherche identifiziert werden konnten, im Hinblick auf die oben genannten Aspekte vorgestellt.

Auf der Grundlage dieses Analyserasters geht es zunächst darum, einen Überblick über die verschiedenen Ansätze zu gewinnen. Eine detaillierte Darstellung der einzelnen Qualitätskriterien ist Gegenstand des vierten Kapitels (synoptische Darstellung von Qualitätskriterien mit Blick auf OER).

3.3.1 Learning Object Review Instrument (LORI)

Das Learning Object Review Instrument (LORI) wurde ursprünglich von Nesbit, Belfer und Vargo (2002) zur Evaluation von Lernobjekten entwickelt. Das Instrument wurde mehrfach überarbeitet und weiterentwickelt (siehe Leacock und Nesbit, 2007). Hierzu wurde von Nesbit, Belfer und Leacock (2007) ein User Manual veröffentlicht, in dem Lernobjekte wie folgt definiert werden: „Learning objects are information resources or interactive software used in online learning. A single image, a page of text, an interactive simulation, or an entire course could all be examples of learning objects. When designed for reuse, learning objects allow sharing of resources so that overall production costs can be reduced. Thousands of learning objects are currently available through the web“ (S. 2).

Die Bewertung erfolgt nach einer 5er-Skala (von 1 Stern = low bis 5 Sterne = high und NA = not applicable) entlang von neun Items: Content Quality, Learning Goal Alignment, Feedback and Adaptation, Motivation, Presentation Design, Interaction Usability, Accessibility, Reusability und Standards Compliance.

Das Instrument wurde nicht für eine bestimmte fachliche Domäne entwickelt (generischer Anwendungskontext).

Hilfreich bei der Bewertung der einzelnen Items ist die Operationalisierung in der Handreichung zum Bewertungsinstrument. Anhand eines Beispiels werden jeweils Beschreibungen für eine Bewertung mit fünf und mit einem Stern gegeben, hier zum Kriterium „Learning Goal Alignment“ (Nesbit, Belfer & Leackock, 2007):

5 Sterne

Learning goals are declared, either within content accessed by the learner or in available metadata. The learning goals are appropriate for the intended learners. The learning activities, content and assessments provided by the object align with the declared goals. The learning object is sufficient in and of itself to enable learners to achieve the learning goals. (S. 4).

1 Stern

One of the following characteristics renders the learning object unusable.

– No learning goals are apparent.

– The assessments, learning activities and other content are substantially

– mismatched.

– The learning goals are not appropriate for the intended learners. (S. 4)

Die Inter-Rater Reliabilität wurde von Vargo, Nesbit, Belfer und Archambault (2003) untersucht. Auch hier wird die Bedeutung einer Anwenderschulung hervorgehoben: „Introduce prior training to increase overall reliability. This seems especially crucial with regard to items dealing with compliance to metadata, interoperability, and accessibility specifications (S. 7).

3.3.2 MERLOT Rubric

Bei MERLOT (Multimedia Educational Resource for Learning and Online Teaching) handelt es sich um eine Datenbank, in der fast 80.000 Lernmaterialien bzw. Lernobjekte (Stand: Juni 2017) aus den Bereichen Academic Support Services (6.822), Arts (2.880), Business (6.920), Education (9.131), Humanities (9.119), Mathematics and Statistics (6.822), Science and Technology (40.521), Social Sciences (7.548) und Workforce Development (2.271) enthalten sind. Die Qualität wird über einen Peer-Review Prozess gesichert, der in über 20 Editorial Boards organisiert wird 10.

Im Verfahren von MERLOT werden drei Qualitätsdimensionen unterschieden, denen insgesamt 31 Items zugeordnet werden 11:

– quality of content (12 Items)

– potential effectiveness as a teaching tool (9 Items),

– ease of use (10 Items)

Die Bewertung erfolgt entlang einer 5er-Skala von 5 = excellent or strongly agree bis 1 = poor or strongly disagree und NA = not applicable.

Angaben zu Gütekriterien der MERLOT-Skalen sind nicht veröffentlicht. Anderson-Wilk und Hino (2011) betonen aber die große Relevanz und den hohen Anspruch dieses Ansatzes: „MERLOT is perhaps the most successful existing example of relevance and rigor in online scholarly multimedia publishing“ (Absatz 15).

MERLOT bietet regelmäßig Schulungen für Peer Reviewers an, sogenannte GRAPE Camps (Getting Reviewers Accustomed to the Process of Evaluation). Die Schulungen bestehen aus drei einstündigen online-Workshops, die über drei Wochen verteilt sind 12.

3.3.3 Framework for Assessing Fitness for Purpose in OER (Jung et al.)

Das Framework for Assessing Fitness for Purpose in OER von Jung, Sasaki und Latchem (2016) ist eine Weiterentwicklung des MERLOT-Modells. Ausgangspunkt der Überlegungen dieser Autoren ist die noch geringe Nutzung von OER in der Praxis: „The take-up of OER has fallen short of expectations“ (ebd., S. 1). Dies läge an der Unsicherheit der Nutzer „over the appropriateness of the content, instructional design, pedagogy and ease of use of these OER“ (ebd.). Andererseits seien zu komplexe Bewertungsmodelle und Evaluationsverfahren eine Hürde bei der Implementation von OER.

Auf der Grundlage der MERLOT-Kriterien entwickeln Jung et al. (2016) über eine Expertenbefragung ein vereinfachtes Modell. Sie sprechen hier nicht von Qualität, sondern von „Fitness of purpose“: „It refers to the fulfilment of certain expectations. The notion derives from the manufacturing industry but has been adopted by many educational quality agencies. For these reasons, the authors judged this to be the most appropriate term to use in evaluating OER“ (S. 2).

Im Fitness for Purpose Modell werden vier Qualitätsdimensionen unterschieden, denen insgesamt 25 Items zugeordnet werden:

– Purposes (7 Items)

– Ease of Use (4 Items)

– Content (5 Items)

– Pedagogy (9 Items)

Hierbei handelt es sich jedoch um einen reinen Kriterienkatalog als Checkliste. Angaben zu Bewertungsskalen und ihrer Operationalisierung werden nicht gemacht.

Fünf Kriterien, die von den befragten Experten am höchsten bewertet wurden, werden besonders hervor gehoben (S. 10):

1. The OER accords with open content licenses (e. g., Creative Commons License) and is properly attributed.

2. The OER can be easily reused, revised, remixed and shared with other materials to meet particular teaching / learning needs.

3. The goals and purposes of the OER are easily understood.

4. The content is accurate and up to date.

5. The content covers educationally significant concepts and leads to deep understanding.

Bei der Arbeit von Jung et al. (2016) handelt es sich um eine erste Veröffentlichung des Modells. Empirische Ergebnisse zum Einsatz des Instruments liegen noch nicht vor.

3.3.4 OER Rubric der Achieve Organisation

Die Non-Profit Organisation Achieve, Inc.13 leistet einen Beitrag zur Entwicklung der Bildungsstandards in den USA (vgl. Common Core State Standards, CCSS bzw. Next Generation Science Standards, NGSS). Die Rubrics for Evaluating Open Education Resource (OER) Objects 14 wurden 2011 im Rahmen der Initiative EQuIP (Educators Evaluating the Quality of Instructional Products) entwickelt, um vor dem Hintergrund der Bildungsstandards qualitativ hochwertige Lernmaterialien auszuwählen.

Die Lernmaterialien werden anhand von acht Kriterien begutachtet:

– Degree of Alignment to Standards

– Quality of Explanation of the Subject Matter

– Utility of Materials Designed to Support Teaching

– Quality of Assessment

– Quality of Technological Interactivity

– Quality of Instructional and Practice Exercises

– Opportunities for Deeper Learning

– Assurance of Accessibility

Die Bewertung erfolgt auf einer 4er-Skala von 3 = superior bis 0 = very weak / none und NA = not applicable. Besonders positiv hervorzuheben ist, dass die einzelnen Bewertungsstufen für jedes Kriterium in einem Scoring Guide ausführlich beschrieben werden. Im folgenden Kasten soll dies am Beispiel des Kriteriums „Quality of Assessment“ illustriert werden.

Das Instrument wurde nach Yuan und Recker (2015) mehrfach überarbeitet, allerdings gibt es keine Veröffentlichungen über dessen Reliabilität und Validität.

Im Zuge der EQuIP-Initiative werden umfangreiche Trainingsmaterialien und E-Learning Module angeboten 15.

Rubric IV: Quality of Assessments Scoring Guide

3:

An object is rated superior for the quality of its assessments only if all of the following are true:

– All of the skills and knowledge assessed align clearly to the content and performance expectations intended, as stated or implied in the object.

– Nothing is assessed that is not included in the scope of intended material unless it is differentiated as extension material.

– The most important aspects of the expectations are targeted and are given appropriate weight / attention in the assessment.

– The assessment modes used in the object, such as selected response, long and short constructed response, or group work require the student to demonstrate proficiency in the intended concept / skill.

– The level of difficulty is a result of the complexity of the subject-area content and performance expectations and of the degree of cognitive demand, rather than a result of unrelated issues (e. g. overly complex vocabulary used in math word problems).

2:

An object is rated strong for the quality of its assessments if it assesses all of the content and performance expectations intended, but the assessment modes used do not consistently offer the student opportunities to demonstrate proficiency in the intended concept / skill.

1:

An object is rated limited for the quality of its assessments if it assesses some of the content or performance expectations intended, as stated or implicit in the object, but omits some important content or performance expectations and / or fails to offer the student opportunities to demonstrate proficiency in the intended content / skills.

0:

An object is rated very weak or no value for the quality of its assessments if its assessments contain significant errors, do not assess important content / skills, are written in a way that is confusing to students, or are unsound for other reasons.

N/A:

This rubric is not applicable (N/A) for an object that is not designed to have an assessment component. Even if one might imagine ways an object could be used for assessment purposes, if it is not the intended purpose, not applicable is the appropriate score.

3.3.5 Learning Object Evaluation Instrument (LOEI)

Das Learning Object Evaluation Instrument (LOEI) wurde von Haughey & Muirhead (2005) speziell für den Einsatz in Schulen (K-12) entwickelt. Daher soll hier nur kurz auf diesen Ansatz eingegangen werden.

Im LOEI-Instrument werden fünf Qualitätsdimensionen unterschieden, denen insgesamt 15 Items zugeordnet werden:

– Integrity (1 Item)

– Usability (2 Items)

– Learning (3 Items)

– Design (4 Items)

– Values (5 Itmes)

Die Bewertung erfolgt auf einer 5er-Skala von 4 = perfect bis 0 = absent. Die einzelnen Bewertungsstufen sind allerdings nicht operationalisiert. Es gibt keinen Scoring Guide oder weitere Unterlagen zur Anwendung des Instruments.

3.3.6 Learning Objects Quality Evaluation Model (eQNet)

Kurilovas, Bireniene und Serikoviene (2011) haben im Rahmen des eQNet Projektes 16 ein Evaluationsmodell vorgelegt, das die Wiederverwendbarkeit (reusability) von Lernobjekten in den Mittelpunkt stellt. Es handelt sich hierbei um ein EU-Projekt, das von 2009 bis 2012 mit Mitteln des Lifelong Learning Programms gefördert wurde. Das Ziel des Projektes bestand darin, den Austausch von Lernmaterialien über das European Schoolnet Learning Resource Exchange zu fördern, in dem Qualitätskriterien von sogenannten „travel well“-Lernobjekten identifiziert werden. Damit sind Materialien gemeint, die länderübergreifend besonders oft ausgetauscht und verwendet werden. Im Schoolnet Learning Resource Exchange for Schools sind auf europäischer Ebene über 130.000 Materialien verfügbar 17.

Auf der Grundlage von acht allgemeinen Prinzipien zur Identifikation von Qualitätsevaluationskriterien von Belton und Stewart (2002) – value relevance, understandability, measurability, non-redundancy, judgmental independence, balancing completeness and conciseness, operationality, simplicity versus complexity – legen die Autoren ein umfassendes Evaluationsmodell vor, das aus drei Hauptdimensionen besteht:

– technological criteria (4 Items)

– pedagogical criteria (3 Items)

– intellectual property (IPR) criteria (1 Item)

Intellectual property wird zu einer Hauptdimension erhoben, um die große Bedeutung für den freien Austausch der Lernobjekte zu unterstreichen. Die technologischen Kriterien werden nochmals in „Internal quality criteria“ und „Quality in use criteria“ unterteilt.

Abbildung 2: Learning Objects Quality Evaluation Model (nach Kurilova et al., 2011, S. 42)

Insgesamt werden den drei Dimensionen acht Qualitätskriterien zugeordnet (siehe Abbildung 2). Die Bewertung erfolgt nach bad, poor, fair, good, excellent. Die einzelnen Bewertungsstufen sind allerdings nicht operationalisiert. Es gibt keinen Scoring Guide oder weitere Unterlagen zur Anwendung des Modells.

Das Learning Objects Quality Evaluation Model von Kurilovas, Bireniene und Serikoviene (2011) ist daher weniger als konkretes Bewertungsinstrument interessant – zumal es auch im Kontext von Schule entwickelt wurde – das Kriterienmodell ist jedoch sehr fundiert und plausibel und kann daher als Ordnungsstruktur für eine synoptische Darstellung von Qualitätskriterien verwendet werden (siehe Abschnitt 4).

3.3.7 Rubric to Evaluate Learner Generated Content (LGC)

Der Ansatz von Pérez-Mateo, Maina, Guitert und Romero (2011) zielt auf die Qualitätssicherung von Learner Generated Content (LGC): „The main objective is to identify and describe the criteria supporting the quality of the creation of content by those learners working together in an online environment“ (S. 1).

Die Autoren unterscheiden zwei Qualitätsdimensionen, denen insgesamt 42 Indikatoren zugeordnet werden:

– Process, supporting learning (19 Items)

– Content & Format, enabling reuse (23 Items)

Eine erste Version des Bewertungsrasters basierte auf einer Literaturrecherche. In einem zweiten Schritt wurden die Qualitätskriterien über eine Studierendenbefragung (N=114) validiert (exploration of students’ perception of quality content generated by themselves in relation to quality criteria in LGC).

Es handelt sich hierbei um einen reinen Kriterienkatalog und nicht um ein Evaluationsinstrument mit entsprechenden Skalen, die ein Testverfahren durchlaufen haben.

3.3.8 Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Das Modell von Fitzgerald und Byers (2002) wurde speziell für Lernmaterialien zum forschungsbasierten Lernen im Bereich des naturwissenschaftlichen Unterrichts an Schulen auf Grundlage der National Science Education Standards in den USA entwickelt.

Vier Dimensionen werden insgesamt 23 Kriterien zugeordnet:

– Increase their understanding of the science subject matter investigated (3 Items)

– Gain an understanding of how scientists study the natural world (6 Items)

– Develop the ability to conduct investigations (10 Items)

– Develop the habits of mind associated with science (4 Items)

Auch hier handelt es sich um einen reinen Kriterienkatalog und nicht um ein Evaluationsinstrument mit entsprechenden Skalen, die ein Testverfahren durchlaufen haben.

3.4 Zwischenfazit

Die Analyse der Qualitätssicherungsinstrumente für Lernmaterialien / OER zeigt, dass diese von sehr unterschiedlicher Komplexität und Detailtiefe sind. Tabelle 3 gibt einen Überblick der Ergebnisse nach dem Inhaltsaspekt, dem Anwendungskontext und methodischer Aspekte.

Nach dem Inhaltsaspekt lassen sich grundsätzlich zwei verschiedene Gruppen unterscheiden: Bei einigen handelt es sich um einfache Kriterienkataloge oder Checklisten (Jung, Fitzgerald, LGC), bei den übrigen Ansätzen handelt es sich um Instrumente, bei denen die Qualitätskriterien auf einer Skala bewertet werden sollen.

Im Hinblick auf eine reliable Anwendung der Instrumente sind besonders die Ansätze LORI und Achieve hervorzuheben, die einen detaillierten Scoring Guide zur Verfügung stellen, in dem die Ausprägungen der einzelnen Bewertungsstufen operationalisiert und über Ankerbeispiele illustriert werden. Hinzu kommen Handreichungen und Schulungsmaterialien, um die Güte der Bewertung noch zu steigern. Diese sind auch für MERLOT vorhanden, wobei hier das Peer-Review-Verfahren zur Qualitätssicherung des Bewertungsprozesses interessant ist.

Weiterhin ist auffällig, dass der Ansatz einer qualitativen Bewertung (vgl. Baumgartner, Häfele und Maier-Häfele, 2002) in keinem der Ansätze verfolgt wird. Auch Gewichtungen einzelner Dimensionen und Kriterien werden nicht vorgenommen.

Insgesamt muss weiterhin festgestellt werden, dass über den Entwicklungsprozess vieler Ansätze kaum etwas bekannt ist bzw. dieser nicht veröffentlicht wurde. Gut dokumentiert sind die Entwicklungen von LORI, Jung, eQNet und LGC.

Abbildung 3: Anzahl der Qualitätskriterien in den Evaluationsinstrumenten

Auch die Anzahl der Bewertungskriterien ist sehr unterschiedlich (siehe Abbildung 3). Sie reicht von acht (Achieve, eQNet) bis 42 (LGC); insgesamt werden in den acht Evaluationsinstrumenten 161 Kriterien verwendet. Deren Systematisierung, Analyse und synoptische Zusammenfassung ist Gegenstand des nächsten Kapitels.

Ansatz / Instrument

Inhaltsaspekt

Anwendungskontext

Entwicklungs- prozess

Handreichungen / Trainingsunterlagen

Dimensionen / Kriterien

Bewertungsskala

Scoring Guide

Learning Object Review Instrument (LORI)

9 Kriterien

5er-Skala: 1 (low) bis 5 (high), NA (not applicable)

ja

generisch

Gütekriterien sind veröffentlicht, mehrmalige Überarbeitung

LORI Manual

MERLOT

3 Dimensionen 31 Kriterien

5er-Skala: 1 (poor, strongly disagree) bis 5 (excellent, strongly agree), NA (not applicable)

nein

generisch,

Editorial Boards für verschiedene Fächer

nicht bekannt

Peer Reviewer Report Form

GRAPE Camps

Fitness for Purpose in OER (Jung et al.)

4 Dimensionen 25 Kriterien

Checkliste

nein

generisch

Entwicklungsprozess ist dokumentiert, keine Gütekriterien

nein, aber in Anlehnung an MERLOT

OER Rubrics (Achieve)

8 Kriterien

4er-Skala: 0 (very weak / none) bis 3 (superior), NA (not applicable)

ja

generisch

mehrmalige Überarbeitung, keine Gütekriterien

Umfangreiche Schulungsunterlagen

LOEI

5 Dimensionen 15 Kriterien

5er-Skala: 0 (absent) bis 4 (perfect)

nein

generisch, Schule

nicht bekannt

nein

Learning Objects Quality Evaluation Model (eQNet)

3 Dimensionen 8 Kriterien

bad, poor, fair, good, excellent

nein

generisch, Schule

Entwicklungsprozess ist dokumentiert, keine Gütekriterien

nein

Rubric to Evaluate Learner Generated Content (LGC)

3 Dimensionen 42 Kriterien

nicht spezifiziert

nein

generisch

Entwicklungsprozess ist dokumentiert, keine Gütekriterien

nein

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

4 Dimensionen 23 Kriterien

nicht spezifiziert

nein

naturwissenschaftlich, Schule

nicht bekannt

nein

Tabelle 3: Überblick verschiedener Ansätze zur Qualitätssicherung von Lernmaterialien / OER

9 Multimedia Educational Resource for Learning and Online Teaching: https://www.merlot.org/merlot/materials.htm (Zugriff am 05.06.2017)

10 MERLOT Peer-Review Information: http://info.merlot.org/merlothelp/index.htm#policies_and_practices.htm (Zugriff am 05.06.2017)

11 MERLOT Peer Reviewer Report Form (V 17.3): http://info.merlot.org/merlothelp/index.htm#merlot_peer_review_information.htm (Zugriff am 05.06.2017)

12 MERLOT GRAPE Camp Information: http://info.merlot.org/merlothelp/grape_camp.htm (Zugriff am 05.06.2017)

13 https://www.achieve.org/about-us (Zugriff am 06.06.2017)

14 https://www.achieve.org/files/AchieveOERRubrics.pdf (Zugriff am 06.06.2017)

15 https://www.achieve.org/EQuIP (Zugriff am 06.06.2017)

16 eQNet – Quality Network for a European Learning Resource Exchange: http://eqnet.eun.org/ (Zugriff am 08.06.2017)

17 Learning Resource Exchange for Schools: http://lreforschools.eun.org (Zugriff am 08.06.2017)

4 Qualitätskriterien mit Blick auf OER

Um die insgesamt 161 identifizierten Qualitätskriterien einer Systematik für eine synoptische Zusammenfassung zuordnen zu können, wurde das Qualitätsmodell von Kurilovas et al. (2011), das im Rahmen des eQNet Quality Network for a European Learning Resource Exchange entwickelt wurde, als Grundlage genommen und entsprechend angepasst und erweitert (siehe Abbildung 4). Neben technischen und pädagogisch-didaktischen Kriterien als Hauptdimensionen werden mit Blick auf OER sogenannte IPR-Kriterien (Intellectual Property Rights) explizit aufgeführt.

Abbildung 4: Kriterienmodell in Anlehnung an Kurilovas et al. (2011)

Entlang dieses Kriterienmodells sollen nun die verschiedenen Indikatoren zusammengefasst werden. Selbstverständlich gibt es zwischen den Evaluationsinstrumenten Duplikate und inhaltliche Überschneidungen der Qualitätskriterien. In Tabelle A des Anhangs werden jedoch alle 161 Kriterien benannt und – soweit im jeweiligen Instrument vorhanden – mit ihren Operationalisierungen bzw. weiteren Erläuterungen aufgeführt. Im eQNet werden zwei Indikatoren noch in weitere Unterkriterien aufgegliedert, sodass die Tabelle 168 Zeilen bzw. Kriterien enthält, die im Folgenden den verschiedenen Dimensionen zugeordnet werden.

Auf der Ebene der Hauptkriterien wird deutlich, dass ein Schwerpunkt auf den pädagogisch-didaktischen Kriterien liegt (N = 117 Kriterien), gefolgt von den technischen Kriterien (N = 37). Drei Kriterien betreffen das Urheberrecht (IPR, N = 3).

Elf Kriterien ließen sich nicht eindeutig zuordnen und wurden in der Tabelle als ‚Sonstige‘ (other, N = 5) erfasst. Hierbei handelt es sich zum einen um Kriterien aus der Rubric to Evaluate Learner Generated Content (LGC) von Pérez-Mateo et al. (2011), die die Sichtbarkeit der Inhalte betreffen, z. B. Dissemination (Auffindbarkeit in Suchmaschinen, Anzahl der Tweets), Rating (Bewertungen durch Nutzer), Visits (Anzahl der Reads, Downloads). Sechs weitere Kriterien aus Jung, Sasaki und Latchem (2016) beziehen sich nicht direkt auf die Qualität eines Lernobjektes, sondern auf allgemeine Ziele, die mit OER befördert werden sollen (z. B. „helping developing countries improve and expand learning for development“ oder „providing open, accessible and quality content for a wider community of teachers and learners“). Diese Items sind so allgemein formuliert, dass sie ebenfalls der Kategorie „Sonstige“ zugeordnet wurden.

4.1 Technische Kriterien

Die technischen Kriterien werden untergliedert in Aspekte der Usability (Nutzerfreundlichkeit), Accessibility (Zugänglichkeit) und Reusability (Wiederverwendbarkeit).

4.1.1 Usability (Nutzerfreundlichkeit)

Die meisten Kriterien (N = 23) beschäftigen sich mit der Nutzerfreundlichkeit der Lernobjekte. Sie betreffen:

– die Struktur, Navigation und Orientierung auf der Nutzeroberfläche (z. B. „ease of use, intuitiveness“, „ease of navigation and access to all content“, „sequence and clarity of the structure“)

– die Interaktivität („technology helps learners to engage effectively with the concept / skill / ideas“, „technological interactivity“)

– das Design (z. B. „learning material is visually appealing“, „aesthetics“, „design of visual and auditory information for enhanced learning“)

– die Lesbarkeit (z. B. „typographic resources … facilitate and stimulate reading“, „appealing and easy to read, avoiding reader’s fatigue“)

4.1.2 Accessibility (Zugänglichkeit)

Die Kriterien zur Accessiblity (N=11) zielen auf die folgenden Aspekte ab:

– die technische Zuverlässigkeit (z. B. „robustness, technical stability“)

– die technische Interoperationalität und Kompatibilität (z. B. „metadata accuracy; compliance with the main import / export standards“, „the learning material if an app, can be used on multiple types of mobile devices and platforms“)

– die Zugänglichkeit für Menschen mit Beeinträchtigungen (z. B. „the degree to which content can be used by people of all abilities and disabilities“, „Visual and audio elements make content easier to use for more people“

4.1.3 Reusability (Wiederverwendbarkeit)

Drei Kriterien gehen auf technische Voraussetzungen zur Wiederverwendbarkeit der Lernobjekte ein (z. B. „the OER can be reused, revised and remixed with other resources or shared with students or other teachers“) und zielen insbesondere auf:

– die Einhaltung internationaler, technischer Standards (LORI: „These include the IEEE Learning Object Metadata standards, and technical guidelines developed by IMS, IEEE, SCORM and W3C (accessibility guidelines not included“)

4.2 Pädagogisch-didaktische Kriterien

Die pädagogisch-didaktischen Kriterien (N = 117) stehen bei den Instrumenten zur Qualitätssicherung von Lernmaterialien eindeutig im Vordergrund. Die drei Hauptkriterien betreffen die Qualität der Inhalte (Content, N = 45), das didaktische Design (Learning Design, N = 67) und die Prüfungsformen (Assessment, N = 5).

4.2.1 Content (Inhaltliche Qualität)

Unter den pädagogisch-didaktischen Kriterien kommt der inhaltlichen Qualität eine große Bedeutung zu, weshalb diese Dimension nochmals in sechs Teilaspekte untergliedert wird (siehe Abbildung 4): Accuracy (Genauigkeit, Richtigkeit), Adequacy (Angemessenheit), Intelligibility (Verständlichkeit), Significance (Bedeutung), Coherence (Kohärenz, Stimmigkeit) und Reusability (Wiederverwendbarkeit).

4.2.1.1 Content / Accuracy (Genauigkeit, Richtigkeit)

N = 8

– inhaltliche Richtigkeit (z. B. „thoroughness and correct argumentation of statements and content“, „the material contains accurate content“)

– Vollständigkeit der Inhalte (z B. „citations and references, including the reuse of user generated content“)

– Aktualität der Inhalte (z. B. „currency: content is up-to-date“)

4.2.1.2 Content / Adequacy (Angemessenheit)

N = 8

– die Inhalte sind der Zielgruppe angemessen (z. B. „the presentation methods accord with the learner’s knowledge and abilities“, „the learning object is appropriate for community and cultural affiliations, including language, dialect, reading and writing“)

– der Umfang ist dem Inhalt angemessen (z. B. „the learning material includes an adequate amount of material“)

4.2.1.3 Content / Intelligibility (Verständlichkeit)

N = 6

– Verständlichkeit der Inhalte (z. B. „the goals and content are easily understood“, „the learning material summarizes the concept well“, „communication style, including spelling“)

4.2.1.4 Content / Significance (Bedeutung)

N = 4

– Relevanz der Inhalte (z. B. „the learning material is current and relevant“, „the content covers educationally significant concepts and enables deep understanding“)

– wissenschaftliche Fundierung der Inhalte (z. B. „the learning material is supported by appropriate research“)

4.2.1.5 Content / Coherence (Kohärenz, Schlüssigkeit)

N = 14

– Kohärenz und Schlüssigkeit des inhaltlichen Aufbaus (Sequencing) (z. B. „content organization and sequence“, „the content progresses from simple to complex“ „the learning material builds on prior concept“, „the learning material demonstrates relationships between concepts“)

4.2.1.6 Content / Reusability (Wiederverwendbarkeit)

N = 5

– inhaltliche Wiederverwendbarkeit (z. B. „the learning material is flexible, can be used in several situation“, „learning objects have been designed to be language customizable and are already offered in more than one language“)

4.2.2 Learning Design

Es fällt auf, dass die Kategorie des didaktischen Designs in den unterschiedlichen Qualitätsmodellen diffus angelegt ist. Alle möglichen Aspekte werden hier subsummiert (N = 67), die wiederum – wie bei den Kriterien zum Inhalt (Content) – nicht in weitere Unterkategorien aufgegliedert werden. Daher wurden in einem ersten Schritt die Kriterien mit ihren Operationalisierungen mittels qualitativer Textanalyse in MAXQDA kodiert, wobei sich die folgende Struktur der Kriterien ergeben hat:

– Zielgruppenorientierung: Das Lernobjekt berücksichtigt Bedürfnisse einer bestimmten Zielgruppe und knüpft an deren Vorwissen an (z. B. „the target learners are clearly identified (academic level / technical ability / demographics) and addressed“, „pre-requisite knowledge / skills are clear with connections to prior and future learning“) 18

– Lernziele werden transparent gemacht (z. B. „learning objectives are made explicit to learners and teachers“) und passen im Sinne des Constructive Alignement (vgl. Biggs & Tang, 2009) zu den Lehr-/Lernaktivitäten und Prüfungsformen (z. B. „alignment among learning goals, activities, assessments, and learner characteristics“)

– Engagement und Motivation: Das Lernmaterial motiviert zu einer vertieften Auseinandersetzung mit den Inhalten (z. B. „the OER gains and maintains students’ attention and interes“, „the material engages learners in the use of analytical skills“, „opportunities for deeper learning“)

– das Lernmaterial ermöglicht und regt an zu Kollaboration, Kommunikation und Kooperation (z. B. „dialogue, exchange of different points of view and constructive criticism during the content elaboration process“, „fair collaboration of group members in the process“, „ability to reach agreements in relation to any aspect associated with the work group“)

– Anwendung und Transfer: Das Lernmaterial bietet Möglichkeiten zur Anwendung und zum Transfer des erworbenen Wissens (z. B. „the OER provides opportunities for task analysis and solving hands-on, real-world problems“, „the OER enables the transfer of the new knowledge and skills to different tasks, problems or contexts“)

– Medien- und Präsentationsvielfalt (z. B. „the OER’s text, images, audio and video elements and hyperlinks provide diversity in learning“, „the design of visual and auditory information enhances learning and mental processes“)

– das Lernmaterial bietet Hilfestellungen und eröffnet auch Zugang zu persönlicher Betreuung (Support) (z. B. „help and documentation files are provided for students and teachers including contextual assistance“, „consultations with teachers“)

– Orientierung an Bildungsstandards (z. B. „degree to which an individual object actually aligns to each proposed standard“)

4.2.3 Assessment

N = 5

– Assessment (z. B. „the learning material can be used to measure student learning outcomes“)

– Feedback (z. B. „the learning object provides an opportunity for learners to obtain feedback either within or outside the learning object“)

4.3 IPR-Kriterien

Drei Instrumente heben die Bedeutung offener Lizenzen hervor und nennen diese explizit als Qualitätskriterium von OER (z. B. „the OER accords with open content licenses (e. g., Creative Commons) that have been properly referenced and applied to the resources“, „license type in order to reuse content (CreativeCommons, GNU, FDL, etc.)“).

4.4 Zusammenfassung

Nach der oben stehenden synoptischen Übersicht der 168 Kriterien aus den acht Evaluationsinstrumenten (siehe Tabelle 3), lassen sich die verschiedenen Qualitätsindikatoren auf der Grundlage des Kriterienmodells in Abbildung 4 wie folgt in einem Begriffsbaum zusammenfassen:

18 Zielgruppenorientierung ist in der Dimension Learning Design also weiter gefasst als unter Content.

5 Schlussfolgerungen für die HOOU

Wie bereits in Kapitel 1 ausführlich erläutert, hat die HOOU einen „Markenkern“ formuliert, der sowohl die freie und offene Lizenzierung von OER als auch die Entwicklung eines HOOU-Labels für OER als Qualitätssiegel anstrebt, wobei keine schematisch arbeitende OER-Kontrollstelle auf Basis von Checklisten gewünscht ist, die über die Aufnahme von OER in das HOOU OER-Repositorium entscheidet.

In die nachfolgenden Schlussfolgerungen zur Qualitätssicherung von OER im Allgemeinen und im Rahmen der HOOU als konkreten Fall sind im Sinne einer erweiterten Bestandsaufnahme auch die Ergebnisse eines Workshops eingeflossen, der mit Rückblick auf die Erfahrungen der Vorprojektphase 2015 / 2016 im August 2017 an der Universität Hamburg stattfand. In dem Workshop der HOOU Lenkungsgruppe mit Vertreterinnen und Vertretern der an der HOOU beteiligten Hochschulen, der Behörde für Wissenschaft, Forschung und Gleichstellung (BWFG) sowie dem Multimedia Kontor Hamburg (MMKH) wurde entlang der folgenden Leitfragen diskutiert:

– Was sind „echte“ OER im Verständnis der HOOU?

– Welche Instrumente zur Qualitätssicherung sind in Bezug auf die HOOU denkbar?

– Wie kann der Qualitätssicherungsprozess aussehen?

Auf dem Workshop wurde die hier vorliegende Ausarbeitung zunächst als Diskussionsbasis in einer Arbeitsversion vorgestellt und die Ergebnisse des Workshops zur Anpassung der Inhalte der folgenden Abschnitte genutzt. Der nachfolgend vorgestellte Inhalt spiegelt daher auch die Interessen der HOOU Lenkungsgruppe wider.

5.1 Verständnis von OER

Das Verständnis von OER an der HOOU schließt an die UNESCO-Definition von 2015 an:

Open Educational Resources (OERs) are any type of educational materials that are in the public domain or introduced with an open license. The nature of these open materials means that anyone can legally and freely copy, use, adapt and re-share them. OERs range from textbooks to curricula, syllabi, lecture notes, assignments, tests, projects, audio, video and animation.

Danach handelt es sich also nur um „echte“ OER, wenn eine Lizenz im dunkelgrünen Bereich der CC-Skala vergeben wird: CC 0, CC BY, CC BY SA (siehe Abbildung 5). In der Diskussion der Lenkungsgruppe herrschte Einigkeit darüber, dass die HOOU ihren Fokus auf Lernmaterialien legen wolle, die im dunkelgrünen Bereich der CC-Skala lizenziert sind. Es sollen jedoch auch diejenigen Lehrenden eingebunden werden, die eine kommerzielle Nutzung ausschließen möchten.

Zur Bezeichnung der Lernmaterialien / OER in Abstufung nach dem Grad der Offenheit wird daher folgender Vorschlag gemacht:

– grüner Bereich: offene Bildungsmaterialien der HOOU

– darin der dunkelgrüne Bereich: OER der HOOU (OER als Prädikatslabel)

– alle weiteren Materialien (gelb bis rot): Bildungsmaterialien der HOOU

Abbildung 5: Creative Commons (CC) License Spectrum 19

5.2 Qualitätssicherungsinstrumente

Insgesamt ergibt sich ein sehr heterogenes Bild, das zeigt, dass die Qualitätssicherungsinstrumente von sehr unterschiedlicher Komplexität und Detailtiefe sind. Die betrachteten internationalen Evaluationsansätze haben Stärken und Schwächen:

Über die Reliabilität und Validität der Instrumente ist wenig bekannt. Auch die Anzahl der Bewertungskriterien ist sehr unterschiedlich. Sie reicht von acht (Achieve, eQNet) bis 42 (LGC). Einige Ansätze basieren auf einem Qualitätsmodell mit mehreren Qualitätsdimensionen, denen eine Anzahl von Qualitätskriterien zugeordnet werden (z. B. eQNet, Kurilovas, et al. 2011, MEROT), andere bestehen lediglich aus Kriterienlisten (z. B. Achieve.org). Einige Ansätze haben für die Operationalisierung der Ratingskalen eine detailierte Handreichung (scoring guide) erarbeitet (z. B. LORI, Nesbit, Belfer und Leacock, 2007), andere bestehen aus simplen Checklisten (z. B. Jung et al., 2016). Im Hinblick auf den Anwendungskontext gibt es generische Ansätze und solche, die für eine spezifische Fachdomäne, z. B. Naturwissenschaften (Fitzgerald, 2002), speziell für die Schule (z. B. LOEI, Haughey & Muirhead, 2005) oder User-Generated Content (LGC, Pérez-Mateo et al., 2011) entwickelt wurden.

Es ist festzustellen, dass es ein weithin anerkanntes deutsches Modell und Instrument zur Qualitätssicherung von OER nicht gibt. Daher ist es erforderlich, ein eigenes Qualitätsmodell zu entwickeln, dass insbesondere die Spezifika von OER (Wiederverwertbarkeit und Modifikation) angemessen berücksichtigt. Bei der Entwicklung eines solchen Modells kann jedoch auf dem oben entwickelten Kriterienmodell aufgebaut werden (siehe Abbildung 4 und Abschnitt 4.4), das aus der Analyse der internationalen Ansätze zur Evaluation von Lernmaterialien abgeleitet wurde.

Abbildung 6: Ausschnitt aus dem LORI User Guide (Nesbit et al., 2007)

Hierauf aufbauend könnte dann ein deutsches Instrument zur Qualitätssicherung von OER entwickelt werden, das entsprechende Bewertungsskalen mit Items zur Operationalisierung der Qualitätsdimensionen enthält. Hierbei ist auf eine ausgewogene Balance zwischen Genauigkeit und Einfachheit zu achten, d. h. zwischen wissenschaftlicher Güte der Testentwicklung und der Komplexität der Qualitätsdimensionen und -skalen einerseits und der Praktikabilität bei der Anwendung des Instruments andererseits. Ein überkomplexes Instrument kann zu mangelnder Akzeptanz führen, wie auch Jung et al. (2016) festellen: „the more highly detailed approaches to evaluation are a significant barrier to OER […] most OER assessment systems are too complex for easy use“ (S. 2). Denkbar erscheint eine Kombination aus LORI und MERLOT, um zu einem handhabbaren Instrument zu gelangen. Das LORI-Instrument ist leicht nachvollziehbar strukturiert, und die Ausprägungen der Bewertungsskalen sind gut nachvollziehbar operationalisiert. Somit ist LORI sehr anwendungsfreundlich. Allerdings könnten die neun Bewertungskriterien bzw. -dimensionen (Content Quality, Learning Goal Alignment, Feedback and Adaptation, Motivation, Presentation Design, Interaction Usability, Accessibility, Reusability und Standards Compliance) nach dem oben entwickelten Kriterienmodell (siehe Abbildung 4) erweitert bzw. verfeinert werden. Die Analysen haben gezeigt, dass insbesondere die Dimension der Inhaltsqualität besonders komplex ist und somit weiter aufgefächert werden sollte. Hierzu könnte das international weithin anerkannte MERLOT-Instrument mit seinen 31 Kriterien in drei Dimensionen herangezogen werden.

Es ist auch zu überlegen, ob bestimmte Gewichtungen für technische, inhaltliche und pädagogisch-didaktische Kriterien vorgenommen werden sollen.

Bei LORI ist weiterhin das User Manual positiv hervorzuheben (siehe Abbildung 6), das ausführliche Beschreibungen für hohe, mittlere und niedrige Ausprägungen auf den Bewertungsstufen enthält. Eine solche Handreichung zur reliablen Anwendung des Instruments wird nachdrücklich empfohlen.

5.3 Qualitätssicherungsverfahren

Bei der Implementierung des Qualitätssicherungsinstruments in ein Qualitätssicherungsverfahren ist der Prozess so zu gestalten und zu kommunizieren, dass er auf größtmögliche Akzeptanz auf Seiten der Lehrenden stößt. Schließlich gilt es doch zunächst, die Mehrheit der Lehrenden davon zu überzeugen, sich an der Entwicklung innovativer digitaler Lernmaterialien zu beteiligen und diese dann auch noch frei zur Verfügung zu stellen. Dies ist sicherlich für viele Hochschullehrenden eine gewisse Hürde (vgl. Deimann & Bastiaens, 2010). Während die öffentliche Diskussion und Kritik von Forschungsarbeiten über die Veröffentlichung von wissenschaftlichen Publikationen in Fachjournalen zu den alltäglichen Aufgaben gehört, ist die Veröffentlichung von Lehrmaterialien, die Rückschlüsse auf die Qualität der Lehre zulassen, bisher unüblich.

Zugeneigte und interessierte Lehrende sollten daher durch ein Evaluationsverfahren nicht abgeschreckt werden, sondern es sollte als hilfreiches Service- und Beratungsangebot (im Sinne einer formativen Evaluation) empfunden werden, das der Verbesserung und schließlich der Auszeichnung der Lehrmaterialien dient. Mit der Veröffentlichung von Lehrmaterialien auf einer OER-Plattform wird ein Prädikat vergeben, über das sich Professorinnen und Professoren und wissenschaftliche Mitarbeiterinnen und Mitarbeiter auch in der Lehre profilieren können.

Für die Durchführung des Qualitätssicherungsverfahrens sollte an zentraler Stelle ein Redaktionsteam eingerichtet werden, das zumindest aus einer wissenschaftlichen Leitung und zwei Mitarbeitenden besteht. Die Expertise der beiden Mitarbeitenden im Redaktionsteam sollte so aufgeteilt sein, dass eine Person eher über ein pädagogisch-didaktisches Profil und die andere Person eher über ein technisches Profil verfügt, sodass Lehrende sowohl hochschuldidaktische Beratung als auch Hilfestellungen im Bereich technischer Standards und Usability-Kriterien erhalten können.

Die Lehrenden sollten für die inhaltliche Qualität selbst die Verantwortung tragen (Richtigkeit, Aktualität, wissenschaftliche Fundierung etc.). Ansonsten würde das Verfahren als unangemessene Kontrolle wahrgenommen werden. Die inhaltliche Qualität sollte vom Redaktionsteam insbesondere im Hinblick auf didaktische Kriterien betrachtet werden: Ist der Inhalt kohärent und schlüssig aufgebaut? Wie werden Lernziele definiert? Sind diese über die Lehr-/Lernaktivitäten zu erreichen und passen die Aufgaben und Prüfungsformate dazu? Etc.

Je nach Menge der zu begutachtenden Lernmaterialien kann der Kreis der Reviewer auch noch durch externe Kolleginnen und Kollegen erweitert werden, die dann allerdings keine Beratungsleistungen übernehmen können. Für eine qualitätsgesicherte Anwendung des Verfahrens sollten insbesondere die externen Reviewer neben dem Leitfaden eine kurze Einführung und Schulung zum Evaluationsinstrument erhalten, wie dies etwas bei MERLOT der Fall ist (GRAPE Camps: Getting Reviewers Accustomed to the Process of Evaluation).

Für den konkreten Anwendungskontext der HOOU gilt es, ein Verfahren zu entwickeln, das die bekannten Standards enthält, den Ansprüchen von OER gerecht wird und dabei auch noch praktikabel bleibt. Dies ist mindestens im Kontext der HOOU@UHH prototypisch zu erproben, um damit iterativ zu dessen fachlicher wie organisatorischer Optimierung beizutragen.

19 https://upload.wikimedia.org/wikipedia/commons/3/3d/Creative_Commons_Lizenzspektrum_DE.svg (Zugriff am 30.09.2017)

6 Literatur

Anderson-Wilk, M. & Hino, J. (2011). Achieving rigor and relevance in online multimedia scholarly publishing. First Monday, 16(12), 1 – 6.

Baumgartner, P., Häfele, H. & Maier-Häfele, K. (2002). Auswahl von Lernplattformen: Marktübersicht, Funktionen, Fachbegriffe. Innsbruck: StudienVerlag.

Baumgartner, P. & Payr, S. (1997). Methods and Practice of Software Evaluation. The Case of the European Academic Software Award (EASA). In Proceedings of ED-MEDIA 97 – World Conference on Educational Multimedia and Hypermedia. Charlottesville: AACE.

Baumgartner, P. & Zauchner, S. (Eds.). (2010). Freie elektronische Bildungsressourcen – Schritte zum Verständnis eines internationalen Phänomens. Innbruck: StudienVerlag.

Belton, V. & Stewart, T. J. (2002). Multiple Criteria Decision Analysis. Boston, MA: Springer US. https://doi.org/10.1007/978-1-4615-1495-4

Bessenrodt-Weberpals, M., Göcks, M., Knutzen, S. & Mayrberger, K. (2017). Hamburg Open Online University (HOOU) Rückblick Vorprojekt – Ausblick Projekt. In HOOU (Ed.), HOOU Content Projekte der Vorprojektphase 2015 / 16 der Hamburg Open Online University (pp. 8 – 24). Hamburg: Hamburg Open Online University. Retrieved from https://www.synergie.uni-hamburg.de/media/sonderbaende/hoou-content-projekte-2015-2016.pdf

Biggs, J. & Tang, C. (2009). Teaching for quality learning at university. New York: McGraw-Hill.

Bülow-Schramm, M. (2006). Qualitätsmanagement in Bildungseinrichtungen. Münster: Waxmann.

Colton, D. A., Gao, X., Harris, D. J., Kolen, M. J., Martinovich-Barhite, D., Wang, T. & Welch, C. J. (1997). Reliability issues with performance assessments: A collection of papers (No. 97-3). ACT Research Report Series.

Deimann, M. & Bastiaens, T. (2010). Potenziale und Hemmnisse freier digitaler Bildungsressourcen – eine Delphi-Studie. Zeitschrift Für E-Learning, Lernkultur und Bildungstechnologie, 5(3), 7 – 18.

Deutscher Bildungsserver (2016). Machbarkeitsstudie zum Aufbau und Betrieb von OER-Infrastrukturen in der Bildung (Stand: Februar 2016). 2016, 66 S. – URN: urn:nbn:de:0111-pedocs-117154

Ebner, M., Kopp, M., Hafner, R., Budroni, P., Buschbeck, V., Enkhbayar, A., Ferus, A., Freisleben-Teutscher, C. F., Gröblinger, O., Matt, I., Ofner, S., Schmitt, F., Schön, S., Seissl, M., Seitz, P., Skokan, E., Vogt, E., Waller, D. & Zwiauer, C. (2017). Konzept OER-Zerti zierung an österreichischen Hochschulen. Forum Neue Medien in der Lehre Austria.

Ehlers, U.-D. (2011). Qualität im E-Learning aus Lernersicht (2., überarb. und aktual. Aufl). Wiesbaden: VS, Verl. für Sozialwiss.

Fey, C.-C. (2015). Kostenfreie Online-Lehrmittel. Eine kritische Qualitätsanalyse. Bad Heilbrunn: Julius Klinkhardt.

Fitzgerald, M. A. & Byers, A. (2002). 11_A Rubric for Selecting Inquiry-Based Activities. Science Scope, 26(1), 22 – 25.

Jung, I., Sasaki, T. & Latchem, C. (2016). A framework for assessing fitness for purpose in open educational resources. International Journal of Educational Technology in Higher Education, 13(1), 3. https://doi.org/10.1186/s41239-016-0002-5

Kidd, M. E. & Holmes, G. (1984). CAL evaluation: A cautionary word. Computers & Education, 8(1), 77 – 84. https://doi.org/10.1016/0360-1315(84)90055-1

Kurilovas, E., Bireniene, V. & Serikoviene, S. (2011). Methodology for Evaluating Quality and Reusability of Learning Objects. Electronic Journal of E-Learning, 9(1), 39 – 51.

Leacock, T. L. & Nesbit, J. C. (2007). A Framework for evaluating the quality of multimedia learning resources. Educational Technology & Society, 10(2), 44 – 59.

Learning Object Evaluation: Computer-Mediated Collaboration And Inter-Rater Reliability. (2003). International Journal of Computers and Applications, 25(3), 198 – 205. https://doi.org/10.1080/1206212X.2003.11441703

Mayrberger, K. (2016). HOOU goes on! Open Educational Resources im Rahmen der Hamburg Open Online University. Synergie – Fachmagazin für Digitalisierung in der Lehre, Heft 2, 40 – 41.

Mruck, K., Mey, G., Purgathofer, P., Martin, Schön, S. & Apostolopoulos, N. (2011). Offener Zugang – Open Access, Open Educational Resources und Urheberrecht. In M. Ebner & S. Schön (Eds.), L3T – Lehrbuch für Lernen und Lehren mit Technologien (pp. 243 – 248). Berlin: epubli. Retrieved from http://l3t.tugraz.at/

Nesbit, J., Belfer, K. & Leacock, T. (2007). Learning object review instrument (LORI) – User manual. Retrieved from http://www.transplantedgoose.net/gradstudies/educ892/LORI1.5.pdf

Nesbit, J. C., Belfer, K. & Vargo, J. (2002). A convergent participation model for evaluation of learning objects. Canadian Journal of Learning and Technology, 28(3), 105 – 120.

Pérez-Mateo, M., Maina, M. F., Guitert, M. & Romero, M. (2011). Learner Generated Content: Quality Criteria in online Collaborative Learning. European Journal of Open, Distance and E-Learning, 14(2). Retrieved from http://www.eurodl.org/index.php?p=special&sp=articles&inum=2&article=459

Reeves, T. C. & Harmon, S. W. (1994). Systematic evaluation procedures for interactive multimedia for education and training. In S. Reisman (Ed.), Multimedia computing: Preparing for the 21st century (pp. 472 – 505). Hershey, PA: Idea Group Publishing. Retrieved from internal-pdf://reeves_harmon1994-2092006144/reeves_harmon1994.pdf

Rezaei, A. R. & Lovorn, M. (2010). Reliability and validity of rubrics for assessment through writing. Assessing Writing, 15(1), 18 – 39. https://doi.org/10.1016/j.asw.2010.01.003

Röbken, H. & Broens, A. (2017). Entwicklung von weiterbildungsspezifischen Qualitätsstandards – Sicherung und kontinuierliche Entwicklung von Qualität. In M. Arnold, J. Haubenreich, R. Götter, H. Röbken & O. Zawacki-Richter (Eds.), Entwicklung von weiterbildenden Studienangeboten im MINT-Bereich. Münster: Waxmann.

Saettler, L. P. (2004). The evolution of American educational technology (2nd ed.). Greenwich, Conn: IAP.

Scriven, M. (1991). Evaluation Thesaurus. Newbury Park: SAGE.

UNESCO. (2002). Forum on the Impact of Open Courseware for Higher Education in Developing Countries – Final resport. Paris: UNESO. Retrieved from http://unesdoc.unesco.org/images/0012/001285/128515e.pdf

UNESCO. (2012). 2012 Paris OER Declaration. Paris: UNESCO. Retrieved from http://www.unesco.org/fileadmin/MULTIMEDIA/HQ/CI/CI/pdf/Events/Paris%20OER%20Declaration_01.pdf

Vargo, J., Nesbit, J. C., Belfer, K. & Archambault, A. (2003). Learning object evaluation: Computer mediated collaboration and inter-rater reliability. International Journal of Computers and Applications, 25(3), 198 – 205.

Vinsonhaler, J. F. & Bass, R. K. (1972). A summary of ten major studies on CAI drill and practice. Educational Technology, 9(4), 1 – 8.

Wiley, D. (2013, October 10). On Quality and OER. Retrieved April 4, 2017, from https://opencontent.org/blog/archives/2947

Yuan, M. & Recker, M. (2015). Not All Rubrics Are Equal: A Review of Rubrics for Evaluating the Quality of Open Educational Resources. International Review of Research in Open and Distributed Learning, 16(5), 16 – 38.

Zauchner, S. & Baumgartner, P. (2007). Herausforderung OER – Open Educational Resources. In M. Merkt (Ed.), Studieren neu erfinden – Hochschule neu denken (pp. 244 – 252). Münster: Waxmann.

Zawacki-Richter, O. & Latchem, C. (2017). Exploring four decades of research in Computers & Education. Computers & Education.

7 Anhang

Tabelle A: Übersicht aller Qualitätskriterien

Kategorie

Kriterium

Weitere Operationalisierung

Instrument

Tech / Usability

The screen design and navigation systems are clear and consistent.

-

Fitness for Purpose in OER (Jung et al.)

Tech / Usability

Interaction usability: Ease of navigation, predictability of the user interface and quality of the interface help features

The user interface design implicitly informs learners how to interact with the object, or there are clear instructions guiding use. Navigation through the object is easy, intuitive and free from excessive delay. The behavior of the user interface is consistent and predictable.

Learning Object Review Instrument (LORI)

Tech / Usability

Presentation design: Design of visual and auditory information for enhanced learning and efficient mental processing

The production values and information design enable the user to learn efficiently. The presentations minimize visual search. Text is legible. Graphs and charts are labeled and free of clutter. Animated or video recorded events are described by audio narration. Meaningful headings signal the content of text passages. Writing is clear, concise and free of errors. Color, music, and decorative features are aesthetically pleasing and do not interfere with learning goals.

Learning Object Review Instrument (LORI)

Tech / Usability

Aesthetics

-

Learning Objects Quality Evaluation Model (eQNet)

Tech / Usability

Architecture: Is the LO architecture layered in order to separate data, presentation and application logics?

-

Learning Objects Quality Evaluation Model (eQNet)

Tech / Usability

Ease of use, intuitiveness

Users can find their way through the resource almost intuitively; they can broadly understand what is the intended learning objective or topic. LOs provide appropriate guidance, where necessary, for learners and / or practitioners. LOs make appropriate assumptions about the ICT skills of users, both learners and practitioners, or provide straightforward guidance on this. LOs not present a barrier or impede the learning experience.

Learning Objects Quality Evaluation Model (eQNet)

Tech / Usability

Navigation

-

Learning Objects Quality Evaluation Model (eQNet)

Tech / Usability

Personalisation

-

Learning Objects Quality Evaluation Model (eQNet)

Tech / Usability

User-friendly interface

-

Learning Objects Quality Evaluation Model (eQNet)

Tech / Usability

The technology helps learners to engage effectively with the concept / skill / ideas.

-

LOEI

Tech / Usability

The learning object is easy to use (i.e., navigation, user control, visibility of system status).

-

LOEI

Tech / Usability

Overall, the usability of this learning material is very high.

-

MERLOT

Tech / Usability

The learning material has very clear instructions.

-

MERLOT

Tech / Usability

The learning material is easy to use.

-

MERLOT

Tech / Usability

The learning material is interactive.

-

MERLOT

Tech / Usability

The learning material is of high design quality.

-

MERLOT

Tech / Usability

The learning material is visually appealing.

-

MERLOT

Tech / Usability

Quality of technological interactivity

This rubric is applied to objects designed with a technology-based interactive component. It is used to rate the degree and quality of the interactivity of that component. “Interactivity” is used broadly to mean that the object responds to the user, in other words, it behaves differently based on what the user does. This is not a rating for technology in general, but for technological interactivity. The rubric does not apply to interaction between students, but rather to how the technology responds to the individual user. Scoring Guide: https://www.achieve.org/files/AchieveOERRubrics.pdf

OER Rubrics (Achieve)

Tech / Usability

Design: Design and presentation

“A visually attractive design makes reading more fun”. “It has to be appealing and easy to read, avoiding reader’s fatigue. Visual aspects are very important”.

Rubric to Evaluate Learner Generated Content (LGC)

Tech / Usability

Features: Features to facilitate searching, printing, republishing content, etc.

-

Rubric to Evaluate Learner Generated Content (LGC)

Tech / Usability

Interaction usability: Ease of navigation and access to all content

“Navigation has to be easy. Readers must navigate through project’s pages without thinking. If they have to think about how to read the next sections, they lose concentration”. “It’s necessary to access to all sections in no more than 2 clicks”.

Rubric to Evaluate Learner Generated Content (LGC)

Tech / Usability

Structure: Sequence and clarity of the structure

“A Wiki’s well distributed structure makes it understandable at first sight”. “Visual aspects, navigability, structure, etc., are important, they facilitate reading and understanding. Readers can analyze different parts of the wiki quickly and easily”.

Rubric to Evaluate Learner Generated Content (LGC)

Tech / Usability

Typography: Typographic resources used (frames, text attributes, titles, etc.)

“The use of different font types, colors, bolds … Facilitate and stimulates reading” “Typography has to be clear and clean”.

Rubric to Evaluate Learner Generated Content (LGC)

Tech / Accessibility

Accessibility: Design of controls and presentation formats to accommodate disabled and mobile learners

Sensory and motor disabilities, and can be accessed through assistive and highly portable devices. It follows the IMS Guidelines for Accessible Learning Applications and conforms to W3C Web Content Accessibility Guidelines at level ‘AAA’.

Learning Object Review Instrument (LORI)

Tech / Accessibility

Robustness, technical stability

Having help functions that identify common user problems and their solutions. Having navigational actions that can be undone. Giving quick, visible and audible responses to user actions. Allowing the user to exit at any point. Not being adversely affected by user experimentation and error. If users do experience an error they should be able to recover quickly and, where appropriate, be informed about the nature of the error.

Learning Objects Quality Evaluation Model (eQNet)

Tech / Accessibility

Interoperability

Metadata accuracy; Compliance with the main import / export standards

Learning Objects Quality Evaluation Model (eQNet)

Tech / Accessibility

Accessibility: Design of controls and presentation formats to accommodate disabled and mobile learners

Is LO designed for all?; Compliance with accessibility standards

Learning Objects Quality Evaluation Model (eQNet)

Tech / Accessibility

The learning object is accessible to learners with diverse needs.

-

LOEI

Tech / Accessibility

The learning material meets accessibility requirements if able to assess.

-

MERLOT

Tech / Accessibility

The learning material if an app, can be used on multiple types of mobile devices and platforms.

-

MERLOT

Tech / Accessibility

The learning material if an app, runs effectively without the internet.

-

MERLOT

Tech / Accessibility

Assurance of accessibility

This rubric is used to assure materials are accessible to all students, including students identified as blind, visually impaired or print disabled, and those students who may qualify under the Chafee Amendment to the U. S. 1931 Act to Provide Books to the Adult Blind as Amended. It was developed to assess compliance with U. S. standards and requirements, but could be adapted to accommodate differences in other sets of requirements internationally. The Assurance of Accessibility Standards Rubric does not ask reviewers to make a judgment on the degree of object quality. Instead, it requests that a determination (yes / no) of characteristics be made that, together with assurance of specific Standards, may determine the degree to which the materials are accessible. Only those who feel qualified to make judgments about an object’s accessibility should use this rubric. Scoring Guide: https://www.achieve.org/files/AchieveOERRubrics.pdf

OER Rubrics (Achieve)

Tech / Accessibility

Accessibility: The degree to which content can be used by people of all abilities and disabilities

“Content has to be visual, easily accessible and synthetic. It has to be all clear and easy”. “Visual and audio elements make content easier to use for more people”.

Rubric to Evaluate Learner Generated Content (LGC)

Tech / Accessibility

Multiplatform: Suitability for different types of devices (web, mobile, etc.)

-

Rubric to Evaluate Learner Generated Content (LGC)

Tech / Reusability

The OER can be reused, revised and remixed with other resources or shared with students or other teachers.

-

Fitness for Purpose in OER (Jung et al.)

Tech / Reusability

Standards compliance: Adherence to international standards and specifications

The learning object adheres to all relevant international standards and specifications. These include the IEEE Learning Object Metadata standards, and technical guidelines developed by IMS, IEEE, SCORM and W3C (accessibility guidelines not included). Sufficient standard metadata is provided in tagged code within the object and presented in a page available to users.

Learning Object Review Instrument (LORI)

Tech / Reusability

Reuse: Ease or degree of reuse of content format.

-

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Content

Content quality: Veracity, accuracy, balanced presentation of ideas, and appropriate level of detail

The content is free of error and presented without bias or omissions that could mislead learners. Claims are supported by evidence or logical argument. Presentations emphasize key points and significant ideas with an appropriate level of detail. Differences among cultural and ethnic groups are represented in a balanced and sensitive manner.

Learning Object Review Instrument (LORI)

Ped / Content

Overall, the quality of the content is very high.

-

MERLOT

Ped / Content / Accuracy

The content is accurate and up to date.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Content / Accuracy

The content of the learning object is accurate and reflects the ways in which knowledge is conceptualized within the domain.

Integrity

LOEI

Ped / Content / Accuracy

The learning material provides accurate information.

-

MERLOT

Ped / Content / Accuracy

The material contains accurate content.

Increase their understanding of the science subject matter investigated / Content.

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Content / Accuracy

Reliability: Accuracy and reliability in using information sources

“Information resources must be reliable and fact-checked”. “I always read the references in order to find out where the information has been taken from”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Content / Accuracy

Thoroughness: Thoroughness and correct argumentation of statements and content.

“Thorough content”. “Thoroughness in information processing”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Content / Accuracy

References: Citations and references, including the reuse of UGC

“References are important to show where information has been taken from”. Information resources (…) being referenced”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Content / Accuracy

Currency: Content is up-to-date.

“Data was up-to date”. “Current information sources”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Content / Adequacy

The presentation methods accord with the learner’s knowledge and abilities.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Content / Adequacy

The content is appropriate to the students’ knowledge, experience, language, ethnicity, race, culture, religion age, gender or other circumstances.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Content / Adequacy

The learning object is appropriate for community and cultural affiliations, including language, dialect, reading and writing.

Values

LOEI

Ped / Content / Adequacy

The learning material includes an adequate amount of material.

-

MERLOT

Ped / Content / Adequacy

The material provides content aligned with national, state, or local standards.

Increase their understanding of the science subject matter investigated / Content.

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Content / Adequacy

Adequate: The format is consistent with the content presented.

“Visually attractive and adequate”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Content / Adequacy

Adequacy: Adequacy and relevance of information in relation to the subject developed

“Contents have to be focused on the topic”. “Most important information must be selected and prioritized”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Content / Adequacy

Recipient: Adapting content to the recipient.

“We have to think in the audience of our projects”. “Readers who have to read our projects have to be taken into account”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Content / Intelligibility

The goals and content are easily understood.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Content / Intelligibility

The learning material summarizes the concept well.

-

MERLOT

Ped / Content / Intelligibility

The learning material integrates the concept well.

-

MERLOT

Ped / Content / Intelligibility

Quality of explanation of the subject matter

This rubric is applied to objects designed to explain subject matter. It is used to rate how thoroughly the subject matter is explained or otherwise revealed in the object. Teachers might use this object with a whole class, a small group, or an individual student. Students might use the object to self-tutor. For objects that are primarily intended for teacher use, the rubric is applied to the explanation of the subject matter not to the planning instructions for the teacher. Scoring Guide: https://www.achieve.org/files/AchieveOERRubrics.pdf

OER Rubrics (Achieve)

Ped / Content / Intelligibility

Clarity: Ease and simplicity of content understanding

“Expressions and writing have to be clear, understandable and sexy”. “content concise, without abstract thinking”

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Content / Intelligibility

Style: Communication style, including spelling

“Correct and stylish writing”. “Reading can be easy with short sentences, clear and well expressed ideas, …”

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Content / Significance

The content covers educationally significant concepts and enables deep understanding.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Content / Significance

The learning material demonstrates a core concept grounded in the discipline.

-

MERLOT

Ped / Content / Significance

The learning material is current and relevant.

-

MERLOT

Ped / Content / Significance

The learning material is supported by appropriate research.

-

MERLOT

Ped / Content / Coherence

Information structure

-

Learning Objects Quality Evaluation Model (eQNet)

Ped / Content / Coherence

The learning object stands alone and reflects an awareness of the varying educational environments in which learning sequences and objects may be used by the learner.

-

LOEI

Ped / Content / Coherence

The learning material is clear and concise.

-

MERLOT

Ped / Content / Coherence

The learning material provides a complete demonstration of the concept.

-

MERLOT

Ped / Content / Coherence

The learning material is self-contained (can be used without requiring an assignment or context).

-

MERLOT

Ped / Content / Coherence

Consistency: Content and discourse consistency

“The project’s coherence is basic”. “I think contents have to be related to the project’s global concept”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Content / Coherence

Organization: Content organization and sequence

“The content has to be properly laid out. If it’s not organized, readers cannot understand the project and they can lose interest in going on reading.” “There has to be an index with its sections”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Content / Coherence

Agility: Content presentation rhythm

“The project has to be easy to read and be understandable”. “Ensuring a dynamic reading”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Content / Coherence

Argumentation: Quality of the arguments developed

“When all information is gathered, we can elaborate the content, but we can’t copy and paste it. It’s necessary to write a new text, adding our ideas. Projects need our essence”. “… arguments being constructively written”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Content / Coherence

Summary: Content synthesis capacity

“Projects should only contain useful information”. “The lesser the quantity of information, the better!”

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Content / Coherence

The learning material reinforces concepts progressively.

-

MERLOT

Ped / Content / Coherence

The learning material builds on prior concepts.

-

MERLOT

Ped / Content / Coherence

The learning material demonstrates relationships between concepts.

-

MERLOT

Ped / Content / Coherence

The content progresses from simple to complex.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Content / Reusability

Reusability: Ability to use in varying learning contexts and with learners from differing backgrounds

The learning object is a stand-alone resource that can be readily transferred to different courses, learning designs and contexts without modification. It operates effectively with a broad range of learners by adapting content or providing adjunctive content such as glossaries and summaries of prerequisite concepts.

Learning Object Review Instrument (LORI)

Ped / Content / Reusability

Aggregation level, modularity

-

Learning Objects Quality Evaluation Model (eQNet)

Ped / Content / Reusability

Internationalisation / localisation level

-

Learning Objects Quality Evaluation Model (eQNet)

Ped / Content / Reusability

Language independence

LO is not text-heavy; LOs may have little or no text; or low language dependence (easily translatable); or LOs are multilingual, i. e., LOs have been designed to be language customizable and are already offered in more than one language.

Learning Objects Quality Evaluation Model (eQNet)

Ped / Content / Reusability

The learning material is flexible (can be used in several situations).

-

MERLOT

Ped / Learning Design

Enabling collaboration between institutions, sectors, disciplines and countries.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Learning Design

The OER gains and maintains students’ attention and interest.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Learning Design

The OER helps the students recall, relate or apply prior knowledge, skills, experience, etc.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Learning Design

The OER provides a sound structure for knowledge and skills development.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Learning Design

The OER provides opportunities for task analysis and solving hands-on, real-world problems.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Learning Design

The OER’s text, images, audio and video elements and hyperlinks provide diversity in learning.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Learning Design

The instructional design focuses on the key aspects of the learning and lacks distracting features.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Learning Design

The OER enables the transfer of the new knowledge and skills to different tasks, problems or contexts.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Learning Design

The OER enables the students to consolidate their learning or construct personal meaning through reflection, discussion, demonstration of new knowledge or skills, etc.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Learning Design

Learning goal alignment: Alignment among learning goals, activities, assessments, and learner characteristics

Learning goals are declared, either within content accessed by the learner or in available metadata. The learning goals are appropriate for the intended learners. The learning activities, content and assessments provided by the object align with the declared goals. The learning object is sufficient in and of itself to enable learners to achieve the learning goals.

Learning Object Review Instrument (LORI)

Ped / Learning Design

Motivation: Ability to motivate and interest an identified population of learners

The learning object is highly motivating. Its content is relevant to the personal goals and interests of the intended learners. The object offers choice, true-to-life learning activities, multimedia, interactivity, humor, drama, or game-like challenges. It provides realistic expectations and criteria for success. Feedback compares learner performance to the criteria, shows natural consequences of the performance, and explains how the performance can be improved. Learners are likely to report an increased interest in the topic after working with the learning object.

Learning Object Review Instrument (LORI)

Ped / Learning Design

Interactivity level: Strong visual elements

LOs include animations, images, short videos and simulations that are self-explanatory or have just a few text labels or icons/buttons for start, stop, etc.

Learning Objects Quality Evaluation Model (eQNet)

Ped / Learning Design

The learning object structures information content in order to scaffold student learning.

-

LOEI

Ped / Learning Design

Learning objectives are made explicit to learners and teachers.

-

LOEI

Ped / Learning Design

The target learners are clearly identified (academic level / technical ability / demographics) and addressed.

-

LOEI

Ped / Learning Design

Pre-requisite knowledge / skills are clear with connections to prior and future learning.

-

LOEI

Ped / Learning Design

Clear instructions for using the learning object are provided.

-

LOEI

Ped / Learning Design

Help and documentation files are provided for students and teachers including contextual assistance.

-

LOEI

Ped / Learning Design

The design of visual and auditory information enhances learning and mental processes.

-

LOEI

Ped / Learning Design

The learning object does not require instructor intervention to be used effectively in a mixture of learning environments and learning sequences.

-

LOEI

Ped / Learning Design

Overall, learning material is a very effective teaching tool.

-

MERLOT

Ped / Learning Design

The learning material identifies learning objectives.

-

MERLOT

Ped / Learning Design

The learning material identifies prerequisite knowledge.

-

MERLOT

Ped / Learning Design

The learning material is easy to integrate into curriculum assignments.

-

MERLOT

Ped / Learning Design

The learning material is very efficient (could learn a lot in a short time).

-

MERLOT

Ped / Learning Design

The learning material is engaging.

-

MERLOT

Ped / Learning Design

Utility of materials designed to support teaching.

This rubric is applied to objects designed to support teachers in planning or presenting subject matter. The primary user would be a teacher. This rubric evaluates the potential utility of an object at the intended grade level for the majority of instructors. Scoring Guide: https://www.achieve.org/files/AchieveOERRubrics.pdf

OER Rubrics (Achieve)

Ped / Learning Design

Quality of instructional and practice exercise

This rubric is applied to objects that contain exercises designed to provide an opportunity to practice and strengthen specific skills and knowledge. The purpose of these exercises is to deepen understanding of subject matter and to routinize foundational skills and procedures. When concepts and skills are introduced, providing a sufficient number of exercises to support skill acquisition is critical. However when integrating skills in complex tasks, the number of exercise problems is less important than their richness. These types of practice opportunities may include as few as one or two instructional exercises designed to provide practice applying specific concepts and / or skills. Sets of practice exercises are treated as a single object, with the rubric applied to an entire group. Scoring Guide: https://www.achieve.org/files/AchieveOERRubrics.pdf

OER Rubrics (Achieve)

Ped / Learning Design

Opportunities for deeper learning

This rubric is applied to objects designed to engage learners in at least one of the following deeper learning skills, which can be applied across all content areas: – Think critically and solve complex problems. – Work collaboratively. – Communicate effectively. – Learn how to learn. – Reason abstractly. – Construct viable arguments and critique the reasoning of others. – Apply discrete knowledge and skills to real-world situations. – Construct, use, or analyze models. Scoring Guide: https://www.achieve.org/files/AchieveOERRubrics.pdf

OER Rubrics (Achieve)

Ped / Learning Design

Degree of alignment to standards

This rubric is applied to learning objects that have suggested alignments to standards. It is used to rate the degree to which an individual object actually aligns to each proposed standard. The rubric was designed specifically for the Common Core State Standards, but can be used with any set of standards. Before the rubric can be applied, the assumption is that a user has proposed an alignment between the object and the selected standard(s). There are two major aspects of standards that are vital to a meaningful alignment review: content and performance expectations. It is important that the content addressed in the object matches the content addressed in each proposed standard. Evaluating the alignment of the performances required in both the object and the standard is equally essential and should be considered along with the content. Scoring Guide: https://www.achieve.org/files/AchieveOERRubrics.pdf

OER Rubrics (Achieve)

Ped / Learning Design

The material provides opportunity to develop enduring understanding of subject matter content.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material provides an opportunity to learn how different kinds of questions based on prior scientific knowledge suggest different kinds of investigations.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material provides an opportunity to learn that scientists conduct investigation for a variety of reasons.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material provides an opportunity to learn that scientists use a variety of tools, technology, and methods to extend the senses.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material provides an opportunity to learn that mathematics is essential in scientific inquiry.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material provides an opportunity to learn that scientists use evidence, logic, and current scientific knowledge to propose explanations.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material provides an opportunity to learn that scientists collaborate and communicate with each other in a variety of ways to reach well-accepted explanations.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material provides an opportunity to ask questions that can be answered through scientific investigations.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material engages learners in planning investigations to gather evidence in response to questions.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material engages learners in conducting the investigation.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material engages learners in the use of analytical skills.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material engages learners in proposing answers and explanations to questions.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material engages learners in the consideration of alternative explanations.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material engages learners in linking explanations with scientific knowledge.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material engages learners in communication of scientific procedures and explanations.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material engages learners in appropriately responding to critical comments.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material engages learners in raising additional questions.

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material promotes the questioning of assumptions (skepticism).

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material presents science as open and subject to modification based on communication of new knowledge and methods (openness).

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material promotes longing to know and understand (curiosity).

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

The material promotes respect for data (honesty).

-

Rubric for Selecting Inquiry-Based Activities (Fitzgerald, 2002)

Ped / Learning Design

Diversity: Images, links, graphs, multimedia, videos, etc, and the proper treatment of those resources.

“Attaching all types of resources (photos, video, etc.) to help project’s understanding, in order to make reading clearer and more concise.” “Adequate paragraph separation, inserting pictures and videos make reading more dynamic and fun.”

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Learning Design

Resources: Using the different resources provided by the tool (optimal use).

“Using more Web 2.0 tools”. “Inserting links and other resources will make wikis more attractive”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Learning Design

Prospective: How content encourages the generation of new content: further research on that issue, opening questions, formulating new questions, providing clues to research, etc.

“Interesting content that promotes reflection”. “Additional Information complementing project’s content”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Learning Design

Collaboration: Content elaborating in a collaboration way (not as a sum of parts).

“It is important that, although each team member has an assigned role or task, everyone can give their opinion in order to enrich the process.” “All group members have to contribute with their ideas to the entire project and to other member’s contributions”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Learning Design

Critical: Critical skills through the process.

“Constructive criticism is basic in order to carry out a common project”. “A <<devil’s advocate>> is necessary to provide criticism and help improve the projects”

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Learning Design

Consensus: Ability to reach agreements in relation to any aspect associated with the work group.

“It is necessary to reach a consensus on emerging comments and ideas during the process”. “Group members need to learn to leave behind their own ideas to get new ones through consensus.”

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Learning Design

Exchange: Dialogue, exchange of different points of view and constructive criticism during the content elaboration process.

“… Exchange of opinions and discuss them” “Debating ideas when all partners share their opinions in order to focus on workload uniformly.”

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Learning Design

Effectiveness: Developing the workgroup process in an optimal way.

“Coordination and time planning are basic issues to the groups working”. “Clear objectives must be defined from the beginning, but there has to be some flexibility.”

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Learning Design

Involvement: Participation of all group members in the process.

“Involvement, participation and motivation of all the group’s members”. “All members have to be aware of their own tasks for the whole project”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Learning Design

Constancy: Regular and frequent participation.

“Regular and active participation”. “Be connected daily to group’s virtual space in order to be continuously working”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Learning Design

Equitable: Fair collaboration of group members in the process.

“Implication of all the group members working at the same intensity”. “Trying to be fair and not to load all the weight of the project on one only member”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Learning Design

Attitude: The civic and proactive attitude of all members within the workgroup.

“Active attitude and facilitating communication”. “Availability, desire to work, empathy, assertiveness, patience, effort and desire of things working fine”.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Learning Design

Technology: Knowledge and use level of digital technology.

“Digital literacy of group members“.

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Learning Design

Teaching: Monitoring, motivating, dynamizing and evaluating the process.

“Teacher guidelines”. „Consultations with teachers.“

Rubric to Evaluate Learner Generated Content (LGC)

Ped / Assessment

The OER contains in-built feedback, support and assessment.

-

Fitness for Purpose in OER (Jung et al.)

Ped / Assessment

Feedback and adaptation: Adaptive content or feedback driven by differential learner input or learner modeling

The learning object has the ability (a) to tailor instructional messages or activities according to the specific needs or characteristics of the learner or (b) to simulate or construct phenomena under study in response to differential input from the learner. A model or profile of the learner is maintained that influences the behavior of the learning object.

Learning Object Review Instrument (LORI)

Ped / Assessment

The learning object provides an opportunity for learners to obtain feedback either within or outside the learning object.

-

LOEI

Ped / Assessment

The learning material can be used to measure student learning outcomes.

-

MERLOT

Ped / Assessment

Quality of assessment

This rubric is applied to those objects designed to determine what a student knows before, during, or after a topic is taught. When many assessment items are included in one object, as is often the case, the rubric is applied to the entire set.

Scoring Guide: https://www.achieve.org/files/AchieveOERRubrics.pdf

OER Rubrics (Achieve)

IPR / Licence

The OER accords with open content licenses (e. g., Creative Commons) that have been properly referenced and applied to the resources.

-

Fitness for Purpose in OER (Jung et al.)

IPR / Licence

Open licence, cost

-

Learning Objects Quality Evaluation Model (eQNet)

IPR / Licence

License: License type in order to reuse content (CreativeCommons, GNU FDL, etc.).

-

Rubric to Evaluate Learner Generated Content (LGC)

Other

Reflection: Reflecting on the process developed (intra and inter-evaluation).

-

Rubric to Evaluate Learner Generated Content (LGC)

Other

Dissemination: Indexed in search engines, embedding, RSS, Twitter and / or Facebook, etc.

“Being based on dissemination maintaining the seriousness and quality of the text”. “Common language based Projects focusing on working methods and dissemination (using ICT) but not focused on content”.

Rubric to Evaluate Learner Generated Content (LGC)

Other

Rating: Assessment made by visitors (users).

-

Rubric to Evaluate Learner Generated Content (LGC)

Other

Visits: The number of visits.

-

Rubric to Evaluate Learner Generated Content (LGC)

Other

Validation: Explicit validation and / or evaluation process (explanation of content creation process as well as validation. It should also include some elements such as authorship, date, editing and versions date and context where it is developed).

-

Rubric to Evaluate Learner Generated Content (LGC)

Other

Sharing best practice and helping to avoid re-inventing the wheel.

-

Fitness for Purpose in OER (Jung et al.)

Other

Helping developing countries improve and expand learning for development.

-

Fitness for Purpose in OER (Jung et al.)

Other

Offering flexible non-formal and informal knowledge and skills accumulation pathways to formal study

-

Fitness for Purpose in OER (Jung et al.)

Other

Providing for geographically, socially or economically excluded students, non-traditional students, work-based learners, etc.

-

Fitness for Purpose in OER (Jung et al.)

Other

Improving the quality of conventional and online education by achieving greater awareness of open and inclusive educational practices and varied perspectives on fields of study

-

Fitness for Purpose in OER (Jung et al.)

Other

Providing open, accessible and quality content for a wider community of teachers and learners

-

Fitness for Purpose in OER (Jung et al.)

Autoren

Kerstin Mayrberger, Prof. Dr.

Professorin an der Universität Hamburg mit Schwerpunkt Mediendidaktik und Beauftragte für die Digitalisierung von Lehren und Lernen

Prof. Dr. phil. Kerstin Mayrberger studierte Lehramt und Erziehungswissenschaft an den Universitäten Lüneburg und Hamburg. Von 2009 bis 2011 war sie Juniorprofessorin für Medienpädagogik an der Universität Mainz, von 2011 bis 2014 Professorin für Mediendidaktik an der Universität Augsburg. Seit Oktober 2014 ist sie an der Universität Hamburg am Hamburger Zentrum für Universitäres Lehren und Lernen (HUL) Professorin für Lehren und Lernen an der Hochschule mit dem Schwerpunkt Mediendidaktik. Ebenfalls ist sie Wissenschaftliche Leitung des Universitätskollegs sowie Beauftragte der Universität Hamburg für Digitalisierung von Lehren und Lernen (DLL). Sie ist Mitglied in der Lenkungsgruppe sowie strategischen Steuergruppe der Hamburg Open Online University (HOOU). Ihre Forschungsschwerpunkte liegen im Bereich der Mediendidaktik, derzeit besonders beim Lernen und Lehren mit mobilen Endgeräten, beim partizipativen Lernen mit digitalen, vernetzen Medien (Partizipative Mediendidaktik), Open Education mit Open Educational Resources (OER) sowie bei Fragen der (medien-)pädagogischen Professionalität von Lehrenden. Daneben beschäftigt sie sich mit agilen Projektmanagement im Rahmen der Lehrentwicklung an der Hochschule. Weitere Informationen finden sich unter: http://uhh.de/xo318

Olaf Zawacki-Richter, Prof. Dr.

Professor für Wissenstransfer und Lernen mit neuen Technologien, Universität Oldenburg

Olaf Zawacki-Richter hat 2003 über Gelingensbedingungen von Online-Studiengängen promoviert und an der Universität Mainz im Fach Erziehungswissenschaften mit dem Schwerpunkt Weiterbildung habilitiert. Nach einer Vertretungsprofessur für Bildungstechnologie an der Fernuniversität in Hagen ist er seit dem Jahr 2010 Professor für Wissenstransfer und Lernen mit neuen Technologien an der Universität Oldenburg. Professor Zawacki-Richter ist wissenschaftlicher Leiter des Master of Distance Education and E-Learning Studiengangs, der gemeinsam mit dem University of Maryland University College (USA) angeboten wird. Er ist Mitherausgeber der Zeitschriften „International Review of Research in Open and Distance Learning“, „Open Learning“ und “Distance Education“. Keynotes auf internationalen Fachtagungen führten ihn u. a. nach Australien, Brasilien, China, Kolumbien, Ungarn, Südafrika und Saudi Arabien.

Impressum

Titel: Qualität von OER
Untertitel: Internationale Bestandsaufnahme von Instrumenten zur Qualitätssicherung von Open Educational Resources (OER) – Schritte zu einem deutschen Modell am Beispiel der Hamburg Open Online University Sonderband zum Fachmagazin Synergie

Autoren: Prof. Dr. Olaf Zawacki-Richter, Prof. Dr. Kerstin Mayrberger

Herausgeberin: Prof. Dr. Kerstin Mayrberger

Universität Hamburg

Universitätskolleg

Schlüterstraße 51

D-20146 Hamburg

www.synergie.uni-hamburg.de

Redaktion: Redaktionsteam Synergie, redaktion.synergie@uni-hamburg.de

Lektorat und Satz: blum design und kommunikation GmbH

Bildnachweis: Wenn nicht anders gekennzeichnet, stammen die Abbildungen in den Beiträgen von den

Autorinnen und Autoren. Alle Rechte liegen bei der Universität Hamburg.

Schrift: TheSans UHH von LucasFonts

Druck: Universität Hamburg, Universitätsdruckerei

Urheberrecht: Die Veröffentlichung und alle in ihr enthaltenen einzelnen Beiträge und Abbildungen sind urheberrechtlich geschützt.

CC BY 4.0

Erscheinungsort: Hamburg (Deutschland)

Erscheinungstermin der Erstausgabe: 24.12.2018

Druckauflage: 100

PDF-Download unter: https://uhh.de/fqx9u

https://doi.org/10.25592/978.3.924330.61.3

ePUB-Download unter: https://uhh.de/msvyq

https://doi.org/10.25592/978.3.924330.62.0

ISBN: 978-3-924330-60-6

ISBN (PDF): 978-3-924330-61-3

ISBN (ePUB): 978-3-924330-62-0