Ha Judith (en Evelien),

Zoals je weet Judith ben ik een short paper aan het schrijven dat voorgelegd moet worden voor de ECTEL conference. Deadline voor de abstract is 3-4 en de paper moet 10-4 binnen zijn. Evelien mijn ‘teacher’ helpt me enorm. Onderwerp is het inzichtelijk maken dat learning analytics voor learning design een aantal kansen heeft als we dat gedurende de loop van een module, rekening houdend met de competenties van studenten en docenten kunnen inzetten.

Om te beargumenteren dat de timing van belang kan zijn en dat er momenteel niet zo veel voorbeelden zijn van het gebruik van learning analytics/learning dashboards specifiek gericht op learning design op het moment dat een cursus loopt ben ik op zoek gegaan naar een goede review of state of the art van evaluatiemomenten van learning design (lees: de verzameling van leeractivteiten).

Een van de interessante artikelen die ik gevonden heb is:

• het potentiele leer potentieel: de mogelijkheden en mogelijke opbrengsten van het materiaal en de potentiele competenties die ondersteund zouden worden met het materiaal.
• het geactualiseerde leer potentieel: hetzelfde als hierboven, maar dan bekeken als het leermateriaal in de context geplaatst is.
• het daadwerkelijk geleerde: welke invloed heeft het materiaal daadwerkelijk gehad op de studenten

Om te komen tot dit framework hebben de schrijvers een overzicht gemaakt van het essentiële werk op dit gebied. In hun samenvatting in de introductie vind ik geen directe aanwijzingen die me inzicht geven op de vraag: “Wanneer wordt het learning design geëvalueerd”. Bij ons, de faculteit ICT wordt dit gedaan door student enquêtes aan het einde van ieder blok, middels 1 vraag die gaat waarin de student gevraagd wordt een cijfer van 0 – 10 te geven over de kwaliteit van het leermateriaal. Dit is na de cursus. Mondeling kunnen studenten natuurlijk altijd naar docenten reageren over het materiaal en docenten en examinatoren proberen zo ook een beeld te krijgen van het materiaal, maar dat is niet structureel.

In de introductie van het artikel staan een 8-tal verwijzingen die van de auteurs de stempel essentieel hebben meegekregen. Die heb ik bekeken, maar die gaan allemaal over frameworks of models waarbij monitoring gedurende alle stappen geadviseerd wordt. Of dat in de praktijk daadwerkelijk zo gebeurt dat is dan maar de vraag. Maar uit deze artikelen kan ik dat dus niet concluderen.

In het artikel”:

The impact of 151 learning designs on student satisfaction
and performance: social learning (analytics) matters

Bart Rienties & Lisette Toetenel

Institute of Educational Teachnology Open University UK

staat wel het moment van evaluatie beschreven en is dit nadat de cursus is afgelopen. In dit artikel worden meerdere modules besproken waarvan de OU de data heeft verzameld.

Het net gestarte experiment van SURF met betrekking tot Learning Analytics waaraan wij deelnemen levert wel een aantal instellingen op die gaan experimenteren met een learning dashboard dat ook gedurende de module aan staan aan direct feedback geeft op basis van het learning design. Maar ook daar zijn er dus nog geen resultaten.

Kortom na een korte zoektocht nog geen sluitend bewijs dat er niet gedurende een cursus (run-time) learning analytics wordt ingezet, maar ook nog geen goede voorbeelden gevonden dat dit wel gebeurt. Wellicht dat Sander in zijn literatuurstudie al wel iets gevonden heeft. Zo ja, dan zal ik dit melden.

Groet Marcel