Hoi Marcel,

In het decembernummer van OnderwijsInnovatie staat het artikel Learning analytics helpen docenten in het onderwijsproces van Anouschka van Leeuwen en Rianne Poot. Het artikel beschrijft een onderzoek bij een bachelorcursus binnen de opleiding Onderwijskunde aan de Universiteit Utrecht. Deze cursus is vormgegeven volgens het Flipped Classroom-model. De interactie tussen docenten en studenten vindt voornamelijk plaats tijdens de werkgroepen. In dit onderzoek hebben ze docenten learning analytics aangeboden om hen te ondersteunen bij het monitoren van studenten.

Op het moment dat docenten en studenten elkaar ontmoeten tijdens de werkgroepen is er al een diversiteit onder de studenten wat betreft voorbereiding en ondernomen activiteiten. Het doel van de learning analytics was om docenten te voorzien van informatie over deze activiteiten zodat zij geïnformeerd naar de werkgroepen gaan.

Data over het kijken van kennisclips en het inleveren van toetsvragen werden automatisch gegenereerd. Deze data geven echter geen compleet beeld van het leerproces van de individuele student en het samenwerkingsproces. Daarom werd nog dmv korte anonieme vragenlijsten wekelijks extra informatie verzameld om meer affectieve data en data die betrekking hadden op het groepsproces te verkrijgen. Deze vragen gingen over:

• aantal leesuren
• onderwerpen waarover studenten het meest hadden gelezen
• tevredenheid over communicatie binnen de groep
• tevredenheid over participatie binnen de groep
• inschatting van betrouwbaarheid van groepsleden
• mate van overeenstemming binnen de groep
• vertaling kunnen maken van model naar groepsopdracht
• voortgang van groepsopdracht

Studenten konden ook opmerkingen over individuele of groepsvoortgang toevoegen.

De docent kreeg wekelijks per werkgroep een rapportage. Hierin stonden geen gegevens van individuele studenten zodat privacy was gewaarborgd. Docenten hielden een logboek bij en aan het eind van de cursus zijn zij bevraagd over de zinvolheid van deze rapportages en wat zij met de informatie hebben gedaan.

Docenten gaven aan dat zij (monitoren)

• een goed overzicht hadden van de activiteiten van de studenten
• gemiddelden tussen werkgroepen konden vergelijken
• inzicht hadden in voortgang in samenwerking
• een objectiever en vollediger beeld hadden van studenten

Op basis van de rapporten werd ook daadwerkelijk gehandeld (interventie):

• complimenteren
• confronteren, met beeld van de rapportages
• aanpassen, meer uitleggen indien nodig.

De pilot was succesvol te noemen en het onderzoek wordt voorgezet. Een drietal tips van de onderzoekers

1. ontwikkel een mix van cognitieve en affectieve maten die aansluit bij de behoefte van docenten (zie ook bericht The global search for education: would small data mean big change?)
2. reserveer voldoende tijd voor het opzetten van learning analytics
3. maak vaste afspraken in het team om de uitkomsten van het learning analytics-rapport te bespreken.

Groet,
Judith