Auteursarchief: Marcel Schmitz
Opportunities and Challenges in Learning Analytics for Learning Design
Hi Judith,
Wouldn’t it be great to be able to give insight in how students perform and like a certain learning activity? As a teacher I often ask them how did they like several learning activities during a coffee break or one of our social activities. As an institution we ask them after an Educational period of 10 weeks with a survey. This survey (called blokenquete) has one question in it about all of the learning material in the course. Besides the extra comments students can make in general there isn’t a question on separate learning activities.
Wouldn’t it be great to be able to give teachers but also students insight in how students perform in and like the learning activities they are provided. I believe that this would help students to increase performance and results and that teachers and institutions are able to provide better fit learning activities. Now often I only use my gut feeling or the “results” of conversation with the students at the coffee machine. It would be great to have an extra instrument, which based on data and input from students generates information on a learning activity level.
In a literature review, soon to be published and presented at the EC-TEL 2017 conference, I searched peer reviewed journals for experiments with learning analytics for learning design. I have been trying to identify opportunities and challenges in this field. I found it in three opportunities, who each have their own opportunities and challenges within them.
- Using on demand indicators for evidence based decisions on Learning Design
- Intervening during the run-time of a course
- Increasing student learning outcome and satisfaction
In the table below I have categorized the articles I found into the three opportunities and the subopportunities and subchallenges within. I have specific tried to look for experiments and research on Learning Design, Learning Analytics, Learning Dashboards and Metacognitive Competences. This last item is interesting to me because from a Knowledge Engineering perspective the topic of “learning to learn”, which we do as we use our meta-cognitive competences is especially interesting. Taking these competences into consideration while designing a Learning Analytics for Learning Design solution seems very relevant.
After publication of the article in the Conference Proceedings I will put a link to the article here and if my presentation is ready the slides will be available here to. For now I can only share the keynote presentation of Prof. Dr. Hendrik Drachsler who is my supervisor. He talks about the place of my and my colleagues research in the world of Learning Analytics.
After this literature review on the state of the art I am going to try to design a Learning Dashboard which incorporates a Learning Analytics for Learning Design solution, which can give information during the course and which tries to make the most of the meta-cognitive competences of the students.
If I project the opportunities and challenges on a model for a solution you will get the next figure:
I will keep you posted. But feel free to ask.
Marcel
Twee jaar, voor elkaar!
Ha Judith,
Bedankt dat je er was, afgelopen woensdag tijdens de afsluiting van het Voor Elkaar project. Ongeveer 2,5 jaar geleden ben ik voor het eerst in aanraking gekomen met dit project en nu hebben we een voorlopige afronding.
Ik had de eer afgelopen woensdag om samen met Barbara Piskur het project Voor Elkaar af te sluiten. Een project waar ik meerdere malen over geblogd heb en waar ik trots op ben. Trots op het feit dat het ons gelukt is om in de afgelopen twee jaar met ouders en studenten een aantal prototypes neer te zetten van tools die het delen van ervaringskennis tussen ouders makkelijker gaat maken.
Trots ben ik ook op het feit dat het ons gelukt is om dit te doen met verschillende studenten: 1e jaars t/m 4e jaars, zorgstudenten, pedagogiek studenten, ICT studenten, studenten die als werkstudent werkzaam waren, studenten die met een minor bezig waren en afstudeerders. En om bij iedere stap ouders te betrekken. Of dat nu ging over de interviews in het begin, over de focusgroepen tijdens de ontwikkeling of in brainstormsessies gedurende het traject.
Het idee om een dataecosysteem te bouwen waarin ouders binnen hun vertrouwde omgeving ervaringskennis kunnen blijven delen, maar waarbij de deelbare elementen voor een groter geheel beschikbaar worden is heel krachtig en met dit project hebben we laten zien dat het technisch mogelijk is om dit te realiseren.
Voor meer informatie verwijs ik met gepaste trots naar de projectsite: www.schoudersvoorelkaar.nl
Leuk dat je dit mooie moment met ons hebt gedeeld en dat je foto’s en tweets hebt gemaakt.
Groet Marcel
Engels oefenen
Ha Judith,
Zoals je weet heb ik opmerkingen gekregen over mijn Engels. Althans mijn academische Engels. Ik kan me wel verstaanbaar maken in het Engels en ook het schrijven van een Engelstalige blogpost is geen echt probleem. Maar het niveau van een journal publicatie of conference presentation heeft het (nog) niet.
Maar hoe oefen je dat dan? Allereerst heb ik een aantal MOOCs gevolgd bij de UC Irvine op Coursera (https://www.coursera.org/specializations/academic-english). Overigens was dat niet alleen leerzaam vanuit het perspectief van het Engels oefenen maar ook vanuit het perspectief van het volgen van een online cursus. Uiteindelijk bleek het niveau of wellicht de schrijfervaring voor mijn lector nog te beperkt. Althans dat haalde ik uit zijn commentaar bij het nakijken van mijn stukken. En ik moet ook eerlijk toegeven, er staat wel Academic English, maar de cursussen bereiden je voor op het schrijven van essays gedurende je master studie en bereiden je minder voor op een PhD stuk of journal entry.
Nu ga ik in september bij de OU een cursus volgen onder dezelfde naam (Academic English) maar deze is specifiek gericht op de PhD school dus ik denk dat daar het onderwerp wel is het schrijven van een artikel en dat ik daarmee het verschil kan gaan zien. Toch probeer ik meer te oefenen.
Telefoon
Op de telefoon ben ik een aantal apps aan het proberen:
- Academic Writing English (AWE) app van UCL
- How to Write a Thesis
- Research Genie
Allemaal apps met een boel informatie en bij AWE kun je nog wat oefeningen doen. Maar je kent me goed genoeg om te weten dat de trigger om dat ook te doen soms ontbreekt.
De game knudge.me geeft steeds een woordkaartje in een information push op mijn telefoon waar ik wel op ‘moet’ reageren. En je kunt met verschillende games erg moeilijke woorden oefenen. Althans moeilijk, het zijn vaak woorden die synoniem zijn voor bekendere woorden, maar dus wel interessant in het kader van het schrijven van een artikel. Een andere game: Oxford English Vocabolary Trainer ziet er complexer en breder uit maar mist de ‘push for action’ functie (of ik heb de zet-dat-aan optie gemist).
In de auto
Maar dat is mooie training voor mijn schrijfvaardigheden. Uiteindelijk moet er ook iets gepresenteerd worden in het Engels. En ik maak me daar niet echt druk om, maar het is ook niet dat ik daar nu veel ervaring in heb. Of dat ik dagelijks, wekelijks Engels spreek. Helemaal niet. En toch krijg je door het echt bewust luisteren veel mee. De legerzender die we in de auto doorkrijgen van het Amerikaanse leger voor de Benelux is een optie, maar de onderwerpen daar spreken me niet aan om een hele rit Posterholt-Heerlen of terug vol te houden.
Spotify bood uitkomst. Een podcast kan natuurlijk wel interessant zijn. En jawel hoor, ik heb vandaag zitten te luisteren naar de Chief Data Scientist van het Witte Huis: DJ Patil. Althans dat was hij tijdens het bewind van Obama. Erg boeiende podcast. Om Engels te leren maar ook om te horen hoe met data om te gaan.
Groet Marcel
Motivated Strategies for Learning Questionnaire (MSLQ)
Ha Judith,
In het kader van het meten/inzicht krijgen van (meta)cognitieve vaardigheden ben ik uitgekomen bij een Questionnaire over Motivated Strategies for Learning. Deze questionnaire wordt ook gebruikt in het Reflector project. Het Kohnstamm instituut beschrijft in hun boek: Meetinstrumenten voor sociale competenties, metacognitie en advanced skills (Ledoux, Meijer, van der Veen en Breetvelt) dat dit een van de volgens hun studie geschikte instrumenten is waarmee je goed allerlei zaken rondom de (meta)cognitie kunt meten. De metacognitie is heel kort door de bocht het leren hoe je leert.
De handleiding en validatiestudie van de MSLQ is beschreven door Pintrich, Smith, Garcia, McKeachie.
De questionnaire heeft 81 vragen die opgedeeld zijn 15 schalen, verdeeld over de categorieën: motivatie en leer strategieën. Ze kunnen gezamenlijk maar ook afzonderlijk gebruikt worden.
Motivatie
- Waarde – Intrinsiek doelwaarde
- Waarde – Extrinsieke doelwaarde
- Waarde – Taakwaarde
- Verwachting – Controle verwachting inzake het leren
- Verwachting – Eigen effectiviteit van het leren
- Affect – Testangst
Leerstrategie
- Cognitief – Herhaling
- Cognitief – Elaboratie
- Cognitief – Organisatie
- Cognitief – Kritisch denken
- Metacognitief – Planning, monitoring, regulering
- Resource management – Beheer van tijd en studieomgeving
- Resource management – Inspanningsmanagement
- Resource management – In onderlinge samenwerking leren
- Resource management – Hulp zoeken
Je ziet in artikelen ook wel een andere verdeling gebaseerd op de elementen van self regulerend leren volgens Pintrich: cognitie, motivatie, gedrag en context.
Cognitie:
- Herhaling
- Elaboratie
- Organisatie
- Kritisch denken
Motivatie
- Intrinsieke doelwaarde
- Extrinsieke doelwaarde
- Taakwaarde
- Controle verwachting eigen leren
- Eigen effectiviteit van het leren
- Testangst
Gedrag
- Inspanningsmanagement
- Hulp zoeken
Context
- Beheer van tijd en studieomgeving
- In onderlinge samenwerking leren
In deze presentatie zie je hoe de MSLQ is toegepast en geïnterpreteerd voor een cursus door Ann Bykerk-Kaufmann, Ronald K. Matheney, Matthew Nyman, David McConnell, Jennifer A. Stempien, David A. Budd, Lisa Gilbert.
Het boek van het Kohnmann instituut beschrijft dat je een set van vragen kunnen gebruiken die inzicht geeft over een ‘motivatie’ of een ‘leerstrategie’. Ik denk dat dit zal helpen bij het gebruik, want ondanks dat het Kohnstamm instituut beschrijft dat invullen in de klas mag en maar 20 tot 30 minuten hoeft te duren vraag ik met af wat het animo is van studenten om 81 items te beantwoorden.
Of… en daar gaat het natuurlijk om, we moeten inzichtelijk maken dat de resultaten kunnen leiden tot een beter inzicht in hun persoonlijk leren en geeft ons de mogelijkheid om ons onderwijs daarop aan te passen. Dat inzicht geven op leeractiviteit niveau zou een mooie eerste stap zijn wat mij betreft.
Groet Marcel
Microsoft Cognitive
Ha Judith,
Even een korte blog over een stukje technologie, eigenlijk meer een link naar een filmpje. In het filmpje zien we een korte weergave van Microsoft Cognitive een tool die te gebruiken is om allerlei diepere AI data analyses te gaan gebruiken, zonder specifiek zelf de AI te kennen.
Met behulp van API’s op verschillende gebieden kun je data laten analyseren. Ik ben erg nieuwsgierig naar deze services van Microsoft in combinatie met Microsoft Azure. Bij nieuwe ontwikkelingen of nieuwe ideeën zullen studenten van me dit soort omgevingen moeten bekijken, ter inspiratie of wellicht zelfs om het te gebruiken. Ik ga eens nadenken over toepasbaarheid binnen learning (analytics).
Groet Marcel
2 BE JAMMED 