Categorie archief: 2 B PhD JAMS
In this part the posts (both in Dutch and English) are collected of my efforts to be a PhD. In november 2016 I started a PhD study titled: Learning Analytics for Learning Design. Before I learned a lot while working on gamification research in a health care context.
Learning Design versus Instructional Design
Beste Judith,
Een vraagje: In je blogpost over het boek van Cammy Bean: The Accidental Learning Designer schrijf je dat Cammy per ongeluk een learning designer is geworden. Ik weet niet of het in het boek beschreven is, maar een stapje van dit proces is te vinden op de site van Cammy.
Wat me niet duidelijk wordt en waar ik wel nieuwsgierig naar ben is of Cammy het verschil aangeeft. Is het een perspectief kwestie: bekijk je het vanuit de docent dan is het instructional, bekijk je het vanuit de student dan is het learning. Of is learning design een onderdeel van instructional design. Dus bevatten beide de leeractiviteiten en hoort bij instructional design deel ook nog de instruerende activiteiten.
Behalve op de site van Cammy zijn er meer discussies/views geweest over dit onderwerp:
- Researchgate gestart door Sven Strickroth
- Instructional Design Australia ziet het cyclisch: Instructional -> Learning -> Educational
Nu vraag ik me af of in het boek wat je gelezen hebt een beeld gegeven wordt van het verschil tussen de twee?
Groet Marcel
Why do we want blended learning?
Hi Judith,
Thanks for your last blog about “How to support educational teams with the design of education.” It again illustrates the difficulty of the implementation of blended learning. In the picture you use, several elements are mentioned which have influenced succesfull implementation strategies. In that graphic I miss the element of the management.
No, this is not a blog in which I want to complain about the management. I just want to try to see their point of view on this case of trying to get more blended learning. A case, sometimes struggle, sometimes a nice match, in which we have had several roles in the last few years. Their point of view is: why do we want blended learning, and do we as teachers, students and thus management want blended learning?
Quality of education is the dreamed answer, Sir Ken Robinsons’ vision of education that is not factory, which we were able to see on stage, is a wish waiting to come true. Self regulating collaborating networks of teachers and students co creating educational ecosystems is still science fiction. The managers want to dream, wish with us, they want to make science fiction into reality as well. But most of all they are stuck in that reality and sometimes we seem to forget.
The questions we have to answer aren’t how can we implement Blended Learning, as you said it yourself, that we know already. No we have to find the definite answer why do we want blended learning?
As long as we can’t translate our dreams and visions into profits, turn-over, student succes rates, student satisfaction, teacher satisfaction or regionwide knoweldge increase, management will have too much other priorities. So our real case is to illustrate the evidence there is in the context we are in so that management can dream, vision and make blended learning reality with us.
I believe that if we do, they will have a lot of fun doing it with us.
As a PhD student I will do my share, at least I will try, but I need allies. As a Zuyd community we will have to collect evidence. Not to defend our own faculty or our own model or framework which we have chosen, but to create an environment that is able to use the qualities we have to evidence based adjust our education to the demands the context or our working environments need.
Let’s go to sleep and dream on that.
Good night, Marcel Schmitz
Zoektocht naar: evaluatiemomenten van learning design
Ha Judith (en Evelien),
Zoals je weet Judith ben ik een short paper aan het schrijven dat voorgelegd moet worden voor de ECTEL conference. Deadline voor de abstract is 3-4 en de paper moet 10-4 binnen zijn. Evelien mijn ‘teacher’ helpt me enorm. Onderwerp is het inzichtelijk maken dat learning analytics voor learning design een aantal kansen heeft als we dat gedurende de loop van een module, rekening houdend met de competenties van studenten en docenten kunnen inzetten.
Om te beargumenteren dat de timing van belang kan zijn en dat er momenteel niet zo veel voorbeelden zijn van het gebruik van learning analytics/learning dashboards specifiek gericht op learning design op het moment dat een cursus loopt ben ik op zoek gegaan naar een goede review of state of the art van evaluatiemomenten van learning design (lees: de verzameling van leeractivteiten).
Een van de interessante artikelen die ik gevonden heb is:
- het potentiele leer potentieel: de mogelijkheden en mogelijke opbrengsten van het materiaal en de potentiele competenties die ondersteund zouden worden met het materiaal.
- het geactualiseerde leer potentieel: hetzelfde als hierboven, maar dan bekeken als het leermateriaal in de context geplaatst is.
- het daadwerkelijk geleerde: welke invloed heeft het materiaal daadwerkelijk gehad op de studenten
Om te komen tot dit framework hebben de schrijvers een overzicht gemaakt van het essentiële werk op dit gebied. In hun samenvatting in de introductie vind ik geen directe aanwijzingen die me inzicht geven op de vraag: “Wanneer wordt het learning design geëvalueerd”. Bij ons, de faculteit ICT wordt dit gedaan door student enquêtes aan het einde van ieder blok, middels 1 vraag die gaat waarin de student gevraagd wordt een cijfer van 0 – 10 te geven over de kwaliteit van het leermateriaal. Dit is na de cursus. Mondeling kunnen studenten natuurlijk altijd naar docenten reageren over het materiaal en docenten en examinatoren proberen zo ook een beeld te krijgen van het materiaal, maar dat is niet structureel.
In de introductie van het artikel staan een 8-tal verwijzingen die van de auteurs de stempel essentieel hebben meegekregen. Die heb ik bekeken, maar die gaan allemaal over frameworks of models waarbij monitoring gedurende alle stappen geadviseerd wordt. Of dat in de praktijk daadwerkelijk zo gebeurt dat is dan maar de vraag. Maar uit deze artikelen kan ik dat dus niet concluderen.
In het artikel”:
The impact of 151 learning designs on student satisfaction
and performance: social learning (analytics) matters
Bart Rienties & Lisette Toetenel
Institute of Educational Teachnology Open University UK
staat wel het moment van evaluatie beschreven en is dit nadat de cursus is afgelopen. In dit artikel worden meerdere modules besproken waarvan de OU de data heeft verzameld.
Het net gestarte experiment van SURF met betrekking tot Learning Analytics waaraan wij deelnemen levert wel een aantal instellingen op die gaan experimenteren met een learning dashboard dat ook gedurende de module aan staan aan direct feedback geeft op basis van het learning design. Maar ook daar zijn er dus nog geen resultaten.
Kortom na een korte zoektocht nog geen sluitend bewijs dat er niet gedurende een cursus (run-time) learning analytics wordt ingezet, maar ook nog geen goede voorbeelden gevonden dat dit wel gebeurt. Wellicht dat Sander in zijn literatuurstudie al wel iets gevonden heeft. Zo ja, dan zal ik dit melden.
Groet Marcel
Waarom learning analytics voor learning design
Ha Judith,
Zoals je weet gaat mijn PhD onderzoek over hoe we learning analytics kunnen inzetten voor learning design. In het bijzonder wil ik kijken of er gedurende een cursus goede informatie terug te geven is en wat er voor nodig is om studenten en docenten hun gedrag te laten veranderen (indien nodig) met betrekking tot het learning design.
Waarom eigenlijk dit onderwerp?
Binnen Zuyd hebben we verschillende opleidingen in allerlei vormen. Al jaren bouwen we aan mooie curricula, modules, onderdelen van onderwijs en kennis middels onderzoek. Al jaren proberen we om ICT te gebruiken om het onderwijs beter te maken. Mooie voorbeelden zijn bij verschillende collega’s te vinden en positieve verhalen van studenten maar ook docenten zijn er ook. Maar echt gemeten effecten? Ik kan je binnen Zuyd slechts een handvol voorbeelden noemen. Wellicht kan ik juist daar iets in betekenen.
Kortom kunnen we met analyse tools de leeractiviteiten die we gepland hebben evalueren en op basis van de manier van presenteren de studenten en docenten zichzelf de juiste plek laten wijzen, maar ook de opgedane kennis delen.
En als we het hebben over kennis delen dan kom ik bij het door jou eerder deze week aangesneden onderwerp: community engagement. Want ook binnen projecten als Voor Elkaar wordt er kennis gedeeld, wordt er van elkaar geleerd en worden ‘leeractiviteiten’ ingezet waarvan het goed is om die te monitoren. En waarvan het goed is dat we de ‘gebruikers’ helpen om de juiste ‘leerroutes en methodieken’ te kiezen.
Termen als self regulated learning en persoonlijke leeromgeving zijn pas mogelijk als we in staat zijn om inzichtelijk te maken welke effecten het uitvoeren van de door de docenten geplande leeractiviteiten heeft gehad. Communities van docenten kunnen dan verschillende type leeractiviteiten gaan ontwikkelen, zodat de studenten de op hun vraag gebaseerde of de op hun stijl gebaseerde activiteit kunnen kiezen.
En stiekem, heel stiekem is dit een onderwerp waar ik al vanaf 2003, toen ik bij Zuyd kwam mee bezig ben geweest. Bewust en onbewust.
Groet Marcel
Laatste nog te beoordelen huiswerk: Learning analytics for learning design, an opportunity for better learning.
Ha Judith,
Om je deelgenoot te maken van het laatste nog te beoordelen huiswerk van de laatste van vier online cursussen die ik nodig heb voordat ik aan mijn eindwerk mag beginnen, post ik bij deze mijn bijdrage. Het gaat over learning analytics for learning design kortom een onderwerp dat zeker past op dit blog.
Enjoy!
Groet Marcel
Learning analytics for learning design, an opportunity for better learning.
Despite the great success surrounding learning analytics and the increasing amount of available learning analytic tools, most educational organizations, are only aware of the potential of learning analytics regarding personalized learning and have limited experience with its application (Bichsel). All educational organizations use some form of learning design to organize their education. Analyzing the behavior and actions of students with regard to the learning design enables institutions to adapt for better learning. In order to shift the educational sector towards a more data-driven educational science, it is necessary to gain more insights in the effects of applying learning analytics in learning design.
First to illustrate, learning analytics is the field of learners data, which can be automatically harvested and analysis of these data has the potential to provide evidence-based insights into learner abilities and patterns of behavior, cognition, motivation, and emotions. The use of learning analytics to inform decision-making in education is not new, but the scope and scale of its potential has increased enormously with the rapid adoption of technology over the last few years (Siemens). At the data side, the rise of Big Data leads, in addition, to rapid development of useful techniques and tools to analyze large amounts of data. Better analysis on bigger amounts of data can be made within educational institutions by combining information across faculties. At the visualization side, better and more informative dashboards have come commercial available for institutions to use to get more insights in the actions and behaviors of students. These insights in turn can provide a crucial guidance for a more personalized curriculum design and can help teachers with the design of their education.
Secondly, illustrating Learning design as the combination of the learning activities and the support activities that are performed by different persons (students, teachers) in the context of a unit of learning e.g. a module or course. Donald et al. stated that “A learning design (product) documents and describes a learning activity in such a way that other teachers can understand it and use it in their own context. Typically a learning design includes descriptions of learning tasks, resources and supports provided by the teacher. learning design is also the process by which teachers design for learning, when they devise a plan, design or structure for a learning activity” (179). In further detail, developing a learning design a teacher or educational designer works on all phases of an instruction; starting from the definition of prior knowledge prerequisites of the target student group, design of learning objectives and outcomes, and design of the assessment to test if the outcomes have been achieved. In between are many choices for appropriate learning activities and sequences, content, teaching methods, materials and other resources that contribute to achieving the learning objectives. Efforts to incorporate personalized learning into learning designs are sought, because personalized learning is a potential approach to meeting future educational needs. Little educational concepts embed tools into their learning design to optimize personalized learning. Thus, little knowledge considering the actual use of learning analytics in educational practice and its contribution for educational theories is available (Wise). A lot of opportunities are available to improve the usage of learning design.
After illustrating learning analytics and learning design, the potential of the combination of them both, to improve education to a more personal level can be shown. The teaching activities and resources evolving from the learning design are provided increasingly over IT infrastructures and are most of the time also digitally available. This offers opportunities to use learning analytics as part of the learning environment and the learning design (Lockyer). It is of crucial importance for a learning analytics-supported learning design to consider potential learning analytics indicators already while designing the learning objectives and various activities (Lockyer). Like assessment procedures, learning analytics indicators should be considered in the very beginning of the development of the learning design. In that way, e.g. a ‘forum discussion’ is not only an effective learning activity on itself, but learning analytics can also provide an much more efficient and effective overview of e.g. student participation that could provide both student with self-monitoring information and make teachers more aware of the learning process of his students and adds possibilities for personalized feedback. However, a clear and user-friendly presentation of the learning analytics information is essential for the effect of it. learning dashboards are used to visually present learning performances. A dashboard can be defined as a visual display of the most important information needed to achieve one or more objectives; consolidated and arranged on a single screen so the information can be monitored at a glance (Few). A learning dashboard can provide both teachers and students with insights in study progress and potential for improvement.
In order to apply learning analytics in learning design, learning designers must gain awareness and knowledge about the potentials and limitations of learning analytics. A comprehensive introduction to different domains that are affected by learning analytics was provided by Greller and Drachsler. They developed a generic design framework that can serve as a guide in developing Learning application in support of educational practice. The framework addresses six fields of attention that have to be addressed in every Learning analytics design: 1. Stakeholders, 2. Objectives, 3. Data, 4. Instruments, 5. External constraints, 6. Internal limitations (42). The stakeholders are the students, teachers, institutions, but also the service providers. The objectives of using analytics can be to reflect current behavior, but also to predict if for instance students potentially drop out. How open the data is that can be used and how the data that is used can be protected are part of the data field. The instruments to gather data, analyze it and intelligently perform computations upon are the fourth field. External constraints are privacy and ethics issues. And last field, the internal limitations consider the competences users bring to use learning analytics.
Besides technical implementation, the competences of users of learning analytics for learning design have to be considered in developing a solution. There are the two crucial aspects of ’awareness’ and ’reflection’ that need to be taken into account when dealing with learning analytics for learning design. The reflection on presented analytics results is not possible without awareness which in turn depends on some form of feedback to the user. According to Endsley being aware of one’s own situation is a three level process and a prerequisite for making decisions and effectively performing tasks: the perception of elements in the current situation is followed by the comprehension of the current situation which then leads to the projection of a future status (32). Reflection can promote insight about something that previously went unnoticed and lead to a change in learning or teaching behavior. Verbert et al. emphasize the importance of these aspects in their four-stage process model for learning analytics applications: awareness, reflection, sense making, and impact (1500). Technology, thus, is not the only aspect of implementing a learning analytics for learning design solution, the competences of the users is an equally important aspect.
In conclusion, more applications of learning analytics in learning design are an opportunity to increase learning experiences for students. This development is both an effort on implementing the currently available data analytics technology in an educational context, and an effort to invest in supporting competences of the users of learning analytics for learning design applications. Succeeded in these challenges will deliver a more personalized learning environment and thereby better learning efficiency and satisfaction for students.
Works Cited
Bichsel, J. “Analytics in Higher Education: Benefits, Barriers, Progress, and Recommendations.” EDUCAUSE: Center for Applied Research, 2012, pp. 1–31.
Donald, C., Blake, A., Girault, I., Datt, A., & Ramsay, E. “Approaches to Learning Design:
past the head and the hands to the HEART of the matter.” Distance Education, 2009, vol. 30 no. 2, pp. 179–199.
Endsley, M.R. “Toward a Theory of Situation Awareness in Dynamic Systems.” Human
Factors, 1995, no. 37, pp. 32–64.
Few, S. “Information Dashboard Design.” The Effective Visual Communication of Data Sebastopol, 2006, no. 1, pp. 223.
Greller, W., Drachsler, H. “Translating learning into numbers: A generic Framework for
Learning Analytics.” Educational Technology & Society, 2012, vol. 3, no. 37, pp. 42–57.
Siemens, G. “Learning Analytics: The emergence of a Discipline.” American Behavioral
Scientist, 2013, vol. 10, no. 57, pp. 1380 – 1400.
Verbert, K., Duval, E., Klerkx, J., Govaerts, S., Santos, J. “Learning Analytics Dashboard
Applications.” American Behavioral Scientist, 2013, vol 10. no. 57, pp. 1500–1509.
Wise, A., Shaffer, D. “Why Theory matters more than ever in the age of Big Data.” Journal
of Learning Analytics, 2015, vol. 2, no. 2, pp. 5–13.


