Studieprestaties. Wat werkt.

Jeroen Janssen van afdeling Educatie van de Universiteit Utrecht beschrijft op hun blog het in press artikel Variables associated with achievement in higher education: A systematic review of meta-analyses van de auteurs Michael Schneider en Franzis Preckel.

Het artikel betreft een review van meta-analyses naar de samenhang tussen een groot aantal variabelen (denk aan duidelijkheid van cursusdoelen, motivatie van studenten, enthousiasme van de docent, intelligentie, etc.) en studieprestaties van studenten in het hoger onderwijs.

In totaal betrokken Schneider en Preckel 38 meta-analyses in hun synthese (de oudste uit 1980, de meest recente uit 2014). In totaal identificeerden ze 105 variabelen in de categorieën ‘wijze van instructie’ en ‘kenmerken van de student’.

Jeroen Janssen geeft in zijn blogpost een overzicht van de hoogste en laagste effectgroottes van de studie en benoemt principes die docenten gemakkelijk in hun onderwijs kunnen inpassen. Onderstaande punten zijn integraal overgenomen.

De top 20

Hieronder volgen de 20 variabelen met de hoogste effectgroottes uit de synthese van Schneider en Preckel. Tussen haakjes is weergegeven onder welke categorie de betreffende variabele is gerubriceerd.
  1. Peer assessment (Instructie: Assessment), d=+1.91
  2. Performance self-efficacy (Student: Motivatie), d=+1.81
  3. Teacher’s preparation/organization of the course (Instructie: Stimuleren van betekenisvol leren), d=+1.39
  4. Teacher’s clarity and understandableness (Instructie: Presentatie), d=+1.35
  5. Grade goal (Student: Motivatie), d=+1.12
  6. Frequency of class attendance (Student: Strategieën), d =+0.98
  7. High school GPA (Student: Intelligentie en eerdere studieprestaties), d=+0.90
  8. Student self-assessment (Instructie: Assessment), d=+0.85
  9. Teacher’s stimulation of interest in the course and its subject matter (Instructie: Presentatie), d=+0.82
  10. Admission test results (Student: Intelligentie en eerdere studieprestatie), d=+0.79
  11. Teacher’s encouragement of questions and discussion (Instructie: Sociale interactie), d=+0.77
  12. Teacher’s availability and helpfulness (Instructie: Sociale interactie), d=+0.77
  13. Teacher’s elocutionary skills (Instructie: Presentatie), d=+0.75
  14. Clarity of course objectives and requirements (Instructie: Stimuleren van betekenisvol leren), d=+0.75
  15. Effort regulation (Student: Strategieën), d=+0.75
  16. Open-ended questions (Instructie: Social interaction), d=+0.73.
  17. Teacher relates content to students (Instructie: Stimuleren van betekenisvol leren), d=+0.65.
  18. Strategic approach to learning (Student: Strategies), d=+0.65
  19. Achievement motivation (Student: Motivatie), d=+0.64
  20. Teacher’s sensitivity to and concern with class level and progress (Instructie: Assessment), d=+0.63

De onderste 20

En hieronder de lijst van de variabelen met het kleinste of zelfs een negatief effect op studieprestaties.
  1. Deep approach to learning (Student: Strategieën), d=+0.06
  2. Age (Student: Persoonlijkheid), d=+0.06
  3. Depression (Student: Persoonlijkheid ), d=+0.06
  4. First-year training programs (Instruction: Extracurriculaire programma’s), d=+0.05
  5. Online learning (Instruction: Technologie), d=+0.05
  6. Academic extrinsic motivation (Student: Motivatie), d=0.00
  7. Pessimistic attributional style (Student: Motivatie), d=-0.02
  8. Emotional stability (Student: Persoonlijkheid), d=-0.02
  9. Extraversion (Student: Persoonlijkheid), d=-0.02
  10. Task-related social conflict (Student: Context), d=-0.13
  11. Relationship-related social conflict (Student: Context), d=-0.21
  12. Academic stress (Student: Context), d=-0.22
  13. Problem-based learning for knowledge acquisition (Instructie: Betekenisvol leren stimuleren), d=-0.22
  14. Communication apprehension (Student: Persoonlijkheid), d=-0.23
  15. Performance avoidance orientation (Student: Motivatie), d=-0.28
  16. Stress (in general) (Student: Context), d=-0.28
  17. Interesting but irrelevant details in a presentation (seductive detail effect) (Instructie: Presentatie), d=-0.30
  18. Academic self-handicapping (Student: Strategieën), d=-0.37
  19. Surface approach to learning (Student: Strategieën), d=-0.39
  20. Test anxiety (Student: Persoonlijkheid), d=-0.43
  21. Procrastination (Student: Strategieën), d=-0.52

Verder merken ze op dat docenten relatief gemakkelijk de volgende principes in hun onderwijs kunnen inpassen:

  • Stimuleren van frequente deelname aan hoorcolleges en werkgroepen (#6)
  • Stimuleren van het stellen van vragen en discussie (#11)
  • Open vragen stellen (#16)
  • De inhoud van onderwijs relateren aan voorkennis of interesse van studenten (#17)
  • Taakgerichte en verbeteringsgerichte feedback geven (#30)
  • Vriendelijk en respectvol naar studenten zijn (#30)
  • Tijdens het lesgeven gesproken woorden vergezeld laten gaan van visualisaties of geschreven woorden (#42)
  • Op slides trefwoorden gebruiken in plaats van halve of hele zinnen
  • Studenten concept maps laten maken en bespreken over de inhoud van de cursus (#45)
  • Elk onderwijsonderdeel beginnen met een advance organizer (#64), en
  • Afleidende en verleidende details in presentaties vermijden (#101)

Met betrekking tot onderwijstechnologie concluderen Schneider en Preckel: er is geen bewijs dat onderwijstechnologie het onderwijs radicaal verbetert, maar onderwijstechnologie kan zeker effectief door docenten ingezet worden als past binnen een goed uitgedacht didactisch concept (blended learning #52).

Wilfred Rubens heeft zich op zijn blog meer in detail verdiept in de passages over online leren, blended learning en leertechnologie. Hij beschrijft hierin een aantal zaken die hem opvielen. Wat betreft bevindingen op het gebied technologie-ondersteund leren bevat, volgens Wilfred, deze analyse interessante constateringen, die vaker genoemd worden in publicatie. Zoals: De effectiviteit van leertechnologie wordt sterk beïnvloed door wijze waarop de leertechnologie wordt gebruikt en de context waarbinnen deze technologieën worden ingezet.

Schneider, M., & Preckel, F. (in press), Variables associated with achievement in Higher Education: A systematic review of meta-analyses. Psychological Bulletin. doi: 10.1037/bul0000098

Ontwerpen is mensenwerk: het nieuwe protocol afstuderen in het hbo

De afgelopen 2,5 jaar heeft het lectoraat Professioneel Beoordelen van Zuyd in samenwerking met het lectoraat Methodologie van Praktijkgericht Onderzoek van de Hogeschool Utrecht een onderzoek uitgevoerd naar het vergroten van de kwaliteit van afstudeerprogramma’s in het hbo. Vanuit Zuyd heeft de Hogere Juridisch Opleiding deelgenomen aan deze pilot.

Dit onderzoek kent zijn oorsprong in het rapport Vreemde Ogen Dwingen van de Commissie Bruin dat in 2012 verscheen. Een van de aanbevelingen in dat rapport was: ‘Kies … voor een gezamenlijk bottom-up opgesteld protocol bij individuele eindscripties en qua niveau en importantie vergelijkbare eindwerkstukken’. Deze aanbeveling leidde tot een rapport ‘Beoordelen is Mensenwerk’ van de expertgroep protocol afstuderen, onder leiding van Daan Andriessen in 2014. Hieruit kwam een pilot voort die geïnitieerd was door Vereniging Hogescholen. Het doel van deze pilot was om te kijken wat de werking van een dergelijk protocol is in de hbo-praktijk.

De pilot heeft geleid tot een herontwerp van het protocol afstuderen. Het nieuwe protocol geeft goede handvatten het afstudeerprogramma van een opleiding kritisch onder de loep te nemen. Het conceptueel model met een aantal richtvragen zetten aan tot reflectie over hoe het afstudeerprogramma nu is georganiseerd en welke visie op de beroepsbekwame professional daaraan ten grondslag ligt.

Tijdens het jaarcongres van de Vereniging Hogescholen is het eindrapport van de pilot en is het rapport, factsheets, een beeldverslag en een herontwerp van Beoordelen is Mensenwerk aangeboden aan onze opdrachtgever Vereniging Hogescholen. De NVAO heeft aangegeven het rapport ook te willen delen met de visitatiepanels. Op de website van de Vereniging Hogescholen zijn onderstaande documenten ook te vinden.

Ook is er een beeldverslag beschikbaar waarin deelnemers aan de pilot hun verhaal vertellen:

Mocht je meer info willen, neem dan contact op met het lectoraat Professioneel Beoordelen via

Of met de collega’s van de Hogere Juridisch Opleiding, projectleider Marion Huiskes of onderzoeker Brigitte Schallenberg, die deelnamen aan de pilot ‘Onderwijs ontwerpen is mensenwerk’.

De kracht van online peer feedback

Uit de ervaringen van het Zuyd Innoveert project om met FeedbackFruits als online tool interactie en peer feedback te bevorderen en stimuleren blijkt dat er sprake dient te zijn van een feedbackcultuur. Maar wat is dat en hoe je dat dan?

Esther van Popta is adviseur Onderwijs & ICT bij de Service unit Onderwijs en Onderzoek van de Hogeschool van Arnhem en Nijmegen. Ze doet sinds een aantal jaren onderzoek naar de meerwaarde van het geven van online peer feedback en dan in het bijzonder vanuit het perspectief van de feedbackgever.

Esther is onlangs geïnterviewd (zie Platform Leren van Toetsen) naar aanleiding van haar eerste artikel (literatuurstudie) over online peer feedback. Hierin presenteert ze onderstaand procesmodel voor het geven van online peer feedback.

Procesmodel voor het geven van peer feedback / Esther van Popta

Het blog bevat zowel achtergronden van het onderzoek als verwijzingen naar praktische overwegingen als je online peer feedback zou willen inzetten in je onderwijs. Enkele highlights:

  • Het geven van peer feedback kan een positief effect heeft op de metacognitieve vaardigheden van studenten.
  • Door het geven van peer feedback leren studenten reflecteren, worden kritischer, en kunnen zelf hun eigen product verbeteren.Ze maken verbinding met nieuwe kennis en bekijken en evalueren verschillende perspectieven.
  • De inrichting van het onderwijs is een belangrijke voorwaarde voor het geven van peer feedback. Het is van belang dat studenten voordat ze werk van hun mede studenten kunnen bekijken, eerst hun eigen opdracht uitvoeren.
  • Belangrijk is feedbackcultuur, dat wil zeggen een veilige sfeer in de groep. Tevens is het belangrijk studenten bewust te maken van de grondhouding vanpeer feedback  ‘elkaar verder helpen’. Feedback geven kost de student namelijk tijd.
  • Als je online peer feedback inzet is het belangrijk dat de studenten in de gelegenheid worden gesteld hun producten te verbeteren op basis van de gegeven peer feedback. Zo leren ze van geven en ontvangen van feedback.
  • Geef als docent feedback op de kwaliteit van de feedback door deze te valideren (een vorm van beoordelen) op de elementen: een oordeel, een suggestie, een verklaring en een theoretische verwijzing,

Van Popta, E., Kral, M., Camp, G., Martens, R. L., & Simons, P. R. J. (2017). Exploring the value of peer feedback in online learning for the provider. Educational Research Review, 20, 24-34.