SURF uitgave over peer feedback en peer assessment in online onderwijs

Peer feedback en peer assessment zijn veelbelovend voor het persoonlijk en schaalbaar maken van online onderwijs. Door peers in te zetten blijven de begeleiding en toetsing van grote aantallen studenten uitvoerbaar voor docenten.

Peer feedback is echter niet zonder slag of stoot ingevoerd. Het moet zijn ingebed in de cursus, studenten hebben goede instructies nodig, het vraagt om de inzet van de juiste mensen en de verhouding tussen eigen werk en feedback moet kloppen.

In deze uitgave staan de volgende vragen centraal: hoe richt je peer feedback in en hoe realiseer je dit? Wat zijn belemmeringen en wat succesfactoren? En hoe zorg je voor kwaliteit? Drie onderwijsinstellingen laten zien hoe zij peer feedback in een online onderwijscontext toepassen en lees je wat er aan onderzoek plaatsvindt op dit thema.

Inhoudsopgave

Bron: SURF

Studieprestaties. Wat werkt.

Jeroen Janssen van afdeling Educatie van de Universiteit Utrecht beschrijft op hun blog het in press artikel Variables associated with achievement in higher education: A systematic review of meta-analyses van de auteurs Michael Schneider en Franzis Preckel.

Het artikel betreft een review van meta-analyses naar de samenhang tussen een groot aantal variabelen (denk aan duidelijkheid van cursusdoelen, motivatie van studenten, enthousiasme van de docent, intelligentie, etc.) en studieprestaties van studenten in het hoger onderwijs.

In totaal betrokken Schneider en Preckel 38 meta-analyses in hun synthese (de oudste uit 1980, de meest recente uit 2014). In totaal identificeerden ze 105 variabelen in de categorieën ‘wijze van instructie’ en ‘kenmerken van de student’.

Jeroen Janssen geeft in zijn blogpost een overzicht van de hoogste en laagste effectgroottes van de studie en benoemt principes die docenten gemakkelijk in hun onderwijs kunnen inpassen. Onderstaande punten zijn integraal overgenomen.

De top 20

Hieronder volgen de 20 variabelen met de hoogste effectgroottes uit de synthese van Schneider en Preckel. Tussen haakjes is weergegeven onder welke categorie de betreffende variabele is gerubriceerd.
  1. Peer assessment (Instructie: Assessment), d=+1.91
  2. Performance self-efficacy (Student: Motivatie), d=+1.81
  3. Teacher’s preparation/organization of the course (Instructie: Stimuleren van betekenisvol leren), d=+1.39
  4. Teacher’s clarity and understandableness (Instructie: Presentatie), d=+1.35
  5. Grade goal (Student: Motivatie), d=+1.12
  6. Frequency of class attendance (Student: Strategieën), d =+0.98
  7. High school GPA (Student: Intelligentie en eerdere studieprestaties), d=+0.90
  8. Student self-assessment (Instructie: Assessment), d=+0.85
  9. Teacher’s stimulation of interest in the course and its subject matter (Instructie: Presentatie), d=+0.82
  10. Admission test results (Student: Intelligentie en eerdere studieprestatie), d=+0.79
  11. Teacher’s encouragement of questions and discussion (Instructie: Sociale interactie), d=+0.77
  12. Teacher’s availability and helpfulness (Instructie: Sociale interactie), d=+0.77
  13. Teacher’s elocutionary skills (Instructie: Presentatie), d=+0.75
  14. Clarity of course objectives and requirements (Instructie: Stimuleren van betekenisvol leren), d=+0.75
  15. Effort regulation (Student: Strategieën), d=+0.75
  16. Open-ended questions (Instructie: Social interaction), d=+0.73.
  17. Teacher relates content to students (Instructie: Stimuleren van betekenisvol leren), d=+0.65.
  18. Strategic approach to learning (Student: Strategies), d=+0.65
  19. Achievement motivation (Student: Motivatie), d=+0.64
  20. Teacher’s sensitivity to and concern with class level and progress (Instructie: Assessment), d=+0.63

De onderste 20

En hieronder de lijst van de variabelen met het kleinste of zelfs een negatief effect op studieprestaties.
  1. Deep approach to learning (Student: Strategieën), d=+0.06
  2. Age (Student: Persoonlijkheid), d=+0.06
  3. Depression (Student: Persoonlijkheid ), d=+0.06
  4. First-year training programs (Instruction: Extracurriculaire programma’s), d=+0.05
  5. Online learning (Instruction: Technologie), d=+0.05
  6. Academic extrinsic motivation (Student: Motivatie), d=0.00
  7. Pessimistic attributional style (Student: Motivatie), d=-0.02
  8. Emotional stability (Student: Persoonlijkheid), d=-0.02
  9. Extraversion (Student: Persoonlijkheid), d=-0.02
  10. Task-related social conflict (Student: Context), d=-0.13
  11. Relationship-related social conflict (Student: Context), d=-0.21
  12. Academic stress (Student: Context), d=-0.22
  13. Problem-based learning for knowledge acquisition (Instructie: Betekenisvol leren stimuleren), d=-0.22
  14. Communication apprehension (Student: Persoonlijkheid), d=-0.23
  15. Performance avoidance orientation (Student: Motivatie), d=-0.28
  16. Stress (in general) (Student: Context), d=-0.28
  17. Interesting but irrelevant details in a presentation (seductive detail effect) (Instructie: Presentatie), d=-0.30
  18. Academic self-handicapping (Student: Strategieën), d=-0.37
  19. Surface approach to learning (Student: Strategieën), d=-0.39
  20. Test anxiety (Student: Persoonlijkheid), d=-0.43
  21. Procrastination (Student: Strategieën), d=-0.52

Verder merken ze op dat docenten relatief gemakkelijk de volgende principes in hun onderwijs kunnen inpassen:

  • Stimuleren van frequente deelname aan hoorcolleges en werkgroepen (#6)
  • Stimuleren van het stellen van vragen en discussie (#11)
  • Open vragen stellen (#16)
  • De inhoud van onderwijs relateren aan voorkennis of interesse van studenten (#17)
  • Taakgerichte en verbeteringsgerichte feedback geven (#30)
  • Vriendelijk en respectvol naar studenten zijn (#30)
  • Tijdens het lesgeven gesproken woorden vergezeld laten gaan van visualisaties of geschreven woorden (#42)
  • Op slides trefwoorden gebruiken in plaats van halve of hele zinnen
  • Studenten concept maps laten maken en bespreken over de inhoud van de cursus (#45)
  • Elk onderwijsonderdeel beginnen met een advance organizer (#64), en
  • Afleidende en verleidende details in presentaties vermijden (#101)

Met betrekking tot onderwijstechnologie concluderen Schneider en Preckel: er is geen bewijs dat onderwijstechnologie het onderwijs radicaal verbetert, maar onderwijstechnologie kan zeker effectief door docenten ingezet worden als past binnen een goed uitgedacht didactisch concept (blended learning #52).

Wilfred Rubens heeft zich op zijn blog meer in detail verdiept in de passages over online leren, blended learning en leertechnologie. Hij beschrijft hierin een aantal zaken die hem opvielen. Wat betreft bevindingen op het gebied technologie-ondersteund leren bevat, volgens Wilfred, deze analyse interessante constateringen, die vaker genoemd worden in publicatie. Zoals: De effectiviteit van leertechnologie wordt sterk beïnvloed door wijze waarop de leertechnologie wordt gebruikt en de context waarbinnen deze technologieën worden ingezet.

Schneider, M., & Preckel, F. (in press), Variables associated with achievement in Higher Education: A systematic review of meta-analyses. Psychological Bulletin. doi: 10.1037/bul0000098

Evaluatie FeedbackFruits door studenten

Aan het eind van de pilots FeedbackFruits is bij studenten een enquête afgenomen. De eerste pilots betrof versie FeedbackFruits 1.0 bij 1e jaars studenten Bedrijfseconomie en 3e jaars ICT-studenten (zie hier ervaringen van docenten Ilse Meelberghs en Chris Kockelkoren) in de periode februari – juni 2016. De 2e pilot met beta-versie FeedbackFruits 2.0 is onlangs met 4e jaars studenten International Business afgerond, lees hier de ervaringen van Fouad de Vries.

In dit blog de resultaten van het onderzoek bij studenten. Lees verder

Samenleersessie FeedbackFruits – periode 2

In de 2e periode van het Zuyd Innoveert Project FeedbackFruits is docent Fouad de Vries aan de slag gegaan met de beta-versie FeedbackFruits 2.0. Fouad is docent aan de Faculteit International Business and Communication en heeft het vierdejaars blok Innovation, Entrepreneurship &CSR voor 74 studenten in FeedbackFruits vorm gegeven. Lees verder

Impressie SURFacademy seminar ‘Gebruik van video bij blended learning’

Chris Kockelkoren is op 8 december aanwezig geweest bij een SURFacademy-seminar over het gebruik van video bij blended learning. Tijdens een seminar wordt samen geleerd door kritisch te kijken naar enkele good practises en deze te bespreken. Chris heeft daar de ervaringen gedeeld over het gebruik van video bij het vak Logica van de faculteit ICT, ontwikkeld in het kader van het Zuyd Innoveert project MOOCZI.

Hieronder een impressie van Chris van deze middag waarbij hij zijn bevindingen en persoonlijke leermomenten/opmerkingen geeft. Op weblectures.nl kan je een verslag van de hele dag horen/zien en alle commentaren van de zaal lezen: deel 1 (waaronder de presentatie van Chris) en deel 2.

Lees verder