Zuyd presenteert diverse onderzoeken @ EARLI

Vijf kenniskringleden hebben eind augustus 2017 workshops en (poster)presentaties verzorgd tijdens het EARLI (European Association for Research on Learning and Instruction)-congres (Tampere, Finland).

Vanuit de Kenniskring Professioneel Beoordelen (lector Dominique Sluijsmans):

Xandra Janssen presenteerde tijdens een papersessie de bevindingen van haar onderzoek. Xandra doet onderzoek naar het beter beoordelen van de relevantie van items in voortgangstoetsen. Bij het beoordelingsproces wordt een rubric gebruikt. Lees het volledige onderzoeksartikel van Xandra: Toward a better judgment of item relevance in progress testing.

Elly Vermunt presenteerde haar poster over het betrekken van studenten bij toetsing. Elly deelde kort de resultaten van het onderzoek. Het vergroten van de formatieve waarde van toetsen werd uitgevoerd door de beoordelingscriteria aan de studenten te verhelderen oa door het beoordelen en bespreken van voorbeeldrapporten en selfassessment van conceptrapporten.

Dorien Gerards verzorgde een workshop nav haar onderzoek over de perceptie van de hbo-docent over professioneel beoordelen. Stellingen uit de door Dorien geconstrueerde vragenlijst waren aanleiding tot inspirerende discussies. Met de aanwezige collega’s werd gesproken over wat er in het hbo getoetst moet worden en hoe dat dan wordt uitgevoerd en beoordeeld.

Anneriet Florack gaf een workshop over het centrale toetsbeleid van Zuyd, het Toetskompas [inloggen op Zuydnet]. Collega’s uit Denemarken, IJsland en Amerika dachten mee over de begrijpelijkheid, volledigheid en bruikbaarheid van de visie op toetsen en beoordelen van Zuyd waarbij er complimenten werden gemaakt over de compleetheid van het document.

Vanuit de Kenniskring Professionalisering van het Onderwijs (lector Marcel van der Klink):

Mieke Koeslag presenteerde haar onderzoek naar leiderschap voor het stimuleren van team leren bij docententeams met een innovatieve opdracht. Aan dit onderzoek hebben in 2016 319 Zuyd-docenten (uit 61 teams) deelgenomen.

Door deze workshops en (poster)presentaties heeft Zuyd heeft een goede bijdrage geleverd. Uiteraard hebben de Zuyd-collega’s ook veel kennis opgehaald. Zo waren de diverse sessies over ‘comparitive judgement’ van de Universiteit van Antwerpen erg leerzaam (zie ook het blogitem Competenties makkelijker en beter beoordelen met D-PAC). Deze vorm van beoordelen zou ook binnen Zuyd goed ingezet kunnen worden. Ook werden de Zuyd onderzoekers door sommige EARLI-sprekers flink geprikkeld. Niet iedereen kon zich vinden in de stelling om summatieve toetsen al voor de toetsafname aan studenten uit te reiken! Onze congresgangers hebben diverse contacten gelegd en mooie ervaringen van andere deelnemers meegenomen als idee voor vernieuwingen binnen Zuyd.

Wil je meer weten over de betreffende onderzoeken en de ervaringen van de EARLI, spreek gerust één van bovenstaande deelnemers aan.

SURF uitgave over peer feedback en peer assessment in online onderwijs

Peer feedback en peer assessment zijn veelbelovend voor het persoonlijk en schaalbaar maken van online onderwijs. Door peers in te zetten blijven de begeleiding en toetsing van grote aantallen studenten uitvoerbaar voor docenten.

Peer feedback is echter niet zonder slag of stoot ingevoerd. Het moet zijn ingebed in de cursus, studenten hebben goede instructies nodig, het vraagt om de inzet van de juiste mensen en de verhouding tussen eigen werk en feedback moet kloppen.

In deze uitgave staan de volgende vragen centraal: hoe richt je peer feedback in en hoe realiseer je dit? Wat zijn belemmeringen en wat succesfactoren? En hoe zorg je voor kwaliteit? Drie onderwijsinstellingen laten zien hoe zij peer feedback in een online onderwijscontext toepassen en lees je wat er aan onderzoek plaatsvindt op dit thema.

Inhoudsopgave

Bron: SURF

Studieprestaties. Wat werkt.

Jeroen Janssen van afdeling Educatie van de Universiteit Utrecht beschrijft op hun blog het in press artikel Variables associated with achievement in higher education: A systematic review of meta-analyses van de auteurs Michael Schneider en Franzis Preckel.

Het artikel betreft een review van meta-analyses naar de samenhang tussen een groot aantal variabelen (denk aan duidelijkheid van cursusdoelen, motivatie van studenten, enthousiasme van de docent, intelligentie, etc.) en studieprestaties van studenten in het hoger onderwijs.

In totaal betrokken Schneider en Preckel 38 meta-analyses in hun synthese (de oudste uit 1980, de meest recente uit 2014). In totaal identificeerden ze 105 variabelen in de categorieën ‘wijze van instructie’ en ‘kenmerken van de student’.

Jeroen Janssen geeft in zijn blogpost een overzicht van de hoogste en laagste effectgroottes van de studie en benoemt principes die docenten gemakkelijk in hun onderwijs kunnen inpassen. Onderstaande punten zijn integraal overgenomen.

De top 20

Hieronder volgen de 20 variabelen met de hoogste effectgroottes uit de synthese van Schneider en Preckel. Tussen haakjes is weergegeven onder welke categorie de betreffende variabele is gerubriceerd.
  1. Peer assessment (Instructie: Assessment), d=+1.91
  2. Performance self-efficacy (Student: Motivatie), d=+1.81
  3. Teacher’s preparation/organization of the course (Instructie: Stimuleren van betekenisvol leren), d=+1.39
  4. Teacher’s clarity and understandableness (Instructie: Presentatie), d=+1.35
  5. Grade goal (Student: Motivatie), d=+1.12
  6. Frequency of class attendance (Student: Strategieën), d =+0.98
  7. High school GPA (Student: Intelligentie en eerdere studieprestaties), d=+0.90
  8. Student self-assessment (Instructie: Assessment), d=+0.85
  9. Teacher’s stimulation of interest in the course and its subject matter (Instructie: Presentatie), d=+0.82
  10. Admission test results (Student: Intelligentie en eerdere studieprestatie), d=+0.79
  11. Teacher’s encouragement of questions and discussion (Instructie: Sociale interactie), d=+0.77
  12. Teacher’s availability and helpfulness (Instructie: Sociale interactie), d=+0.77
  13. Teacher’s elocutionary skills (Instructie: Presentatie), d=+0.75
  14. Clarity of course objectives and requirements (Instructie: Stimuleren van betekenisvol leren), d=+0.75
  15. Effort regulation (Student: Strategieën), d=+0.75
  16. Open-ended questions (Instructie: Social interaction), d=+0.73.
  17. Teacher relates content to students (Instructie: Stimuleren van betekenisvol leren), d=+0.65.
  18. Strategic approach to learning (Student: Strategies), d=+0.65
  19. Achievement motivation (Student: Motivatie), d=+0.64
  20. Teacher’s sensitivity to and concern with class level and progress (Instructie: Assessment), d=+0.63

De onderste 20

En hieronder de lijst van de variabelen met het kleinste of zelfs een negatief effect op studieprestaties.
  1. Deep approach to learning (Student: Strategieën), d=+0.06
  2. Age (Student: Persoonlijkheid), d=+0.06
  3. Depression (Student: Persoonlijkheid ), d=+0.06
  4. First-year training programs (Instruction: Extracurriculaire programma’s), d=+0.05
  5. Online learning (Instruction: Technologie), d=+0.05
  6. Academic extrinsic motivation (Student: Motivatie), d=0.00
  7. Pessimistic attributional style (Student: Motivatie), d=-0.02
  8. Emotional stability (Student: Persoonlijkheid), d=-0.02
  9. Extraversion (Student: Persoonlijkheid), d=-0.02
  10. Task-related social conflict (Student: Context), d=-0.13
  11. Relationship-related social conflict (Student: Context), d=-0.21
  12. Academic stress (Student: Context), d=-0.22
  13. Problem-based learning for knowledge acquisition (Instructie: Betekenisvol leren stimuleren), d=-0.22
  14. Communication apprehension (Student: Persoonlijkheid), d=-0.23
  15. Performance avoidance orientation (Student: Motivatie), d=-0.28
  16. Stress (in general) (Student: Context), d=-0.28
  17. Interesting but irrelevant details in a presentation (seductive detail effect) (Instructie: Presentatie), d=-0.30
  18. Academic self-handicapping (Student: Strategieën), d=-0.37
  19. Surface approach to learning (Student: Strategieën), d=-0.39
  20. Test anxiety (Student: Persoonlijkheid), d=-0.43
  21. Procrastination (Student: Strategieën), d=-0.52

Verder merken ze op dat docenten relatief gemakkelijk de volgende principes in hun onderwijs kunnen inpassen:

  • Stimuleren van frequente deelname aan hoorcolleges en werkgroepen (#6)
  • Stimuleren van het stellen van vragen en discussie (#11)
  • Open vragen stellen (#16)
  • De inhoud van onderwijs relateren aan voorkennis of interesse van studenten (#17)
  • Taakgerichte en verbeteringsgerichte feedback geven (#30)
  • Vriendelijk en respectvol naar studenten zijn (#30)
  • Tijdens het lesgeven gesproken woorden vergezeld laten gaan van visualisaties of geschreven woorden (#42)
  • Op slides trefwoorden gebruiken in plaats van halve of hele zinnen
  • Studenten concept maps laten maken en bespreken over de inhoud van de cursus (#45)
  • Elk onderwijsonderdeel beginnen met een advance organizer (#64), en
  • Afleidende en verleidende details in presentaties vermijden (#101)

Met betrekking tot onderwijstechnologie concluderen Schneider en Preckel: er is geen bewijs dat onderwijstechnologie het onderwijs radicaal verbetert, maar onderwijstechnologie kan zeker effectief door docenten ingezet worden als past binnen een goed uitgedacht didactisch concept (blended learning #52).

Wilfred Rubens heeft zich op zijn blog meer in detail verdiept in de passages over online leren, blended learning en leertechnologie. Hij beschrijft hierin een aantal zaken die hem opvielen. Wat betreft bevindingen op het gebied technologie-ondersteund leren bevat, volgens Wilfred, deze analyse interessante constateringen, die vaker genoemd worden in publicatie. Zoals: De effectiviteit van leertechnologie wordt sterk beïnvloed door wijze waarop de leertechnologie wordt gebruikt en de context waarbinnen deze technologieën worden ingezet.

Schneider, M., & Preckel, F. (in press), Variables associated with achievement in Higher Education: A systematic review of meta-analyses. Psychological Bulletin. doi: 10.1037/bul0000098

Ontwerpen is mensenwerk: het nieuwe protocol afstuderen in het hbo

De afgelopen 2,5 jaar heeft het lectoraat Professioneel Beoordelen van Zuyd in samenwerking met het lectoraat Methodologie van Praktijkgericht Onderzoek van de Hogeschool Utrecht een onderzoek uitgevoerd naar het vergroten van de kwaliteit van afstudeerprogramma’s in het hbo. Vanuit Zuyd heeft de Hogere Juridisch Opleiding deelgenomen aan deze pilot.

Dit onderzoek kent zijn oorsprong in het rapport Vreemde Ogen Dwingen van de Commissie Bruin dat in 2012 verscheen. Een van de aanbevelingen in dat rapport was: ‘Kies … voor een gezamenlijk bottom-up opgesteld protocol bij individuele eindscripties en qua niveau en importantie vergelijkbare eindwerkstukken’. Deze aanbeveling leidde tot een rapport ‘Beoordelen is Mensenwerk’ van de expertgroep protocol afstuderen, onder leiding van Daan Andriessen in 2014. Hieruit kwam een pilot voort die geïnitieerd was door Vereniging Hogescholen. Het doel van deze pilot was om te kijken wat de werking van een dergelijk protocol is in de hbo-praktijk.

De pilot heeft geleid tot een herontwerp van het protocol afstuderen. Het nieuwe protocol geeft goede handvatten het afstudeerprogramma van een opleiding kritisch onder de loep te nemen. Het conceptueel model met een aantal richtvragen zetten aan tot reflectie over hoe het afstudeerprogramma nu is georganiseerd en welke visie op de beroepsbekwame professional daaraan ten grondslag ligt.

Tijdens het jaarcongres van de Vereniging Hogescholen is het eindrapport van de pilot en is het rapport, factsheets, een beeldverslag en een herontwerp van Beoordelen is Mensenwerk aangeboden aan onze opdrachtgever Vereniging Hogescholen. De NVAO heeft aangegeven het rapport ook te willen delen met de visitatiepanels. Op de website van de Vereniging Hogescholen zijn onderstaande documenten ook te vinden.

Ook is er een beeldverslag beschikbaar waarin deelnemers aan de pilot hun verhaal vertellen:

Mocht je meer info willen, neem dan contact op met het lectoraat Professioneel Beoordelen via

Of met de collega’s van de Hogere Juridisch Opleiding, projectleider Marion Huiskes of onderzoeker Brigitte Schallenberg, die deelnamen aan de pilot ‘Onderwijs ontwerpen is mensenwerk’.

De kracht van online peer feedback

Uit de ervaringen van het Zuyd Innoveert project om met FeedbackFruits als online tool interactie en peer feedback te bevorderen en stimuleren blijkt dat er sprake dient te zijn van een feedbackcultuur. Maar wat is dat en hoe je dat dan?

Esther van Popta is adviseur Onderwijs & ICT bij de Service unit Onderwijs en Onderzoek van de Hogeschool van Arnhem en Nijmegen. Ze doet sinds een aantal jaren onderzoek naar de meerwaarde van het geven van online peer feedback en dan in het bijzonder vanuit het perspectief van de feedbackgever.

Esther is onlangs geïnterviewd (zie Platform Leren van Toetsen) naar aanleiding van haar eerste artikel (literatuurstudie) over online peer feedback. Hierin presenteert ze onderstaand procesmodel voor het geven van online peer feedback.

Procesmodel voor het geven van peer feedback / Esther van Popta

Het blog bevat zowel achtergronden van het onderzoek als verwijzingen naar praktische overwegingen als je online peer feedback zou willen inzetten in je onderwijs. Enkele highlights:

  • Het geven van peer feedback kan een positief effect heeft op de metacognitieve vaardigheden van studenten.
  • Door het geven van peer feedback leren studenten reflecteren, worden kritischer, en kunnen zelf hun eigen product verbeteren.Ze maken verbinding met nieuwe kennis en bekijken en evalueren verschillende perspectieven.
  • De inrichting van het onderwijs is een belangrijke voorwaarde voor het geven van peer feedback. Het is van belang dat studenten voordat ze werk van hun mede studenten kunnen bekijken, eerst hun eigen opdracht uitvoeren.
  • Belangrijk is feedbackcultuur, dat wil zeggen een veilige sfeer in de groep. Tevens is het belangrijk studenten bewust te maken van de grondhouding vanpeer feedback  ‘elkaar verder helpen’. Feedback geven kost de student namelijk tijd.
  • Als je online peer feedback inzet is het belangrijk dat de studenten in de gelegenheid worden gesteld hun producten te verbeteren op basis van de gegeven peer feedback. Zo leren ze van geven en ontvangen van feedback.
  • Geef als docent feedback op de kwaliteit van de feedback door deze te valideren (een vorm van beoordelen) op de elementen: een oordeel, een suggestie, een verklaring en een theoretische verwijzing,

Van Popta, E., Kral, M., Camp, G., Martens, R. L., & Simons, P. R. J. (2017). Exploring the value of peer feedback in online learning for the provider. Educational Research Review, 20, 24-34.