Innovaties in digitaal toetsen

Ging het een aantal jaren geleden bij digitaal toetsen nog hoofdzakelijk over de digitale afname van toetsen, op het door SURFacademy dinsdag 19 april j.l. georganiseerde seminar over innovaties in digitaal toetsen bleek dat er inmiddels heel wat meer onder de digitale toetszon is! Tijdens het seminar presenteerden de projectleiders van de Innovatieregeling Digitaal toetsen hun ervaringen met het ontwikkelen van digitale vormen van toetsen en leren.

Mary Dankbaar van het Erasmus MC ging in de nieuwe mogelijkheden om respectievelijk kennis en vaardigheden bij medische opleidingen te ontwikkelen en te beoordelen. Het digitaal toetsen van kennis wordt met een steeds meer verschillende vraagtypes realistischer en gevarieerder. Ook steeds meer vaardigheden kunnen online ontwikkeld worden en ook online van feedback worden voorzien. Haar onderzoek naar het effect van oefenen en feedback met simulaties en een game wees uit dat jonge artsen veel baat hadden bij het game en beginnende studenten veel minder. De meer globale online feedback werkt wel heel goed, veel beter dan concrete checklists. Ze pleitte voor het geïntegreerd benaderen van leren en beoordelen.

Ook Chris van Klaveren van VU ging in op resultaten van onderzoek naar toetsen. Eén van zijn onderzoeksvragen was: presteren leerlingen die adaptief oefenen beter op de toets dan leerlingen die diagnostisch oefenen? Uit zijn onderzoek kwam dat niet naar voren. Vaak worden causale verbanden verondersteld die er niet zijn. Chris pleitte voor meer onderzoek.

In parallelsessies werd ingegaan op verschillende thema’s: toetsen in de gezondheidszorg; toetsen via BYOD; toetsen en feedback en toetsen en learning analytics. Om een indruk te geven van de onderwerpen die aan de orde kwamen: bij toetsen en feedback werd de casus van Windesheim besproken waar m.b.v. Turinitin de kwaliteit van feedback door het inzetten van rubrics en standaard opmerkingen enorm werd vergroot. De TU Twente heeft een eigen tool ontwikkeld voor groepsfeedback en de OU een instrument waarmee psychologiestudenten tijd- en plaatsonafhankelijke (peer) feedback en beoordelingen krijgen op gespreksvaardigheden via per webcam opgenomen gespreksfragmenten.

Digitaal toetsen is meer dan digitale afname

In het kader van BKE/SKE scholing bij Zuyd vinden een aantal bijeenkomsten over toetsing plaats. Afgelopen maandag kwam in een inspiratiesessie  het onderwerp “Digitaal toetsen” aan de orde. A.h.v. het begrippenkader dat SURF twee jaar geleden heeft samengesteld werd onderstaande toetscyclus onder de loep genomen.

skebke

Eerste en belangrijkste conclusie: digitaal toetsen is méér da de digitale afname. Sterker nog: als het gaat om zaken als kwaliteitsverbetering en efficiëntieverhoging zijn het ontwerpen van toetsen, de analyse en de feedback naar studenten onderwerpen waar veel (meer) te halen valt met digitalisering.

Bij het ontwerpen van toetsen kun je bijvoorbeeld gebruik maken van de qDNAtool (Zuyd medewerkers kunnen inloggen met hun Zuyd account via SURFConext). In onderstaand filmpje wordt uitgelegd hoe deze tool het ontwerpproces ondersteunt:

Ook de door Zuyd gebruikte toetsomgeving QMP biedt verschillende ontwerp- en analysefaciliteiten. Voor het nakijken en feedback geven aan studenten is een tool als Grademark van Turnitin handig (niet beschikbaar binnen Zuyd).

Maar belangrijker misschien nog dan de verschillende tools die ingezet kunnen worden bij het toetsproces is de mogelijkheden die digitalisering biedt om samen te werken. Samenwerken in een team, maar ook samenwerken over de instellingen heen. Een mooi voorbeeld van nieuwe mogelijkheden die daardoor ontstaan is het SURFproject AdaPT waarin verschillende medische faculteiten samen een dusdanig grote toetsitembank hebben opgezet dat ze adaptieve toetsen konden gaan aanbieden: studenten krijgen een reeks vragen voorgelegd die naarmate de reeks vordert steeds beter passen bij het vaardigheidsniveau van de student. Zo’n geïndividualiseerde, automatisch samengestelde toets kan op ieder gewenst moment worden afgenomen.

Zie ook het blogbericht: Meer weten over digitaal toetsen?

SURF seminar Digitaal toetsen en leren integreren

Donderdag 15 oktober verzorgde I-adviseur en docent Social Work Frans Roovers tijdens een seminar, georganiseerd door SURFacademy en de SIG Digitaal Toetsen, een presentatie over een succesvolle module bij Social Work waar ze elementen van toetsing en learning analytics hebben gebruikt.

DigitaalToetsenSurfseminar

Toetsen biedt uitgelezen kansen om het leren van studenten te personaliseren en diep leren te stimuleren. Bijvoorbeeld door het inzetten van formatieve toetsing en gebruik te maken van learning analytics. Deze SURFacademy-bijeenkomst liet een aantal good practices op dit terrein zien.

Na een inleiding door Marcel Penners (HAN) over behoefteonderzoek Digitaal Toetsen bij de HAN vertelde Sharon Klinkenberg (UvA) over zijn trainingen SPSS en hoe hij dat de afgelopen jaren heeft gedigitaliseerd. Door invloed van technologie is de papieren handleiding vervangen door een toetswebsite waar alles bij elkaar staat. De studenten worden stap voor stap getraind in het gebruik van SPPS.

statistics-18 (1)

Zijn tip is om hele simpele stapjes te toetsen. Studenten moeten niet het gevoel hebben dat ze een tentamen maken maar ze moeten spelenderwijs door het programma worden genomen. Hij wil dat iedereen alles doorloopt en het cijfer speelt daarbij geen rol. Door het cijfer niet centraal te stellen voorkomt hij dat studenten elkaar antwoorden gaan doormailen en niets leren. Een goede tweede tip dus.Interessant was om te zien dat de applicatie alle resultaten rangschikt naar onderwerp zodat de student precies kan zien waar hij / zij de mist in gaat. Sharon is bezig de toetsomgeving te optimaliseren en kennisclips te integreren tussen de toetsvragen.

Toetsing RUWillibrord Huisman (Radboud Universiteit) stelde de gewetensvraag ‘wat zou er gebeuren als uw opleiding stopt met toetsen’. Vervolgens deelde hij zijn visie op toetsing en hanteerde daarbij een eigen vocabulaire. In plaats van ‘formatieve toetsing’ spreekt hij van ‘educatieve toetsing’. Het gaat hierbij om terugkoppeling en feedback geven gericht op de leerfase. Aan de hand van overzichtelijke schema’s en tekeningen (van zijn dochter) gaf hij verschillende variaties op deze educatieve toetsvorm. Hij legde veel nadruk op het verschil tussen ‘peer-review’ en ‘peer-assessment’. Opvallend was dat bij de aanwezige alleen Zuyd de enige was waarbij peer assessment op de opleiding wordt toegepast.

De verschillen

Peerreviewvsassessment

Turnitin werd door de aanwezige veel gebruikt. Dit is een handige tool om feedback te automatiseren. Binnen Zuyd is (nog) geen licentie beschikbaar.
Willibrord gaf aan zich weinig bezig te houden met literatuur rondom toetsing maar zijn inzichten sloten toch heel goed aan bij het artikel van Zuydcollega’s Dominique Sluijsmans en Elly Vermunt.

De derde spreker Anneleen Mortier (Universiteit van Gent) besprak een methode om werken van studenten te vergelijken, zie hier haar presentatie. In plaats van te werken met klassieke criteriumlijsten met rubrics liet zij beoordelaars steeds twee docenten tegelijk zien waarbij de beoordelaar 1 document ‘als beste’ naar voren kon schuiven. Als heel veel docenten dit bij heel veel documenten doen dan ontstaat er een soort ranking van laag naar hoog. Deze methode werkt vooral bij opdrachten met korte teksten omdat het anders veel te veel tijd kost om stukken met elkaar te vergelijken.

Stel dat je met 10 docenten nakijkt en ieder richt zich op een ander aspect (apa, spelling, inhoud etc). Vervolgens beoordeel je steeds 2 werken waarbij er steeds 1 als beste doorgaat. Uiteindelijk ontstaat er een ranking waarbij je een een ondergrens bepaalt (wat is voldoende). Zie hier een demo.

Als laatste presenteerde Frans Roovers (Zuyd) en hij vertelde over een succesvolle module waar tweede jaars Social Work het jaar afsluiten zodat ze op stage kunnen. Studenten moesten als eindopdracht hun competenties aantonen en deze verwerken in een Glossy (magazine). Hiervoor werd Blackboard ingezet om het didactisch concept te ondersteunen. Deze leeromgeving werd gehanteerd om:

  • de studenten structuur te geven,
  • de voortgang te monitoren door gebruik te maken van learning analytics,
  • interactie te stimuleren en
  • hun studenten op een actieve wijze te begeleiden tijdens deze module.

Tot slot besprak hij wat er nodig is op het gebied van ICT en docentprofessionalisering om modules als deze succesvol te laten uitgroeien tot een ‘standaard’. Zie hier de slides. Deze presentatie is vrijwel dezelfde als die van de DLWO sessie van een tijd terug en is hier te zien (klik op onderstaande afbeelding).

FransSocialWork

Dit blog is eerder gepubliceerd op het blog van Frans Roovers: ICT in Onderwijs / Fransipani

Meer weten over digitaal toetsen?

toetslokaalNE

Toetslokaal Nieuw Eyckholt Heerlen

Digitaal toetsen houdt meer in dan dat een toets met een toetsapplicatie op de computer wordt afgenomen. Digitaal toetsen heeft ook betrekking op het voor- en natraject van een toetsafname. Toetsen kunnen digitaal worden ontworpen en samengesteld. En toetsen kunnen digitaal worden nagekeken. De resultaten  zijn digitaal te analyseren en te evalueren. Juist voor dit voor- en natraject zijn veel nieuwe tools beschikbaar. Bijvoorbeeld voor het ontwerpen van (open) vragen, voor het geven van automatische feedback, voor uitgebreide analyse van tentamenvragen, het gerandomiseerd opnemen van vragen in tentamens, het verzamelen van tentamenvragen in toetsbank/vragensets en voor het hergebruiken van vragen en inladen van vragen uit andere tools. Wij zullen hier de komende tijd via deze site meer aandacht aan gaan besteden.

Voor een eerste overzicht verwijzen we naar de site SCORE van de Hogeschool van Amsterdam. Daar staat veel informatie bij elkaar over (digitaal) toetsen, met uitleg en bronnen.

ToetsHvA

Verder kun je ook eens naar DigitaalToetsenSaxiondit bijzonder informatief boek van onze collega’s van Saxion kijken. Het e-book is beschikbaar als pdf of te downloaden als iBook.
(Via Surfspace)

Zie ook onderstaande SURF-publicaties

Uiteraard kan je met vragen of ondersteuning ook bij het I-team terecht, via een reactie onder dit blog of een mail. Didi Joppe zal dan contact met je opnemen.