Innovaties in digitaal toetsen

Ging het een aantal jaren geleden bij digitaal toetsen nog hoofdzakelijk over de digitale afname van toetsen, op het door SURFacademy dinsdag 19 april j.l. georganiseerde seminar over innovaties in digitaal toetsen bleek dat er inmiddels heel wat meer onder de digitale toetszon is! Tijdens het seminar presenteerden de projectleiders van de Innovatieregeling Digitaal toetsen hun ervaringen met het ontwikkelen van digitale vormen van toetsen en leren.

Mary Dankbaar van het Erasmus MC ging in de nieuwe mogelijkheden om respectievelijk kennis en vaardigheden bij medische opleidingen te ontwikkelen en te beoordelen. Het digitaal toetsen van kennis wordt met een steeds meer verschillende vraagtypes realistischer en gevarieerder. Ook steeds meer vaardigheden kunnen online ontwikkeld worden en ook online van feedback worden voorzien. Haar onderzoek naar het effect van oefenen en feedback met simulaties en een game wees uit dat jonge artsen veel baat hadden bij het game en beginnende studenten veel minder. De meer globale online feedback werkt wel heel goed, veel beter dan concrete checklists. Ze pleitte voor het geïntegreerd benaderen van leren en beoordelen.

Ook Chris van Klaveren van VU ging in op resultaten van onderzoek naar toetsen. Eén van zijn onderzoeksvragen was: presteren leerlingen die adaptief oefenen beter op de toets dan leerlingen die diagnostisch oefenen? Uit zijn onderzoek kwam dat niet naar voren. Vaak worden causale verbanden verondersteld die er niet zijn. Chris pleitte voor meer onderzoek.

In parallelsessies werd ingegaan op verschillende thema’s: toetsen in de gezondheidszorg; toetsen via BYOD; toetsen en feedback en toetsen en learning analytics. Om een indruk te geven van de onderwerpen die aan de orde kwamen: bij toetsen en feedback werd de casus van Windesheim besproken waar m.b.v. Turinitin de kwaliteit van feedback door het inzetten van rubrics en standaard opmerkingen enorm werd vergroot. De TU Twente heeft een eigen tool ontwikkeld voor groepsfeedback en de OU een instrument waarmee psychologiestudenten tijd- en plaatsonafhankelijke (peer) feedback en beoordelingen krijgen op gespreksvaardigheden via per webcam opgenomen gespreksfragmenten.

Digitaal toetsen is meer dan digitale afname

In het kader van BKE/SKE scholing bij Zuyd vinden een aantal bijeenkomsten over toetsing plaats. Afgelopen maandag kwam in een inspiratiesessie  het onderwerp “Digitaal toetsen” aan de orde. A.h.v. het begrippenkader dat SURF twee jaar geleden heeft samengesteld werd onderstaande toetscyclus onder de loep genomen.

skebke

Eerste en belangrijkste conclusie: digitaal toetsen is méér da de digitale afname. Sterker nog: als het gaat om zaken als kwaliteitsverbetering en efficiëntieverhoging zijn het ontwerpen van toetsen, de analyse en de feedback naar studenten onderwerpen waar veel (meer) te halen valt met digitalisering.

Bij het ontwerpen van toetsen kun je bijvoorbeeld gebruik maken van de qDNAtool (Zuyd medewerkers kunnen inloggen met hun Zuyd account via SURFConext). In onderstaand filmpje wordt uitgelegd hoe deze tool het ontwerpproces ondersteunt:

Ook de door Zuyd gebruikte toetsomgeving QMP biedt verschillende ontwerp- en analysefaciliteiten. Voor het nakijken en feedback geven aan studenten is een tool als Grademark van Turnitin handig (niet beschikbaar binnen Zuyd).

Maar belangrijker misschien nog dan de verschillende tools die ingezet kunnen worden bij het toetsproces is de mogelijkheden die digitalisering biedt om samen te werken. Samenwerken in een team, maar ook samenwerken over de instellingen heen. Een mooi voorbeeld van nieuwe mogelijkheden die daardoor ontstaan is het SURFproject AdaPT waarin verschillende medische faculteiten samen een dusdanig grote toetsitembank hebben opgezet dat ze adaptieve toetsen konden gaan aanbieden: studenten krijgen een reeks vragen voorgelegd die naarmate de reeks vordert steeds beter passen bij het vaardigheidsniveau van de student. Zo’n geïndividualiseerde, automatisch samengestelde toets kan op ieder gewenst moment worden afgenomen.

Zie ook het blogbericht: Meer weten over digitaal toetsen?

Visieworkshop DLWO bij Zuyd

Verslag van de visieworkshop DLWO bij Zuyd 24 juni 2015
Impressie van de workshop, gemaakt door Pieter Dekkers, Video@Zuyd 

De workshop werd geopend door CvB-lid Olaf van Nugteren die vertelde dat een onlangs gehouden pizzasessie met studenten liet zien dat studenten een voorkeur hebben voor zowel online onderwijs (tools) als f2f onderwijs (contact met de docent). Hij benadrukte dat er draagvlak gecreëerd moet worden voor de keuzes over de DLWO. Harry Vaessen van de Werkgroep DLWO gaf aan dat het in dit traject niet alleen gaat over het al dan niet vervangen van Blackboard, maar over de DLWO van de toekomst. De werkgroep heeft hiertoe al een bijeenkomst op 31 maart georganiseerd evenals discussies op de locaties met docenten en studenten. Op dit blog wordt verslag gedaan van deze activiteiten.

Lianne van Elk (projectleider flexibele en persoonlijke leeromgeving bij SURF) vertelt dat SURF al langer mee bezig is met visievorming op de DLWO in het hoger onderwijs (zie “Visie op een Digitale Leer- en werkomgeving“). De DLWO is een samenstel van digitale diensten die de instelling aanbiedt. Het gaat om de vraag wat je wil met het onderwijs en de digitale ondersteuning daarvan. Ontwikkelingen gaan snel, gebruikers zijn gewend aan gebruiksgemak en gratis tools.We hebben ook te maken met veranderende wet- en regelgeving en meer open onderwijs. Voldoen huidige ELO’s wel aan trends als:

  • Leren in communities
  • Technologie in de klas
  • Learning analytics
  • Adaptief leren richting persoonlijke voorkeuren?

Vier belangrijkste vraagstukken:

  1. Hoe kom je van een visie op onderwijs naar een visie op de digitale leeromgeving?
  2. Betrouwbaarheid, veiligheid en beheersbaarheid (burchtmetafoor). Hoe organiseer je de “poorten” (informatie-uitwisseling)?
  3. Integratie en operabiliteit (standaarden, API’s, LTI, oAuth, SAML, open onderwijs API, etc.
  4. Wie beslist  hierover? Wie heeft de regie?

Verschillende perspectieven mogelijk

Er zijn volgens Harry Renting (SURF)  vier verschillende perspectieven om te kijken naar het vraagstuk van de DLWO:

Perspectieven DLWO

  • Positieversterker: wat is de toegevoegde waarde van een DLWO voor een instelling? LLL, internationalisering, werkenden, regionaal. Nodig: bestuurlijk verankerd, pragmatisch. Valkuilen: staat van praktijk af, veel ambitie, weinig voortgang.
  • Onderwijsversterker: DLWO is een middel in verbetering en vernieuwing van onderwijskwaliteit (minder uitval, onderwijsconcepten, samenwerken, etc). Nodig: onderwijsteams, local heroes, CoP, studenten. Pilotsgewijs, best practices delen. Valkuil: vandaag wat verzonnen, na een volgend congres weer een nieuw idee.
  • Onderwijsverniewer technologie is een boost, technologie verandert onderwijs drastisch. (MOOCs, nieuwe verdienmodellen). Nodig: alliantie, joint venture, incubator, vernieuwing. Valkuil: ze lopen voorop en hebben idee dat iedereen achter ze loopt, als ze omkijken is er niemand meer…
  • Technologieplatform: gaan uit van proven technology (beheer, kosten): gestandariseerd, robuust, schaalbaar, beheersbaarheid, open standaarden, flexibel. Nodig: SSC, IT afdeling in opdracht met CvB. Valkuil: Projectmatig en releasematig (chain, call), aanbesteding

Tijdens de bespreking van de verschillende perspectieven kwam naar voren dat er niet één waarheid is, iedereen heeft gelijk vanuit eigen perspectief. De grootste groep op deze bijeenkomst was de groep van de onderwijsversterkers. Uit die groep kwam naar voren:

  • een professionele omgeving met professionele waarden, daar hoort een krachtige DLWO bij. Kwaliteit centraal;
  • studierendement en binding met studenten;
  • de student laten zien dat ie serieus genomen wordt enthousiasme, verleiden;
  • succesfactor scholing van docenten;
  • wie is er aan zet?

Maar ook de andere perspectieven werden besproken.

Powerpointpresentatie van SURF

Powerpointpresentatie over Saxion

Er werd geluisterd naar een uitleg van Michiel van Geloven (Business Information Manager bij Saxion) over de IT- governance bij Saxion. En Zuydcollega’s vertelden over voorbeelden van DLWO-ontwikkeling bij Zuyd. Els Koelewijn (Faculteit Gezondheidszorg) gaf aan dat haar faculteit in 2020 blended onderwijs wil hebben met meer flexibiliteit, meer mogelijkheden om variatie aan te brengen in leerontwerp. Frans Roovers (Faculteit Social Studies en Educatie) gaf uitleg over het verloop van de blended module OLP8. Het ontwerpen en succesvol draaien van zo’n module kan alleen als docenten de voor hun rollen noodzakelijke digitale vaardigheden hebben. Vincent van Iersel (Marketing en Communicatie) vertelde over de volgende stappen van Zuydnet. In najaar 2015 worden ook de opleidingen aan Zuydnet toegevoegd. Er komt een gepersonaliseerde homepage en er komen groepen: studenten willen met elkaar kunnen communiceren.

Afsluitend gaf Olaf van Nugteren ons huiswerk mee:

  • Inbedding ICT in onderwijs: eigenaarschap duidelijker neerleggen;
  • Studenten verleiden met de middelen die we hebben;
  • Docenten ook ondersteunen, professionaliseren;
  • Bij curriculumvernieuwingen meenemen dat er moderne middelen beschikbaar zijn;
  • Oog hebben voor een aantal praktische zaken zoals 1x inloggen, 1 e-mailadres en notificaties.

De conclusie aan het eind van de middag: we aan de slag moeten!

Het complete schriftelijk verslag van deze bijeenkomst is te lezen in het document: Verslag visieworkshop DLWO woensdag 24 juni 2015. De hele bijeenkomst is ook op video opgenomen. In het verslag zijn de verwijzingen naar deze videoregistraties terug te vinden.

Wat vinden studenten van kennisclips?

Begin april is bij Zuyd vanuit het project Video@Zuyd een enquête gehouden over videogebruik in het onderwijs. De respons was bijna 10%. In die enquête gaven studenten hun mening over het gebruik van video in het onderwijs. Bij video gaat het over allerlei vormen: weblectures, kennisclips, video’s van derden en meer. Eerder schreven we al over weblectures. In dit bericht zoemen we in op de resultaten van de enquête voor wat betreft kennisclips. “Een kennisclip  is een kort stukje video van maximaal tien minuten waarin één specifiek probleem of concept behandeld wordt. Je kunt zelf nog vragen of opmerkingen plaatsen of ‘raten’”.

Kennisclips worden op dit moment bij Zuyd minder gebruikt dan weblectures. 42% van de studenten is bekend met deze vorm van video-gebruik in het onderwijs. Het meest bekend zijn kennisclips bij de faculteit ICT(82%), daar hebben studenten al uitgebreid kennis kunnen maken met kennisclips o.a. in het kader van het Zuyd Innoveert project MOOCZI. De minste bekendheid is er bij Commercieel en Financieel Management en de Hotelschool. Bij die faculteiten wordt nog nauwelijks of niet met kennisclips gewerkt.

gebruik kennisclips

Gebruik van kennisclips per faculteit: in plaats van de lessen; als aanvulling op de lessen, als voorbereiding op de toets of helemaal niet

We hebben met een aantal open vragen proberen na te gaan wat studenten nu vinden van kennisclips en hoe ze die gebruiken. Meer dan weblectures worden kennisclips gezien als een aanvulling op de lessen. Kennisclips zijn handig “als het extra uitleg geeft over een onderwerp waar ik moeite mee heb of meer over wil weten” of “wanneer we ons voor de les al moeten verdiepen”. Over een kennisclip wordt ook gezegd: “Als het onderwerp (dat nog onduidelijk is, rs) onderdeel is van een hoorcollege, zou ik het hele hoorcollege moeten volgen. Een kennisclip is veel efficiënter.” En “niet meer hele colleges volgens maar een effeciente en directe aanpak van je probleem.”  Net als bij weblectures waarderen studenten kennisclips omdat je er flexibel mee kunt studeren: “Het kunnen kijken op momenten dat het mij uitkomt”. Ook vinden veel studenten kennisclips handig bij het leren voor de toets. “Op het moment dat ik begin met leren kom ik pas vragen tegen. Vaak is dit als alle lessen van dat onderwerp zijn afgelopen en je niet meer de kans hebt om het aan een docent te vragen. Een kennisclip biedt dan uitkomst.”

Maar er is ook kritiek en een duidelijke roep om helder en professioneel materiaal.: “Een nadeel dat ik wel heb ervaren is dat video’s vaak onduidelijk zijn, deze worden zelf gemaakt door docenten. Nadelen zoals bijvoorbeeld: langdradigheid, eentonigheid, lastige en onduidelijke voorbeelden. Niet iedereen is in staat om dit materiaal duidelijk te creëren”. 

Iedere ICTO-verantwoordelijke heeft een uitgebreide rapportage ontvangen van de resultaten van hun faculteit.

Wat vinden studenten van weblectures?

Begin april is bij Zuyd vanuit het project Video@Zuyd een enquête gehouden over videogebruik in het onderwijs. De respons was bijna 10%. In die enquête gaven studenten hun mening over het gebruik van video in het onderwijs. Bij video gaat het over allerlei vormen: weblectures, kennisclips, video’s van derden en meer. In dit bericht zoemen we in op de resultaten van de enquête voor wat betreft weblectures. Een weblecture wordt in die enquête gedefinieerd als  “een opgenomen hoorcollege. Je hoort en ziet de spreker en ook de powerpoint is zichtbaar. Je kunt zelf nog vragen of opmerkingen plaatsen of ‘raten’”.

61% van de studenten is bekend met deze vorm van video-gebruik in het onderwijs. De grootste bekendheid is bij Sociale Studies: 93%. Daar worden weblectures het meest gebruikt. De minste bekendheid is er bij de Kunsten (36%), één van de faculteiten waar deze vorm van video weinig wordt gebruikt.

We hebben met een aantal open vragen proberen na te gaan wat studenten nu vinden van weblectures en hoe ze die gebruiken. Op de vraag wat de meerwaarde van weblectures voor de studie is hebben de meeste antwoorden te maken met het flexibel kunnen studeren. B.v.: “Een bijbaan in de ICT kan veel beter gecombineerd worden omdat ik les kan volgen op de momenten dat ik het wil en bijvoorbeeld het meest fit ben.” Je kunt het college bekijken op een zelf gekozen tijdstip, je kunt het terugkijken, het bespaart reistijd en het voorkomt dat je veel (reis)tijd kwijt bent aan een paar lessen (bij een slecht rooster). Als tweede wordt door veel studenten aangegeven dat de stof beter te begrijpen is dankzij weblectures die je nog eens terug kunt kijken. “Er worden soms dingen gezegd die ik niet mee krijg tijdens het hoorcollege. Door het terug te kijken wordt alles nog een keer herhaald en worden er dingen duidelijker.” Als derde scoort het gebruik van weblectures bij de voorbereiding op de toets. “Als ik leer voor een toets en ik begrijp niet meer wat ik heb opgeschreven kan ik een weblectures bekijken en dan word het nog eens door een docent uitgelegd, waardoor ik het weer begrijp.”

Bij de vraag of studenten in de toekomst gebruik willen maken van weblectures zegt 70% “graag” en maar 9,3% zegt “liever niet”. Betekent dit dat studenten geen ‘live’ colleges meer willen? Zeker niet:
toekomst video

Uit het antwoord op de vraag waar studenten in de toekomst gebruik van willen maken blijkt dat het veel meer een én én verhaal is: er is een toekomt voor én weblectures én live colleges.

Iedere ICTO-verantwoordelijke heeft een uitgebreide rapportage ontvangen van de resultaten van hun faculteit.