Stelling: Een digitaal toetssysteem kan de workflow van papieren toetsen verbeteren.
In deze post ga ik uit van het toetsen met multiple choice, ja/nee, waar/onwaar of vergelijkbare vragen op papier. Daarbij neem ik aan dat gebruik wordt gemaakt van zogenaamde schrapkaarten. De workflow zoals ik hem hier beschrijf is geen weergave van een optimaal proces. Ik weet wel wat (;-)) van digitaal toetsen, maar nauwelijks iets van papieren toetsen. Het zou daarom zomaar kunnen dat ik onzin verkondig, maar ik hoop dat de lezer dan open reageert en bereid is mijn kennis aan te vullen. Natuurlijk besef ik dat er niet één workflow is, maar dat voor elke situatie varianten op mijn omschreven workflow zullen bestaan. Ik omschrijf de workflow niet in detail, maar globaal met net genoeg stappen om mijn punt duidelijk te maken.
In mijn praktijk heb ik toetsprocessen gezien die (ongeveer) werken zoals hieronder beschreven; zonder een digitaal beheerde itembank. Ik geloof in de winst van een goede implementatie van een digitale itembank, dat is nog een rede voor deze post.
Leesinstructie: Daar waar ‘hij’ of ‘zijn’ staat wordt ook ‘zij’ en ‘haar’ bedoeld. Ik ga er vanuit dat het ’toetsbureau’ een rol speelt in het proces. Het ’toetsbureau’ kan echter ook een andere afdeling binnen de instelling zijn. Ik houd het echter bij deze naam omdat daarmee het proces leesbaar blijft.
Workflow ‘papier’:
- De docent maakt zijn vragen met een tekstverwerker op zijn pc.
- Hij stuurt zijn proefwerk naar het toetsbureau. Hoe doet hij dat dan? Afgedrukt op papier en dan in een envelop? Of per e-mail (is dat wel veilig?)?
- Het toetsbureau plant de toets (tijd, plek en (aantal) studenten) en maakt kopieën op papier of drukt het juiste aantal proefwerken af.
- Het toetsbureau drukt schrapkaarten af.
- De toets wordt afgenomen.
- De schrapkaarten worden gescand.
- De software (bijvoorbeeld Teleform) verwerkt de schrapkaarten en meldt onregelmatigheden; bijvoorbeeld: twee vakjes zwartgemaakt in plaats van één. Dit komt op meerdere schrapkaarten en vaak ook nog meermaals op één kaart voor.
- Het toetsbureau moet nu die onregelmatigheden corrigeren. Zij bepalen wat te doen met een vraag waarbij de student meer dan één antwoord gegeven heeft. Of was één van die antwoorden nog doorgestreept of weg gegumd?
- Vervolgens worden de resultaten geëxporteerd naar analysesoftware (bijvoorbeeld ConTest).
- De resultaten en de analyse daarvan worden vervolgens naar de docent gestuurd.
- De docent stelt het definitieve eindresultaat vast.
- Inzage door studenten.
- De docent past vragen en eventueel ook het examen op zijn eigen computer aan voor een volgende keer.
Dit is de ontworpen workflow, maar wat als die docent nog vragen wijzigt kort voor de afname van het examen? Dan wordt het proces complex; de communicatie tussen docent en toetsbureau, de rompslomp voor het toetsbureau en de bijkomende factor ‘stress’ kunnen gemakkelijk leiden tot fouten. Daar verander je met het gebruik van een digitaal toetssysteem overigens niets aan. Maak goede afspraken en handhaaf procedures. Dat geldt altijd, met of zonder een digitaal systeem.
Workflow ‘papier met digitale itembank’:
- De docent maakt zijn/haar vragen rechtstreeks in het toetssysteem van zijn instelling.
- — Deze stap vervalt. Er is geen ‘verzending’ of ‘vervoer’ van toetsen nodig. —
- idem als boven
- idem als boven
- idem als boven
- idem als boven
- idem als boven
- idem als boven
- idem als boven
- idem als boven
- idem als boven
- idem als boven
- De docent past vragen en eventueel ook het examen in het toetssysteem van zijn instelling aan voor een volgende keer.
Verschillen.
De verschillen zitten vooral aan het begin en einde van de workflow.
Ad 1: Bij de start zitten, ten opzichte van losse vragen en examens op docent-computers, veel voordelen aan het gebruik van een digitaal toetssysteem.
- De vragen en toetsen worden in een beveiligd systeem gemaakt. Dat is in elk geval beter dan op een hobby-computer en in een familie-hobby-netwerk thuis (“sorry docent”… en uitzonderingen niet uitgesloten! ;-)). We moeten er vanuit kunnen gaan dat de onderwijsinstelling en de softwareproducent normaal gesproken professionele aandacht voor security hebben. Over security van digitale toetssystemen wil ik in het volgend deel van deze serie schrijven.
- Het digitale toetssysteem biedt versiebeheer van de vragen. Verschillende versies kunnen, met toelichting op de wijzigingen, ordentelijk worden beheerd.
- In het digitale toetssysteem kan de docent zijn vragen delen met collega’s. Op die manier kan een docententeam samenwerken aan vragen en examens.
- Door te delen met het toetsbureau kunnen ook daar (kleine) aanpassingen aan vragen worden gemaakt, gewoon een nieuwe versie van dezelfde vraag met toelichting wat en waarom de vraag is aangepast. De docent vindt die wijziging weer terug als hij inlogt in het systeem.
- Doordat de vragen in een centraal systeem worden gebouwd is het eenvoudiger om een centrale itembank te ontwikkelen. Dit biedt o.a. de mogelijkheid om vragen te hergebruiken, bijvoorbeeld voor formatieve toetsen.
Ad 2: Voordeel: Deze (relatief onveilige) stap van de workflow vervalt omdat vragen en toetsen rechtstreeks in het digitaal toetssysteem worden gemaakt. Er is geen sprake meer van enige vorm van fysieke of digitale verzending
Ad 12: Hoe is de inzage geregeld? Worden de schrapkaarten ter beschikking gesteld aan de docent, zodat hij samen met de student kan uitzoeken hoe de score tot stand is gekomen? #durftevragen
Ad 13: Vragen die na analyse aangepast dienen te worden kunnen rechtstreeks in het systeem worden aangepast, zodat een volgende versie van de vraag ontstaat.
Zijn er uitsluitend voordelen? Of zijn er ook nadelen? #durftevragen
Tot slot.
Ik weet dat er toetsbureau’s zijn die zelf zorg dragen voor het opbouwen van een itembank middels knippen en plakken vanuit Word documenten van docenten. Dat levert de nodige problemen op als die vragen, met een grote hoeveelheid Word-codes, voor beeldschermafname worden gebruikt en html-opmaak nou eenmaal iets anders is dan de opmaak in een tekstverwerker. Een goed toetssysteem filtert alle overbodige en onbruikbare codes bij het plakken van de vraagteksten. Als docenten de vragen rechtstreeks in het toetssysteem invoeren is dat knip- en plak-werk echter overbodig!
Dag Jack,
Een mooie beschrijving van het proces geef je hier. Komt altijd van pas.
Groeten,
Silvester