Den simple test – som ikke er helt så simpel igen
Teoriprøven til kørekortet er en multiple choice-test, som de fleste kender. Ved hjælp af stimulusmateriale – billeder fra trafiksituationer – tester politiet, om man kender færdselsreglerne og er i stand til at tage de korrekte beslutninger i trafikken. © Foto: Lasse Kofod / Ritzau Scanpix
Multiple choice-testen skal ikke undervurderes. Den kan mere end blot teste faktuel viden. Men god testkvalitet forudsætter, at man gør sig umage med spørgsmål og svarmuligheder, fortæller lektor Lotte Dyhrberg O’Neill.
Et spørgsmål – tre mulige svar. Multiple choice-testen kan ligne et simpelt værktøj, der hurtigt og enkelt tester simpel paratviden. Men undervurder ikke MC-testen. Den har fordele, som andre prøveformer ikke har, men den kræver også mere forarbejde og større omhyggelighed, end mange går og tror.
Sådan lyder budskabet fra Lotte Dyhrberg O’Neill, lektor ved SDU Universitetspædagogik.
“Jeg tror, mange ikke er klar over, hvor udfordrende det er at formulere gode multiple choice-spørgsmål. Der er en tendens til at tro, at det er simpelt, men det er det ikke”, siger hun.
Som eksempel peger hun på det, hun kalder “konstruktionsfejl” i testen. Konstruktionsfejl er, når formuleringen af spørgsmål eller svarmuligheder forstyrrer og påvirker besvarelsen og resultatet. For eksempel hvis det er muligt at gætte sig til det rigtige svar, selv om man ikke kender det.
“Mange danskere er ikke så bevidste om de her fejl. De er ret almindelige og kan faktisk være vanskelige at undgå”, siger Lotte Dyhrberg O’Neill.
Populær i USA
Multiple choice-testen bruges jævnligt på danske uddannelser, men slet ikke i samme omfang som eksempelvis i USA, hvor det er en meget anvendt prøve- og eksamensform. Argumentet imod er, at den udelukkende tester paratviden og motiverer til overfladelæring frem for dybdelæring. Men det er et forsimplet syn på metoden, mener hun.
“Det med overfladelæring er et kritikpunkt, men jeg har endnu ikke set afgørende evidens for, at det skulle være tilfældet – særligt ikke hvis du spørger på et højere taksonomisk niveau. Det er muligt at udarbejde ganske udfordrende multiple choice-test, der tester mere end faktuel viden. Og så skal man huske, at der i nogle fag bare er meget faktuel viden – for eksempel anatomi. Det er jo ikke, fordi faktuel viden er irrelevant”.
Jeg tror, mange ikke er klar over, hvor udfordrende det er at formulere gode multiple choice-spørgsmål. Der er en tendens til at tro, at det er simpelt, men det er det ikkeLotte Dyhrberg O'Neill
Eksempler på spørgsmål med konstruktionsfejl
Nedenstående er eksempler fra Lotte Dyhrberg O’Neill på konstruktionsfejl, der kan virke forstyrrende for multiple choice-testen – opdelt i henholdsvis “irrelevant sværhed” og “testsnuhed”, hvor den studerende kan gætte sig til svaret.
Irrelevant sværhed
Svarmulighederne er lange, komplicerede eller dobbelte.
Numeriske svarmuligheder angives forvirrende (fx i ikkenumerisk rækkefølge eller i et uensartet format).
Vage ord (sjældent, vanligvis etc.) i svarmulighederne.
Ikkeparallelt sprog i svarmulighederne.
Svarmuligheder i ulogisk orden.
“Ingen af ovenstående” eller “alle ovenstående” som svarmulighed.
Testsnuhed
Grammatiske hint – en/flere distraktorer passer ikke grammatisk til “lead-in” og kan derfor hurtigt udelukkes.
Logiske hint – en undergruppe af svarmulighederne dækker tilsammen hele universet af mulige svar, sådan at de øvrige distraktorer automatisk kan udelukkes som reelle svarmuligheder.
Absolutte ord (altid, aldrig etc.) i svarmulighederne.
Det korrekte svar er længere, mere specifikt eller mere komplet end distraktorerne.
Ordgentagelser – et ord eller en vending i stammen kan genfindes i det korrekte svar.
Konvergensstrategien kan anvendes – det korrekte svar er det, som har flest elementer til fælles med distraktorerne.
Automatisk feedback
Humlen er at være bevidst om testformens styrker og begrænsninger. Den er ikke god til at vurdere studerendes kreativitet eller kompetencer og selvsagt heller ikke formidlingsevner. Men den er god til at teste viden og har den indlysende fordel at være hurtig og relativt billig i ressourceforbrug, fordi den kan køres elektronisk. Det gør den blandt andet meget velegnet til brug i undervisningssituationer, hvis underviseren gerne vil aktivere tilhørerne eller måske undersøge, om de studerende har forstået det faglige stof.
“Særligt ved blended learning eller store forelæsninger, hvor der ikke er tid til personlig feedback, er det et godt redskab til at danne sig et overblik over, hvor forståelsen halter. Og når det kører elektronisk, kan man på forhånd formulere feedbacksvar til alle, der for eksempel siger: Hvis du har svaret dette, er det, fordi du har misforstået på denne måde …”, siger Lotte Dyhrberg O’Neill.
Hun peger også på den fordel, at man i gennemgangen af besvarelserne kan fange, hvis nogle spørgsmål har fungeret dårligt i testen, og eventuelt vælge at udelade dem fra bedømmelsen.
“Det, at man efterfølgende kan vurdere, hvordan spørgsmålene har fungeret, er noget af det smukke ved multiple choice-testen. Det kan man ikke med andre eksamenstyper”.
8 råd til den gode multiple choice-test
I det seneste nummer af Dansk Universitetspædagogisk Tidsskrift har Lotte Dyhrberg O’Neill skrevet en guide til udarbejdelse af multiple choice-test. Her giver hun følgende otte råd:
Afgør formålet med testen
En multiple choice-test kan have forskellige formål, som kræver forskellige fokusområder. I undervisningsbrug skal man gøre sig umage med feedback til hvert enkelt svarmulighed, så alle kan lære noget. Bruger man det i eksamenssituationer, er det vigtigt at kvalitetssikre testen. Det kan også være, at man vil bruge det til at skabe motivation i undervisningen, og så kan det være godt med nogle stimuli i form af billeder eller objekter, man tager med i testen.
Vælg det rigtige format
Der findes overordnet to typer multiple choice-formater: “true-false” eller “one good answer”, hvor man skal vælge den bedste svarmulighed ud af flere. I et fag, hvor det er let at dele ting op i sandt og falsk, er “true-false” oplagt, mens det i fagområder med mere flertydighed kan være bedre med “one good answer”. Endelig skal man overveje, om det vil være bedre med en test, hvor de studerende selv skal formulere eller indsætte det rigtige svar.
Udvælg indhold med omhu
Det er selvsagt vigtigt, at der er en god sammenhæng mellem testens spørgsmål, læringsmålene og læringsaktiviteterne. Ved eksamen skal man også være opmærksom på, at testen dækker bredt i forhold til fagets emnefelter. Det er derfor en god ide at bruge noget tid på at skabe sig et overblik, for eksempel i skemaform, hvor man danner sig overblik over vægtning og taksonomisk niveau af spørgsmålene.
Inkluder stimulusmateriale
Et spørgsmål kan tage udgangspunkt i medfølgende materiale – stimulusmateriale – eksempelvis en tekst, en illustration, en graf eller en fysisk genstand. Stimulusmateriale er med til at bringe testen op på et højere taksonomisk niveau, fordi de studerende får et objekt, de kan afprøve deres viden på.
Stil fokuserede og klare spørgsmål
Uklare spørgsmål kan være en fejlkilde i testen. Tommelfingerreglen er, at selve det spørgsmål, der skal besvares, udgør en kort, klar, hel og fokuseret sætning, som slutter med et spørgsmålstegn. Det skal være muligt at lægge hånden over svarmulighederne, alene kigge på spørgsmålet og så være i stand til at besvare det, hvis det er formuleret ordentligt.
Undgå konstruktionsfejl
Konstruktionsfejl er, når spørgsmålene er konstrueret, så man gør det enten uhensigtsmæssigt sværere eller uhensigtsmæssigt nemmere at svare, og man dermed skaber en faktor, der forstyrrer testresultatet. For eksempel kan et dårligt formuleret spørgsmål gøre det sværere (irrelevant sværhed). Det kan også være, at svarmulighederne er formuleret, så man kan gætte sig til det rigtige svar (testsnuhed).
Undersøg, hvordan dine spørgsmål fungerer
Særligt hvis testen skal bruges som eksamen, bør man først afprøve den eksempelvis på sine kolleger. Så har man mulighed for at blive opmærksom på fejl, forståelsesproblemer eller måske faglig uenighed om, hvad det korrekte svar er.
Brug resultaterne til kvalitetssikring
Multiple choice-testen har den store fordel, at man efterfølgende på baggrund at besvarelserne kan vurdere, om nogle spørgsmål har fungeret dårligt, om det skyldes konstruktionsfejl, og i givet fald kan man vælge at trække spørgsmålet ud af testresultatet. En statistisk analyse af svarene kan således bruges både til at kvalitetssikre eksamen og til at udvikle undervisningen.
