Kritik: DEA-undersøgelse af SU-lån matcher ikke virkeligheden
Jakob Rathlev, områdechef for Danmarks Evalueringsinstitut, og Peter Allerup, professor ved DPU og en af Danmarks førende inden for statistisk baseret forskning, angriber talgrundlag i nyt DEA-notat.
Det betyder noget for den offentlige debat, hvilke tal der bæres ind i debatten, og hvordan de tal er blevet til.
Sådan lyder det samstemmende fra både Peter Allerup, der er professor på DPU ved Aarhus Universitet og i en årrække har været en af de førende stemmer inden for statistisk baseret forskning, og Jakob Rathlev, områdechef for Danmarks Evalueringsinstitut, som blandt andet er næstformand i Selskab for Surveyforskning.
Netop et survey er årsagen til, at de to blander sig i debatten. DEA har nemlig netop udsendt et survey, der forsøger at sammenligne ”forsinkelse, studiejob og gæld blandt de nordiske studerende”. Problemet er bare, at ingen af de to køber grundlaget for den analyse, der fremføres.
”Det afgørende spørgsmål i forhold til denne undersøgelse er, hvor repræsentativ den egentlig er for de danske studerende. Når besvarelserne baserer sig på et webpanel, er det jo kun en del af de studerende, som har haft mulighed for at blive udtrukket til undersøgelsen, og det er typisk også de færreste af dem, der inviteres til at deltage i undersøgelsen, som deltager i den. Til sammen giver det en stor risiko for, at undersøgelsen ikke bliver repræsentativ”, forklarer Jakob Rathlev og understreger, at man godt kan bruge webpaneler, men at det kræver, man er meget omhyggelig med at teste repræsentativiteten.
Samme anke lyder fra Peter Allerup, som især hæfter sig ved den formulering, DEA selv bruger i en artikel skrevet på baggrund af surveyen: ”Surveyen er gennemført med brug af Userneeds paneler. Det er altså ikke en repræsentativ stikprøve af studerende i de pågældende lande, men data er indsamlet på samme måde i alle lande, hvilket gør det muligt at sammenligne på tværs”. For kan man så bruge det til at konkludere noget?
”Det behøver man ikke at være statistiker for at sige nej til. Det er bestemt ikke nogen planke, man kan bære sine argumenter igennem på. Det er noget vrøvl.”, forklarer han.
Smoking gun
Problemerne stopper dog ikke ved, at DEA har brugt webpaneler til at skaffe svar på deres spørgsmål, forklarer Jakob Rathlev, som understreger, at han udelukkende forholder sig til det håndværksmæssige i den måde, som DEA har tilvejebragt og behandlet dataen på.
”Ser vi så nærmere på undersøgelsen, falder man hurtigt over en smoking gun i forhold til bekymringerne om repræsentativiteten. Der er nemlig en kendt faktuel andel, der er forkert. I deres undersøgelse kan man se, at 25 procent har et SU-lån, men i virkeligheden er det 37 procent. Der burde altså være 50 procent flere låntagere i undersøgelsen, og det påvirker selvfølgelig tallene”, forklarer områdechefen fra Danmarks Evalueringsinstitut.
Peter Allerup forklarer, at han mener, at DEA selv burde have tjekket, om fx andelen af studerende, der modtager SU-lån, stemmer overens med virkeligheden. Desuden har man også en pligt til at oplyse om eventuelle unøjagtigheder, når man bærer den slags tal ind i den offentlige debat, mener han.
”Jeg synes, det er lidt uanstændigt, at de først fremstiller det hele relativt præcis, og så til allersidst får man i en ekstra bemærkning at vide, at det ikke er en repræsentativ stikprøve. Jeg ville aldrig selv skrive noget på basis af sådan en sammenligning.”, understreger han.
Tal skal være vidensbidrag i debatten
Peter Allerup forklarer, at der findes forskellige greb, som DEA kunne have brugt til at kvalificere sin stikprøve.
Her bruger man ofte mindst fire variable til at teste stikprøvens repræsentativitet, også fordi man ved, at det oftest er de mest positive, der svarer i den slags surveys.
”Det er helt mærkeligt læsning, at bare fordi man håber, at skævvridningen er ens alle steder, så kan man begynde at konkludere ud fra det. Der må man bare lade være med at konkludere. Man kan ikke sammenligne noget som helst, vil jeg tro, hvis det foregår på de her vilkår”, forklarer DPU-forskeren.
Jakob Rathlev forklarer, at han blandt andet på Twitter har blandet sig i debatten om DEA’s tal, fordi han ikke håber, at den måde at bære tal ind i en offentlig debat spreder sig, når det er så åbenlyst, at tallene ikke er repræsentative.
”Så man skal tage det med nogle pæne forbehold, når man bruger den type data. Samtidig er det vigtigt, at vi har en åbenhed omkring datakvalitet og begrænsningerne heri. Perfekte undersøgelser findes ikke, men det må ikke blive en undskyldning for ikke at gøre sig umage. Ellers er risikoen, at vi allesammen kører afsted med den ene halvdårlige undersøgelse efter hinanden, og så udvandes betydningen af at bruge tal i debatten. Vi risikerer også, at undersøgelserne forskydes ind i holdningsdiskussionerne og derfor ikke længere kan opfattes som vidensbidrag til debatten, men snarere som partsindlæg. Det er der jo ikke nogen af os, der kan være tjent med”, siger han og forklarer, at det heller ikke bidrager til klarheden, at man skal være meget vedholdende i sin læsning af undersøgelsen, før man opdager de forbehold, som DEA selv tager.
DEA: Det er en ret god måde at gøre det på
Martin Junge, forskningschef i DEA, forklarer, at det er meget vanskeligt at lave internationale sammenligninger, men han er faktisk ret godt tilfreds med det stykke arbejde, som han og DEA har lavet.
”Det er indsamlet nogenlunde ens på tværs af landene. Vi har forsøgt at minimere mange af de faktorer, der spiller ind, så vi har nogenlunde lige mange mænd og kvinder og studerende fra forskellige studieretninger med. Men det er klart, at vi kan ikke lave det repræsentativt, og når EU og andre institutioner laver den slags studier, har de også mere end svært ved at lave det repræsentativt”, siger han og uddyber:
”Vi synes faktisk, at vi gør et udemærket stykke arbejde i sammenligningen mellem landene. Hvis man ser det i lyset af, hvad der ellers bliver lavet, så er det en ret god måde at gøre det på. Men det er klart, man fx ikke kan sammenligne med, hvor mange lån de danske studerende reelt tager. Det er vi også opmærksomme på”.
Han forklarer, at der i debatten ofte bruges to OECD-tal for gennemførelse af uddannelse i Danmark og Norge, som er indsamlet på to vidt forskellige måder. Men her er der pludselig ikke nogen kritik af metoden.
”Jeg ville godt have haft halvanden eller to millioner til at lave en repræsentativ undersøgelse, men vi har ikke overtolket på tallene, vi har bare lagt frem, hvad vi finder”, understreger Martin Junge.
Sådan lyder det samstemmende fra både Peter Allerup, der er professor på DPU ved Aarhus Universitet og i en årrække har været en af de førende stemmer inden for statistisk baseret forskning, og Jakob Rathlev, områdechef for Danmarks Evalueringsinstitut, som blandt andet er næstformand i Selskab for Surveyforskning.
Netop et survey er årsagen til, at de to blander sig i debatten. DEA har nemlig netop udsendt et survey, der forsøger at sammenligne ”forsinkelse, studiejob og gæld blandt de nordiske studerende”. Problemet er bare, at ingen af de to køber grundlaget for den analyse, der fremføres.
”Det afgørende spørgsmål i forhold til denne undersøgelse er, hvor repræsentativ den egentlig er for de danske studerende. Når besvarelserne baserer sig på et webpanel, er det jo kun en del af de studerende, som har haft mulighed for at blive udtrukket til undersøgelsen, og det er typisk også de færreste af dem, der inviteres til at deltage i undersøgelsen, som deltager i den. Til sammen giver det en stor risiko for, at undersøgelsen ikke bliver repræsentativ”, forklarer Jakob Rathlev og understreger, at man godt kan bruge webpaneler, men at det kræver, man er meget omhyggelig med at teste repræsentativiteten.
Samme anke lyder fra Peter Allerup, som især hæfter sig ved den formulering, DEA selv bruger i en artikel skrevet på baggrund af surveyen: ”Surveyen er gennemført med brug af Userneeds paneler. Det er altså ikke en repræsentativ stikprøve af studerende i de pågældende lande, men data er indsamlet på samme måde i alle lande, hvilket gør det muligt at sammenligne på tværs”. For kan man så bruge det til at konkludere noget?
”Det behøver man ikke at være statistiker for at sige nej til. Det er bestemt ikke nogen planke, man kan bære sine argumenter igennem på. Det er noget vrøvl.”, forklarer han.
Smoking gun
Problemerne stopper dog ikke ved, at DEA har brugt webpaneler til at skaffe svar på deres spørgsmål, forklarer Jakob Rathlev, som understreger, at han udelukkende forholder sig til det håndværksmæssige i den måde, som DEA har tilvejebragt og behandlet dataen på.
”Ser vi så nærmere på undersøgelsen, falder man hurtigt over en smoking gun i forhold til bekymringerne om repræsentativiteten. Der er nemlig en kendt faktuel andel, der er forkert. I deres undersøgelse kan man se, at 25 procent har et SU-lån, men i virkeligheden er det 37 procent. Der burde altså være 50 procent flere låntagere i undersøgelsen, og det påvirker selvfølgelig tallene”, forklarer områdechefen fra Danmarks Evalueringsinstitut.
Peter Allerup forklarer, at han mener, at DEA selv burde have tjekket, om fx andelen af studerende, der modtager SU-lån, stemmer overens med virkeligheden. Desuden har man også en pligt til at oplyse om eventuelle unøjagtigheder, når man bærer den slags tal ind i den offentlige debat, mener han.
”Jeg synes, det er lidt uanstændigt, at de først fremstiller det hele relativt præcis, og så til allersidst får man i en ekstra bemærkning at vide, at det ikke er en repræsentativ stikprøve. Jeg ville aldrig selv skrive noget på basis af sådan en sammenligning.”, understreger han.
Tal skal være vidensbidrag i debatten
Peter Allerup forklarer, at der findes forskellige greb, som DEA kunne have brugt til at kvalificere sin stikprøve.
Her bruger man ofte mindst fire variable til at teste stikprøvens repræsentativitet, også fordi man ved, at det oftest er de mest positive, der svarer i den slags surveys.
”Det er helt mærkeligt læsning, at bare fordi man håber, at skævvridningen er ens alle steder, så kan man begynde at konkludere ud fra det. Der må man bare lade være med at konkludere. Man kan ikke sammenligne noget som helst, vil jeg tro, hvis det foregår på de her vilkår”, forklarer DPU-forskeren.
Jakob Rathlev forklarer, at han blandt andet på Twitter har blandet sig i debatten om DEA’s tal, fordi han ikke håber, at den måde at bære tal ind i en offentlig debat spreder sig, når det er så åbenlyst, at tallene ikke er repræsentative.
”Så man skal tage det med nogle pæne forbehold, når man bruger den type data. Samtidig er det vigtigt, at vi har en åbenhed omkring datakvalitet og begrænsningerne heri. Perfekte undersøgelser findes ikke, men det må ikke blive en undskyldning for ikke at gøre sig umage. Ellers er risikoen, at vi allesammen kører afsted med den ene halvdårlige undersøgelse efter hinanden, og så udvandes betydningen af at bruge tal i debatten. Vi risikerer også, at undersøgelserne forskydes ind i holdningsdiskussionerne og derfor ikke længere kan opfattes som vidensbidrag til debatten, men snarere som partsindlæg. Det er der jo ikke nogen af os, der kan være tjent med”, siger han og forklarer, at det heller ikke bidrager til klarheden, at man skal være meget vedholdende i sin læsning af undersøgelsen, før man opdager de forbehold, som DEA selv tager.
DEA: Det er en ret god måde at gøre det på
Martin Junge, forskningschef i DEA, forklarer, at det er meget vanskeligt at lave internationale sammenligninger, men han er faktisk ret godt tilfreds med det stykke arbejde, som han og DEA har lavet.
”Det er indsamlet nogenlunde ens på tværs af landene. Vi har forsøgt at minimere mange af de faktorer, der spiller ind, så vi har nogenlunde lige mange mænd og kvinder og studerende fra forskellige studieretninger med. Men det er klart, at vi kan ikke lave det repræsentativt, og når EU og andre institutioner laver den slags studier, har de også mere end svært ved at lave det repræsentativt”, siger han og uddyber:
”Vi synes faktisk, at vi gør et udemærket stykke arbejde i sammenligningen mellem landene. Hvis man ser det i lyset af, hvad der ellers bliver lavet, så er det en ret god måde at gøre det på. Men det er klart, man fx ikke kan sammenligne med, hvor mange lån de danske studerende reelt tager. Det er vi også opmærksomme på”.
Han forklarer, at der i debatten ofte bruges to OECD-tal for gennemførelse af uddannelse i Danmark og Norge, som er indsamlet på to vidt forskellige måder. Men her er der pludselig ikke nogen kritik af metoden.
”Jeg ville godt have haft halvanden eller to millioner til at lave en repræsentativ undersøgelse, men vi har ikke overtolket på tallene, vi har bare lagt frem, hvad vi finder”, understreger Martin Junge.
