Undersøgelse: Sådan bruger danske forskere ChatGPT
Fra hype, skræk og advarsler til geopolitik og kamp om verdensherredømme. Men hvordan bruger helt almindelige danske forskere generativ kunstig intelligens? Thomas Fuller/SIPA/Ritzau Scanpix
Danske forskeres brug af generativ kunstig intelligens er blevet kortlagt. Erfaringerne rækker fra ”ubrugelig” til ”revolutionerende”.
Benjamin Breen, forsker og historiker ved University of California, synes som mange af hans kolleger, at ChatGPT har været en katastrofe, når det handler om at facilitere opgavesnyd.
Men måske endnu værre ligner de studerendes opgaver i stigende grad hinanden, hvilket han tilskriver ChatGPTs tilbøjelighed til at producere det ”midtsøgende synspunkt” i en given sag.
Men faktisk mener Breen, at de store sprogmodellers kapacitet som researchværktøj opvejer de nuværende udfordringer i klasselokalerne, skriver han på Substack.
Breen har testet ChatGPT på tre centrale færdigheder, som historikere bruger i deres arbejde. Breen beskriver sin tests her, og resultatet har mildt sagt overrasket ham.
Ikke bare kunne ChatGPT transskribere, oversætte og levere en mere end godkendt ikonografisk analyse af en håndskrevet kalligrafisk tekst fra 1770’erne. Vel at mærke på et øjeblik.
Han uploadede også en række primærkilder og egne noter til et bogprojekt om videnskabelige og teknologiske forandringer i perioden 1880-1920 og bad herefter ChatGPT om at levere ”metakognitive refleksioner om forskingsveje.”
Han pressede desuden AI-botten til at producere ”de mest kreative, grænseoverskridende eller innovative historiske argumenter eller analyser.”
Resultatet var chokerende godt – ja næsten deprimerende.
For på fem sekunder producerede ChatGPT noget, der ved første øjekast var ”ret tæt” på det analytiske niveau i hans eget bogprojekt.
Og dog.
Efter en nærmere vurdering konkluderer Breen, at den grænseoverskridende analyse kunne være skrevet af en kandidatstuderende: ”Et højt og velinformeret – men forudsigeligt niveau.” Andre steder formåede ChatGPT at analysere som ”en førsteårs ph.d.-studerende.”
Ikke desto mindre: Kunstig intelligens er allerede et brugbart redskab for historikere, mener Green.
De her værktøjer kan helt klart allerede "lave" historisk forskning og analyse, og jeg er 100 procent sikker på, at de vil forbedre mange aspekter af det arbejde, historikere udfører for at forstå fortiden.Benjamen Breen, lektor og historiker, University og California
Revolution i biomedicin – tekstredigering i humaniora
Det er langtfra alle forskere der når til samme konklussion.
Tværtimod viser en ny undersøgelse fra Aarhus Universitet, at der blandt 2.527 danske forskere er stor forskel på såvel holdningen som til brugen af generativ kunstig intelligens.
En del af forskellen skyldes empiri og metoder.
Tag for eksempel socialvidenskab. Her er forskere, der beskæftiger sig med kvantitative data, mere positive og bruger generativ kunstig intelligens mere end de, der arbejder med kvalitative data.
At der også er væsentlige forskelle mellem hovedområder, er nok ikke overraskende.
For eksempel har generativ kunstig intelligens revolutioneret design og udvikling af proteinstrukturer og molekyler inden for biomedicin.
I den modsatte ende peger rapporten på, at selvom over 50 procent af humanioraforskerne godt nok bruger ChatGPT, så er det primært til sproglig redigering. Det kan være til at skrive ansøgninger, redigere forskningsartikler, formatere referencer og så videre.
Skepsis – selv i kodning
Selv inden for et fag som arkæologi, hvor teknologi spiller en stor rolle, er der ChatGPT-kritikere.
En af dem er David Stott, museumsinspektør ved Moesgaard Museum ved afdelingen for Arkæologisk IT.
David Stott bruger i sin forskning maskinindlæringsbiblioteket Pytorch til at lede efter menneskeskabte strukturer i scanninger af landskaber.
”Det er meget detaljerede terrænmodeller - vi taler om mange terabyte - så derfor træner vi computeren til at genkende bestemte strukturer, for eksempel ringborge, hvis vi er i Danmark,” siger David Stott.
Selvom han arbejder med kunstig intelligens, er han ikke fan af ChatGPT.
Det at uddelegere kreativ tænkning til et avanceret prædiktivt tekstprogram, det synes jeg er sørgeligtDavid Stott, museumsinspektør, Moesgaard Museum
”Hvis vi taler om at oversætte tekster eller skrive en e-mail, så er ChatGPT da en fin hjælp. Problemet er bare, at generativ AI kun er i stand til at reproducere viden, vi allerede har. Og da jeg leder efter overraskende ting, outliers, så kommer generativ AI til kort,” siger han og tilføjer:
”Det at uddelegere kreativ tænkning til et avanceret prædiktivt tekstprogram, det synes jeg er sørgeligt,” siger David Stott.
Men hvad så med kodning – det er jo en stor del af dit arbejde?
”Ja her kan ChatGPT noget, hvis det vel at mærke er simple ting som fx en hjemmeside med basal funktionalitet og standardiserede blokke af kode. Så går det ok. Men hvis man bevæger sig ind i mere komplekse eller obskure områder, laver den ofte fejl,” siger David Stott.
Selv når det gælder til simple tekstopgaver, har han ikke haft succes med ChatGPT.
"Jeg har brugt ChatGPT til at opsummere tekster, men synes ikke, det fungerer. Jeg bryder mig ikke om dens skrivestil. Jeg har også forsøgt at generere abstracts fra længere artikler, men det har også været skuffende.”
Sparringspartneren
Det kan lyde meget kritisk, men faktisk ligner David Stott flertallet af forskerne i undersøgelsen fra Aarhus Universitet.
Kun 8,5 procent bruger ChatGPT til at lave abstracts, mens 7,6 procent bruger ChatGPT til at opsummere videnskabelige tekster til for eksempel formidling.
Så er brugen af ChatGPT som videnskabelig sparringspartner mere udbredt: Knap 40 procent bruger ChatGPT til at foreslå nye hypoteser, mens 20,9 procent bruger det til at identificere styrker og svagheder i et manuskript i løbet af peer review-processen.
Mads Rosendahl Thomsen, litteraturprofessor ved Aarhus Universitet, er med en bevilling på 38 millioner kroner i gang med at etablere et grundforskningscenter, der skal undersøge, hvad kunstig intelligens gør ved vores tekstkultur.
Og så bruger han selv generativ kunstig intelligens som sparringspartner.
”Det kan være problemstillinger eller ideer, jeg vil tænke igennem, eller hvis jeg vil forstå en litteraturteoretisk strømning, eller hvordan en forfatter har været placeret. Så bruger jeg maskinen som en nyttig dialogpartner og til at uddanne mig selv,” siger Mads Rosendahl Thomsen, der også fremhæver et redskab som Googles NotebookLM.
Til forskel fra ChatGPT er NotebookLM designet med henblik på, at brugeren selv uploader specifikke tekster, som den kunstige intelligens interagerer med.
”Verden fungerer jo ikke sådan, at vi læser en bog, og så går vi i gang med at læse den næste. Der er en grund til at vi har abstracts. Så redskaber som NotebookLM, hvor man laver litteratursøgning på et begrænset antal tekster, ser jeg store perspektiver i,” siger han.
Men at overlade selve analysearbejdet til generativ kunstig intelligens, ”der er vi ikke,” lyder det fra Mads Rosendahl Thomsen.
”I hvert fald ikke når vi taler videnskab, hvor vi har et krav om gennemsigtighed og skal være i stand til at redegøre for, hvorfor resultaterne ser ud som de gør.”