Dansk Magisterforening

EU vil forbyde kunstig intelligens, der manipulerer med din hjerne

Et vigtigt element i EU's nye lov om kunstig intelligens handler om fordækte intentioner om adgang til det ubevidste.

AI
Del artikel:

EU er på vej med forbud mod kunstig intelligens, der manipulerer og fordrejer menneskers adfærd. Et vigtigt tiltag, der desværre kan ende i ingenting, frygter dansk forsker.

Det anses som en lodret ”uacceptabel risiko”. En ”trussel mod mennesker”, som ganske enkelt må forbydes.

EU vil bandlyse ”anvendelsen af subliminale teknikker”, fremgår det af et lovudkast, ”der rækker ud over den menneskelige bevidsthed, med henblik på i væsentlig grad at fordreje en persons adfærd.”

Det lyder måske som om, at EU har genopdaget psykoanalysen eller fin-de-siècle-tidens fascination af den kriminelle hypnotisør, men faktisk er der tale om artikel 5 i den kommende forordning om kunstig intelligens.

Det er AI-systemer, der benytter disse subliminale teknikker, som forordningen skal forbyde - hvis disse teknikker risikerer at medføre skade på mennesker.

I psykologien dækker subliminale teknikker over en form for påvirkning, hvor mennesker udsættes for stimuli, der ikke bliver registreret i bevidstheden, men alligevel aktiverer hjernen.

Det fremgår af AI-forordningen, at det blandt andet er sårbare grupper som børn eller personer med handicap, der skal beskyttes.  

Jeg er ikke ekspert i psykologi, men det er nok rettet mod teknikker, der påvirker os ubevidst eller underminere vores frie valg

Martin Søndergaard, advokat for Kammeradvokaten

Det er imidlertid uklart, hvad der faktisk skal forstås med 'subliminale teknikker', fortæller Rune Nyrup, der er lektor ved Center for Videnskabsstudier ved Aarhus Universitet, hvor han blandt andet forsker i etik og kunstig intelligens.

”Inden for psykologien har du forskning i subliminal perception, hvor man forsøger at påvise ændringer i folks adfærd, når de for eksempel ser billeder så kortvarigt, i millisekunder, at de ikke når at opfatte dem. Det kan være en burger. Og når du så efterfølgende kan vælge mellem en burger og en hotdog, så er teorien, at man er tilbøjelig til at vælge burgeren,” siger han.

Det er imidlertid svært at påvise brugen af teknikken, som i sagens natur er skjult, og i forskningen er der heller ikke enighed om effekten af skjulte budskaber.

”Det lader til, at hvis det overhovedet har en effekt, så er den meget kortvarig og forstærker noget, man allerede ville gøre. Så man får for eksempel ikke folk til at kaste sig ud af et højhus,” siger Rune Nyrup.

Uklar definition

Ifølge Martin Søndersgaard, advokat for Kammeradvokaten med databeskyttelse og digital forvaltning som speciale, er det i det hele taget uklart, hvad der menes med subliminale teknikker i forordningen.

”Det er ikke defineret, og der er hellere ikke i de indledende bestemmelser i forordningen nogen legal definition. Så der kan være usikkerhed om, hvad vi i det hele taget taler om,” siger Martin Søndersgaard.

”Jeg er ikke ekspert i psykologi, men det er nok rettet mod teknikker, der påvirker os ubevidst eller underminere vores frie valg. EU-kommissionen nævner som eksempel talende legetøj, der påvirker børn, eller en lastbilchauffør, der modtager skjulte budskaber i en højtaler. Men der, hvor den største anvendelse kan finde sted, er måske på sociale medier eller chatbots. Men igen, lige nu er det uklart, hvad man mener,” siger han.

Foruden at klargøre, hvad der forstås med begrebet, bør EU af åbenlyse grunde læne sig mod en bred definition, mener Rune Nyrup. For brugen af subliminal påvirkning er i langt de fleste tilfælde ikke usynlig. Her henviser Rune Nyrup til begrebet nudging.   

”Her handler det mere om, hvordan man strukturer en beslutningsarkitektur. Et eksempel kunne være Uber-chauffører, der ønsker at holde fyraften, men så får besked om, at de kunne tjene flere penge ved at arbejde lidt endnu, hvilket så kan påvirke folks tilbøjelighed til ikke at miste penge,” sige Rune Nyrup.

Et alvorligt eksempel på nudging ved hjælp af AI var Cambridge Analyticas forsøg på at påvirke det amerikanske præsidentvalg i 2016 med adgangen til 50 mio. Facebook-brugeres profiloplysninger. AI muliggjorde, at firmaet kunne teste i tusindvis af variationer af en enkelt reklame, så den kunne tilpasses den enkelte brugers præferencer og psykologiske profil.

EU's AI lov

EU’s AI-lovgivning er aktuelt til forhandling mellem EU-parlamentet, EU-rådet og kommissionen.

Overordnet anlægger loven en risikobaseret tilgang med flere niveauer: Uacceptabel risiko (forbudte AI-systemer), højrisikosystemer, AI med specifikke gennemsigtigheds­forpligtelser og endelig systemer med minimal eller ingen risiko.

I udkastet er forbudte AI-systemer dem, der kan påføre mennesker fysisk eller psykisk smerte. Det gælder blandt andet AI, der ved hjælp af ”subliminale teknikker”, manipulerer personer til at gøre noget, de ellers ikke ville have gjort.

Forbuddet skal desuden omfatte systemer, der udnytter bestemte gruppers svagheder (fx børn), ligesom kommissionen vil forbyde myndigheder at bruge AI til klassificere personers ’troværdighed’ på baggrund af social adfærd eller personlighedstræk.

Parlamentet ønsker at udvide listen over forbudte systemer til også at omfatte:

  • Politiarbejde (baseret på profilering, lokalitet eller tidligere kriminel adfærd).

  • Genkendelse af følelser hos fysiske personer i forbindelse med følgende områder; retshåndhævelse, grænsekontrol, på arbejdspladser og i uddannelsesinstitutioner.

  • Vilkårlig indsamling af biometriske data fra sociale medier eller TV-overvågningsoptagelser med henblik på at oprette ansigtsgenkendelsesdatabaser.

Højrisikosystemer er ifølge udkastet systemer, der har en negativ påvirkning på menneskers sikkerhed eller fundamentale rettigheder, og som derfor underlægges en række krav, herunder udvikling af risikostyringssystemer og krav til teknisk dokumentation.

Højrisikosystemerne er på forhånd defineret som systemer inden for områder som biometrisk identifikation (ansigtsgenkendelse), drift af kritisk infrastruktur, uddannelse (fx optagelse eller bedømmelse af eksaminer), beskæftigelse (fx screening af ansøgninger eller evaluering af medarbejdere) og retshåndhævelse (fx vurdering af risikoen for at en person begår lovovertrædelser).

Generative AI-systemer (”grundmodeller”) som fx ChatGPT er i parlamentets forhandlingsudkast ligeledes underlagt en række strenge krav til blandt andet sikkerhed og dokumentation.    

Det skete bare ikke ved hjælp af subliminale stimuli i snæver forstand, men ved at personalisere de politiske reklamer, uden at modtagerne var vidende om det.

Det nuværende udkast til en forordning indgår pt. i de såkaldte trilogforhandlinger mellem EU-Parlamentet, EU-Kommissionen og Ministerrådet og står det til parlamentet skal definitionen udvides.

Foruden de subliminale teknikker skal artikel 5 ifølge parlamentarikerne også omfatte ”manipulerende eller vildledende” teknikker, ligesom parlamentets forhandlingstekst ikke kun omfatter enkeltindivider, men også grupper af personer.

Og hvor kommissionens forslag rettede sig mod ”fysisk eller psykisk” skade, foreslår parlamentet det mere abstrakte ”betydelig skade”, hvilket også kan henvise til samfundsmæssige konsekvenser.

Denne udvidede definition vil ifølge Rune Nyrup antagelig omfatte teknikker som den, Cambridge Analytica, brugte overfor amerikanske vælgerne.

”Cambridge Analytica er et godt eksempel på en type fordækt manipulation, kunstig intelligens muliggør, og som AI forordningen bør beskytte os mod. Men EU-parlamentets lovtekst er mere kompleks, hvilket gør det mindre sandsynligt, at den vil komme igennem forhandlingerne,” vurdere han.

Derfor har Rune Nyrup sammen med kolleger foreslået forhandlerne at definere subliminale AI-teknikker sådan her: At de har som mål at påvirke en person, uden at personen er klar over, at det sker, hvordan det sker eller hvad effekten er på personens beslutninger eller dannelse af værdier.

Og hvad så med ChatGPT

En anden forskel på kommissionens udspil og parlamentets tekst er sidstnævntes brug af begrebet ”grundmodeller”.  Det kan oversættes til fx ChatGPT og lignende generativ AI, som først er blevet udbredt efter at kommissionen offentliggjorde sit forslag i 2021.

Udbydere af ChatGPT-lignende tjenester skal overholde strenge krav til transparens og datagovernance, herunder undersøge og afbøde datakilders egnethed og eventuelle bias, ligesom udbyderne skal træne modellen til at forhindre ulovligt indhold og dokumentere og offentliggøre brugen af data.

Ifølge Thomas Ploug, professor ved Institut for Kommunikation og Psykologi ved Aalborg Universitet, er det imidlertid uklart, hvad implikationerne af kravene egentlig er.

”Dybest set kan du jo bruge ChatGPT til at skrive en tekst, der er fuld af løgn. Det er fint og godt, hvis du er romanforfatter, men hvad hvis du skriver, at FCK-tilhængere slog fem Brøndby-fans ihjel og bruger det til misinformation,” spørger Thomas Ploug.

Hvis en ChatGPT-generet misinformation fører til uroligheder og måske endda sammenstød med politiet, kan det i teorien anses for at udgøre en risiko for samfundssikkerheden, mener han.

”Og den risiko skal man tage risiko for at imødegå. Men hvad så. Skal man forbyde ChatGPT, eller forbyde den at skrive løgnehistorier, så kan du jo ikke bruge den som romanforfatter. Og hvis du forbyder den at skrive om fodboldoptøjer, så skriver den i stedet for, at Covid19 fører til hjerneskader”, siger Thomas Ploug.

ChatGPT er ikke omfattet af artikel 5, der indebærer forbud, men ifølge Thomas Ploug er den eneste sikre måde at imødegå risikoen for misinformation med generativ AI ensbetydende med at gøre dem utilgængelige for offentligheden.

”Så selvom forordningen sådan set adresserer problemstillingen, svarer den ikke rigtigt på spørgsmålet. For du har fået en maskine, der er ekstremt effektiv til at lave troværdige løgne,” siger han.

Ifølge Thomas Ploug er det påfaldende, at EU-systemet har brugt flere år på at forholde sig til subliminale teknikker, men ikke nået til en entydig definition, selvom emnet har optaget videnskaben siden slutningen af 1800-tallet. Tilsvarende har EU-kommissionen slet ikke nået at forholde sig til generativ AI, der i løbet af bare et år har fået et globalt gennembrud.

”AI-forordningen er måske det bedste bud på regulering her og nu, men generativ AI vil blive indført på kryds og tværs i samfundet, og det er en illusion at tro, at man kan vide hvilke problemstillinger der kommer til at opstå,” siger han.   

}