F*** algoritmerne

Et andet eksempel afledt af coronavirusepidemien stammer fra det amerikanske universitetshospital Stanford University Center, hvor personalet begyndte at bære badges med budskaber som »Fuck algoritmerne« og »Algoritmerne stinker!«, fordi algoritmerne var nået frem til, at det sundhedspersonale, der skulle vaccineres først, var læger over 60 år - uanset funktion - mens yngre plejepersonale kom bagerst i køen, selv om de var udsat for langt større smitterisiko.
- Problemet med algoritmebeslutninger er, at det er svært at finde ud af, hvem vi kan drage til ansvar, når systemet fejler og har etiske eller skadelige konsekvenser. For hvordan regner man ud, hvad der præcist har gjort udslaget for en bestemt beslutning, når en række uigennemskuelige elementer er bragt sammen i en maskine?, siger Gry Hasselbalch, der de sidste tre år har arbejdet på ph.d.en Data Ethics of Power - A Human Approach to Big Data og AI. En af hovedkonklusionerne i hendes forskning er, at det ikke dur at pille den menneskelige faktor ud af beslutninger.

- Teknologi, Big data og AI skal kun være et redskab for mennesker, det skal ikke tage beslutninger for os, siger hun, og det er ikke nok at lovgive om, hvordan store virksomheder må bruge eller skal opbevare vores data. Dataetik skal ikke bare være et lovkrav, det skal også være en del af vores kultur, når vi udvikler teknologier.
Menneskeligheden skal ind langt tidligere i udviklingen og designet af teknologien, og i hvad vi som samfund overhovedet vil tillade, at der bliver udviklet og forsket i, siger Gry Hasselbalch, der for eksempel er bekymret over EU’s tilgang til biometriske fjernidentifikationssystemer (som for eksempel ansigtsgenkendelse), som hun ikke mener, er striks nok. I EU’s nye forslag til en AI-lovgivning, som også er verdens første, er brugen af den på offentlige steder godt nok defineret som risikabel, men stadig tilladt i særlige tilfælde, for eksempel i forbindelse med eftersøgning af forsvundne børn, trusler mod visse personers liv eller terrorangreb. I modsætning til for eksempel Kina, der bruger det bredt til kontrol af befolkningen, eller USA, der har en helt anden tilgang til overvågning generelt, tæt forbundet med en magtfuld tech-industri.

For data er magt, og dem, der kontrollerer data, har magten. I sin ph.d. afdækker Gry Hasselbalch de magtstrukturer, der er opstået i udviklingen af brugen af Big data, som hun mener, er i modstrid med et demokratisk samfund. En forskruet magtbalance, kalder hun det.
- Nettets infrastrukturer har skabt sit eget magthierarki, hvor dem, der har data om os, har magten, og det er ikke stater, det er virksomheder, der skal tjene penge. Den amerikanske økonomiprofessor Shoshana Zuboff bruger for eksempel begrebet surveillance capitalism (overvågningskapitalisme), fordi data om os er blevet et nyt værdifuldt råstof, siger Gry Hasselbalch, der understreger, at det ikke er nyt, at vi lever i et elektronisk overvågningssamfund.
- Tilbage i 1990’erne talte den skotske sociolog David Lyon om etableringen af et overvågningssamfund via elektroniske medier, hvilket han senere har udvidet med begrebet liquid surveillance (flydende, usynlig overvågning). Overvågningen er systemisk, og vi skal være klar over, at nogle altid vil tage magten, når vi har teknologier, der muliggør overvågning, og de vil holde på den så godt, de kan. Derfor er vi nødt til at arbejde for en teknologisk infrastruktur, -lovgivning og -innovation, der understøtter et demokratisk samfund, så magten ikke ender (som nu) hos få gigant-virksomheder.

For at ændre på de magthierarkier, der er opstået, skal magtstrukturerne frem i lyset.

- Vi skal have etik til at fylde mere i debatten og i udviklingen, siger Gry Hasselbalch, der skrev sin ph.d. netop med fokus på magtstrukturer. Hun har haft fokus på tre områder i ph.d.en: Udviklingen af vores brug af Big data og den magtfordeling, der er fulgt med. To, hvordan den støder sammen med den magtfordeling, vi ønsker i et demokratisk samfund, og tre, de etiske konsekvenser, når AI handler på vores vegne, sammenholdt med menneskelige beslutninger.
Der er blandt andet flere eksempler på, at datasystemer diskriminerer minoriteter og socialt udsatte. Som det amerikanske system, der skulle risikovurdere fanger til prøveløsladelse, hvor algoritmerne viste sig at være langt skrappere overfor sorte fanger end hvide.
- Intentionen bag de datasystemer, vi designer og gør brug af i Europa, er jo for det meste god. Som den såkaldte Gladsaxemodel i Danmark, hvor algoritmer skulle forudsige, om børn i udsatte familier var i fare for omsorgssvigt. Men faktum er, at den slags analyser altid vil have utilsigtede sociale og etiske konsekvenser. Derfor kan vi ikke overlade den slags til datasystemer alene. For det, vi mister, når vi overlader beslutninger til algoritmerne og AI, er de menneskelige egenskaber, såsom at være kritisk og utilfreds med tingenes tilstand, og derfor muligheden for at ændre tingenes tilstand. Vi mister simpelthen en »menneskelig stopklods«. Vi kan sagtens sætte et datasystem til at komme op med moralske beslutninger bygget på de data, der er kommet ind i computeren, men systemet kan ikke have kritiske, etiske overvejelser, som mennesker kan, siger Gry Hasselbalch.
Derfor mener hun, at menneskelighed og etik skal i centrum i lovgivning og udvikling af teknologi.
- Det kan være ved, at borgerne let kan få indsigt i deres data og kan rette i dem, siger Gry Hasselbalch, der blev indkaldt som del af den danske regerings første ekspertgruppe i 2018, der blev etableret for at udvikle dataetiske anbefalinger, der blandt andet tæller et nationalt dataetisk råd samt en lovpligtig dataetisk redegørelse i årsregnskabet for større virksomheder. Hun sad med bland andet på grund af hendes erfaring med børn og digitale medier.

Fra år 2004 og ti år frem var Gry Hasselbalch med til at etablere og drive Medierådets nationale videncenter med fokus på børn og unges digitale liv, som var en del af EU’s Better Internet for Kids Program’s internationale netværk Insafe.
Ph.d.en Data Ethics of Power - A Human Approach to Big Data og AI er, ifølge Gry Hasselbalch, kulminationen på den viden, hun har opbygget gennem tæt på to årtier.

- I arbejdet med børn og unge gik det mere og mere op for mig, at det ikke var nok at oplyse dem om, hvordan de skal opføre sig på nettet, og hvad de skal passe på - såkaldt digital dannelse. Men at vi er nødsaget til at gøre noget radikalt ved den forskruede magtfordeling for at passe på dem. Børnene var de første på de sociale medier og dermed de første til at blive en del af overvågningsindustrien. Når vi i Medierådet lavede undersøgelser med børn og unge, så ønskede de faktisk privatliv, men både børn og voksne så det som et fair bytte at give deres private data for gratis tjenester, siger hun.

I de første mange år af de sociale mediers historie accepterede vi den forskruede magtbalance, og mange så nærmest rettigheden til privatliv og databeskyttelse som en hindring for innovation. »Privacy is no longer a social norm«, som Facebooks grundlægger Mark Zuckerberg blandt andet sagde i 2010.

I 2012 startede debatten for alvor, her kom blandt andet første bud på en gennemgribende reform af den europæiske persondatabeskyttelseslov, der blev reel EU-lovgivning i 2018 (GDPR).

Det var også i den periode, at Edward Snowdens afsløringer (2013) viste, at der havde været et samarbejde mellem den amerikanske efterretningstjeneste NSA og store tech-virksomheder, som havde gjort det muligt at overvåge europæiske borgere og politikere. Og i årene efter begyndte de første virksomheder at kunne se idéen i at arbejde med databeskyttelse som et konkurrenceparameter i stil med at være bæredygtig og give kunder og brugere mere indflydelse og indsigt i deres data og udvikle systemer med såkaldt indbygget privatlivsbeskyttelse (privacy by design), forklarer Gry Hasselbalch, der i 2016 udgav bogen Dataetik – den nye konkurrencefordel sammen med journalist og privacyekspert Pernille Tranberg.

- Indtil da var kravet om privatliv mest kommet fra aktivister, der blev anset som folk med sølvpapirshatte, der lavede såkaldte CryptoParties*, men nu kunne virksomheder og politikere se idéen i privatliv og beskyttelse af persondata, og der opstod en ny datageopolitik efter Snowdens afsløringer, fordi europæiske lande blev opmærksomme på, hvor vigtig regional kontrol over datainfrastrukturer var, siger hun.

Gry Hasselbalch og Pernille Tranberg skabte »tænkehandletanken« DataEthics sammen med Birgitte Kofod Olsen i 2015. De fandt på begrebet dataetik og argumenterede for, at det ikke kun handler om etik i forhold til vores privatliv, men om dataøkonomiens indflydelse på hele vores demokrati, fordi manglende dataetik betyder et ulige magtforhold mellem borgere og de store virksomheder samt staterne. I sin ph.d. arbejder Gry Hasselbalch videre med begrebet dataetik og definerer det - ikke som et moralfilosofisk begreb, og hvordan vi putter nogle værdier ind i teknologien, men med fokus på, hvordan datasystemer understøtter, distribuerer og reproducerer magtfordelinger. Dataetik handler om at skabe balance i en ulige magtfordeling.

Vi er nået dertil, hvor vi, ifølge Gry Hasselbalch, ikke kan »nøjes« med lovgivning for tech-giganterne og brugen af data i private virksomheder og offentlige institutioner.

- Det kræver en grundlæggende ændring af vores syn på data og design af teknologi, hvor det menneskelige og etiske er i centrum. Alle, der arbejder med at udvikle teknologi og systemer, som informationsspecialister, skal være opmærksomme på, at de ofte reproducerer eksisterende magtstrukturer i de nye systemer. Alle led har derfor ansvar for at tænke dataetisk og tænke i, hvordan systemerne bliver et redskab for os og ikke en sandhed i sig selv, siger hun.

Et vigtigt skridt kunne for eksempel være, at man ved alle offentlige indkøb af it-systemer krævede, at der er etiske overvejelser om magtfordelingen og interesserne i systemet bag, mener Gry Hasselbalch.

Heldigvis oplever hun et momentum med en erkendelse af, hvor vigtigt etik og vores menneskelige kritiske sans er, som eksemplet i indledningen med de engelske studerende.

- Borgerrettighedsorganisationer fører kampagner mod ansigtsgenkendelsesteknologier, og vi oplever ingeniører og forskere, der forlader virksomheder i protest over, at der ikke er nok fokus på dataetik, siger Gry Hasselbalch, der kalder det Cultural critical moments - øjeblikke gennem historien, hvor der for alvor er en åbning for kritisk at forhandle værdierne, som vi udvikler vores samfund og teknologier på baggrund af.