Af: Den undersøgende journalist

Det var en kølig tirsdag i oktober, da "Mette" (navnet er ændret, red.) modtog brevet i sin e-Boks. Det var kortfattet, klinisk og definitivt. Hendes sygedagpenge var stoppet med øjeblikkelig virkning. Efter et langvarigt kræftforløb var hun langsomt ved at vende tilbage til livet, men systemet havde vurderet, at hendes profil ikke længere passede ind i rammerne for støtte. Hvad Mette ikke vidste – og hvad sagsbehandleren på kommunens jobcenter kun modvilligt indrømmede under fire øjne uger senere – var, at beslutningen ikke var truffet af et menneske. Den var blevet "assisteret" af en ny, avanceret algoritme.

I løbet af de seneste fem år har en stille revolution fundet sted i de danske kommuner. Under paroler som "effektivisering" og "målrettet indsats" har kunstig intelligens og prædiktive algoritmer overtaget en stor del af det administrative arbejde. Men bag de glittede PowerPoints fra konsulenthusene gemmer der sig en virkelighed, hvor retssikkerheden er i skred, og hvor systemerne reproducerer de værste menneskelige fordomme i dataform.

Den uigennemskuelige "Black Box"

Problemet med de moderne AI-systemer, som kommunerne indkøber i dyre domme, er deres mangel på transparens – det, som eksperter kalder black box-problemet. Når en algoritme spytter en risikovurdering ud om en borger, kan hverken sagsbehandleren eller borgeren se, hvorfor systemet er nået til netop den konklusion. Er det fordi, borgeren bor i et bestemt postnummer? Er det fordi, vedkommende har skiftet job tre gange på to år? Eller skyldes det en statistisk korrelation, som i den virkelige verden er fuldstændig irrelevant?

Når vi taler med udviklerne, forsikrer de altid om, at AI blot er et "støtteværktøj". Men virkeligheden på de pressede danske jobcentre er en anden. Når en sagsbehandler sidder med 150 sager og et konstant krav om at spare minutter, bliver algoritmens ord lov. Det kræver mod, tid og uforholdsmæssigt meget bureaukratisk arbejde for en medarbejder at gå imod en computergenereret anbefaling. Maskinen har altid ret, for maskinen tager vel ikke fejl?

Dataene, der husker alt det forkerte

Det største svigt i det digitale velfærdssamfund ligger dog i selve fundamentet: dataene. En kunstig intelligens er ikke klogere end de historiske data, den fodres med. Hvis det danske arbejdsmarked eller de kommunale instanser historisk set har diskrimineret eller fejlbehandlet visse grupper – eksempelvis enlige mødre, etniske minoriteter eller personer med kroniske smerter – så lærer algoritmen, at disse grupper skal behandles anderledes. Den automatiserer fortidens uretfærdigheder og præsenterer dem som objektiv videnskab.

I en aktindsigt, som denne redaktion har opnået, fremgår det, at flere algoritmer vægter parametre, som borgerne absolut ingen kontrol har over. Det skaber et fundamentalt brud med det retsprincip, at man skal bedømmes på sine egne handlinger og sin nuværende situation, ikke på, hvad folk, der minder om en, gjorde for ti år siden.

En mur af tavshed

Når man forsøger at placere et ansvar, rammer man en mur af ansvarsforflygtigelse. Kommunerne peger på de private softwareleverandører. Leverandørerne henviser til forretningshemmeligheder og hævder, at de ikke kan lægge kildekoden frem, da de derved vil miste deres konkurrencefordel. Midt i dette tomrum står borgere som Mette, der har mistet deres forsørgelsesgrundlag på baggrund af en matematisk beregning, ingen kan forklare dem.

Det handler ikke om at være maskinstormer. Teknologi kan aflaste et presset system, men når vi overlader skønnet over menneskers skæbne til uigennemskuelige koder, ophører velfærdsstaten med at være menneskelig. Vi har skabt et system, hvor borgeren er blevet til et datapunkt, og hvor empati er blevet erstattet af optimering. Spørgsmålet er ikke længere, hvad teknologien kan gøre for os, men hvorfor vi tillader den at gøre det mod os.