Print artikel

Matematiske og menneskelige fejl

Anmeldelse
26.01.17
Matematik er en trussel mod demokratiet, hævder ny bog. Et automatiseret system ændrer sig først, når nogen ændrer det.

I 2013 blev en type software kaldet PredPol indført som værktøj til at forudse kriminalitet i den lille by Reading i den amerikanske stat Pennsylvania. Reading har haft en hård medfart efter industriarbejdets forsvinden og var i 2011 USA’s fattigste by med en fattigdomsprocent på 41,1. For at effektvisere politistyrkens bekæmpelse af kriminalitet, skulle PredPol forudse hvor i byen politiet skulle placere sig. Men som i mange andre amerikanske byer, bor befolkningsgrupper fra samme socioøkonomiske lag ofte i samme geografiske område. Og modellen regnede både på voldelige forbrydelser og indbrud, men også mindre forbrydelser som løsgængeri og besiddelse af små mængder stoffer. Det medførte, at PredPol fik politiet til at spore sig ind på de fattige, stoppe mange af dem, arrestere nogle og sende nogle i fængsel. De, der boede i de »ikke-kriminelle« områder gik under radaren.

Det er blot et af flere eksempler på, hvordan vi i dag lader maskiner og algoritmer tale, tænke og arbejde for os. I bogen Weapons of Math Destruction spørger Cathy O’Neil til, præcis hvordan disse tilsyneladende neutrale modeller dømmer os?

Det var først efter finanskrisen ramte, at O’Neil var nødt til at se problemet i øjnene. For en matematiker var det svært at sluge, men hun var nået til den erkendelse, at matematik ikke kun var dybt involveret i verdens problemer, men også var med til at drive flere af dem fremad. I 2011 lancerede hun bloggen mathbabe.org for at mobilisere matematikere til at forenes mod sjusket statistik og forudindtagede modeller, der skaber deres egne responssystemer og bliver skæbnesvangre for mange mennesker.

For det er netop det, der er i vejen med flere af de modeller, O’Neil har et problem med; de er ikke længere kun beskrivende, men bliver determinerende for virkeligheden omkring os.

En af hovedgrundene til at det forholder sig sådan, er manglen på feedback; modellerne får ikke besked, når de dømmer forkert – uden en ekstern kilde til at irettesætte dem, bliver deres dom automatisk det rigtige svar. Vi har med andre ord at gøre med en simpel cirkelslutning: svaret i analysen er i virkeligheden kun et resultat af de antagelser, der er blevet gjort i modelleringen. Det er på en måde paradoksalt, fordi hele grunden til, at man vælger at benytte sig af statistiske modeller i første omgang er forestillingen om, at en model vil kunne fjerne fordomme og menneskelige fejl. Nogle gange er det derimod snarere tilfældet, at de har lært at effektivisere og femstille de menneskelige fordomme på en eksemplarisk måde. Hvorledes tester man sådanne modeller?

At lave en model er i mange tilfælde det samme som at lave en værdidom over, hvad der er vigtigt at have med i den beskrivelse af verden, man gerne vil præsentere.

Et eksempel er den retspraksis kaldet »tilbagefaldsmodeller«, der er indført i 24 amerikanske stater. Modellerne hjælper dommere med at vurdere den fare, hver af de indsatte udgør. Selv om denne tilgang har ført til en mere konsistent måde at dømme fanger på er spørgsmålet, om det i virkeligheden kun er en kompliceret måde at camouflere fordomme på. Mens en dommers vurderinger tidligere var noget, der blev ført til protokols, er modellens vurdering skjult i algoritmer, kun tilgængelige for en særlig elite. Et spørgsmål, O’Neil ikke tager op i sin bog, men som synes relevant for denne problematik, er det demokratiske problem, der ligger i den magt man får ved at vide noget om teknologi eller modellering i dagens samfund. Hvorledes skal vi efterkomme dette krav om teknologisk oplysning, så vi ikke havner i en situation, hvor vi har en teknologisk elite, der kan styre alt, hvis de vil?

At lave en model er i mange tilfælde det samme som at lave en værdidom over, hvad der er vigtigt at have med i den beskrivelse af verden, man gerne vil præsentere. Det betyder også, at der ligger en enorm magt i at lave disse modeller, fordi man samtidig har magten til ikke kun at fortolke, men også forme verden, oveni købet uden at det er tydeligt, at det er det man gør. Disse analyser bliver dermed til argumenter man ikke kan argumentere mod, fordi de bliver uigennemsigtige "sandheder".

O’Neil mener, at der er tre hovedelementer i modellerne, man skal holde øje med: gennemsigtighed, omfang og skade. For at vi skal kunne tale om en retfærdig praksis, er gennemsigtighed centralt i et samfund, der er omringet af teknologi og statistiske målinger. Et andet problem opstår, når vi bruger den samme model i for stort et omfang. At tilføre flere af de samme slags data til en god model vil generelt gøre din analyse bedre, men at bruge en enkelt model til at beskrive en række forskellige tilfælde vil ende med skadelige simplificeringer, der vælger effektivitet over nøjagtighed. Men O’Neil understreger, at ikke alle modeller skader. Det, der er vigtigt at huske på er, at i mange tilfælde kan noget, der er fordelagtigt for nogle, være skadeligt for andre.

Tilsammen har modellerne også det problem, at de har en tendens til at forstærke hinanden. Fattige mennesker har større risiko for at have dårlig kredit, at bo i områder med høj kriminalitet og være omgivet af andre fattige folk.

Generelt giver O’Neil en grundig og let forståelig redegørelse af sin kritik. Hvert kapitel belyser et nyt aspekt af problemet gennem et eksempel. Hvis man kunne savne noget, er det en mere præcis pointering af, hvad problemet er i de forskellige eksempler. Er det sjusket arbejde, som for eksempel i de modeller, der laver de største statistiske fejl og sammenblander kausalitet og korrelation, eller er det matematikken selv, der er problemet, fordi den er en slags maskine, der altid vil søge efter at simplificere og effektivisere?

Hovedpointen derimod, er ikke til at tage fejl af: menneskelig vurdering kan udvikle sig, selv om den er fejlagtig. Et automatiseret system ændrer sig først, når nogen ændrer det.