Matematiske og menneskelige fejl

I 2013 blev en type software kaldet PredPol indført som værktøj til at forudse kriminalitet i den lille by Reading i den amerikanske stat Pennsylvania. Reading har haft en hård medfart efter industriarbejdets forsvinden og var i 2011 USA’s fattigste by med en fattigdomsprocent på 41,1. For at effektvisere politistyrkens bekæmpelse af kriminalitet, skulle PredPol forudse hvor i byen politiet skulle placere sig. Men som i mange andre amerikanske byer, bor befolkningsgrupper fra samme socioøkonomiske lag ofte i samme geografiske område. Og modellen regnede både på voldelige forbrydelser og indbrud, men også mindre forbrydelser som løsgængeri og besiddelse af små mængder stoffer. Det medførte, at PredPol fik politiet til at spore sig ind på de fattige, stoppe mange af dem, arrestere nogle og sende nogle i fængsel. De, der boede i de »ikke-kriminelle« områder gik under radaren.

Det er blot et af flere eksempler på, hvordan vi i dag lader maskiner og algoritmer tale, tænke og arbejde for os. I bogen Weapons of Math Destruction spørger Cathy O’Neil til, præcis hvordan disse tilsyneladende neutrale modeller dømmer os?

Det var først efter finanskrisen ramte, at O’Nei