Fraude-algoritme op de snijtafel

De gemeente Rotterdam kent bijna 30.000 mensen in de bijstand. Zo’n 1000 daarvan worden elk jaar onderworpen aan een uitgebreide controle, omdat ze verdacht worden van ‘onrechtmatigheden’. Bijvoorbeeld omdat ze een cadeau aannemen, een betaalde klus niet doorgegeven of formulier verkeerd invullen.

Maar omdat de gemeente niet iedereen kan controleren, moesten ze keuzes maken.  Welke 1000 mensen controleer je? En welke 29.000 laat je lopen? Een ‘slim’ algoritme hielp de gemeente daarbij bepalen. Tussen 2017 en 2021 werden duizenden Rotterdammers geanalyseerd door een algoritme dat bijstandsgerechtigden een risico-score gaf met een inschatting hoe groot de kans is dat ze met hun achtergrond, eigenschappen en gedrag fraude zouden plegen.

Argos berichtte vorige jaar voor het eerst over dit algoritme. Samen met Lighthouse diende Argos een WOB-verzoek in bij een groot aantal gemeenten en instanties met de vraag welke algoritmes ze gebruiken en of die mogen worden inzien. Rotterdam was een van de weinige  instanties die hun computercode met ons wilden delen.

Maar die code was verre van compleet. En bovendien ontbrak een cruciaal onderdeel: de trainingsdata.  De ‘slimme’ algoritmen in de computercode gedragen zich namelijk pas ‘slim’ nadat een computer veel voorbeelden van gewenste voorspellingen heeft gekregen. Je geeft de computer bijvoorbeeld duizenden plaatjes van bomen en struiken. Na verloop van tijd zal de computer patronen oppikken om het verschil te zien tussen de twee, zodat hij bij een nieuw plaatje een jonge boom kan onderscheiden van een struik.

Precies dat deed Rotterdam met haar bijstandontvangers. Het ‘leerde’ de computer duizenden voorbeelden van bijstandontvangers die onrechtmatigheden hadden gepleegd met hun uitkering en liet de computer vervolgens los op de mensen die nu in de bijstand zitten. Met als opdracht: wijs ons de mensen aan die fouten maken. Of preciezer: geef risico-scores aan deze mensen. Hoe hoger de score, hoe groter de kans op ‘onrechtmatigheden’.

Deze trainingsdata zijn dus de brandstof van het algoritme. Zonder die data is het alsof je een testrit mag maken zonder de motor te kunnen starten, en is het onmogelijk om te weten hoe het algoritme zich gedraagt.

Om privacyredenen wilde Rotterdam de trainingsdata niet met ons delen. Maar na lang aandringen en vooral omdat de gemeente een fout maakte in het verstrekken van gegevens, werden deze data alsnog ontdekt in nieuwe informatie van de gemeente. De gegevens van 12.707 mensen zaten verstopt achter grafieken die ze verstrekten. Met deze gegevens konden we het algoritme in zijn geheel ontleden.

Uit onze experimenten met het algoritme blijkt dat de ene Rotterdammer eerder verdacht wordt van fraude dan de andere. Vooral vrouwelijke Rotterdammers, die niet goed Nederlands spreken, jong zijn, kinderen hebben en financiële- of verslavingsproblemen hebben, krijgen hoge scores en worden dus eerder gecontroleerd.

Cynthia Liem, computerwetenschapper aan de TU Delft, keek mee met de ontleding van het algoritme en ziet flinke tekortkomingen. Een van de belangrijkste problemen noemt ze de soort data die gebruikt zijn. Die data werden verkregen via mensen die in het verleden zijn gecontroleerd. Maar onduidelijk is hoe deze mensen destijds zijn geselecteerd. 'In Amerika hebben we grote problemen gezien rondom etnisch profileren. De politie ging steeds meer in zwarte wijken patrouilleren waardoor vrijwel alle gegevens op den duur alleen uit die zwarte wijken kwamen. Zo leek het alsof vrijwel alle criminaliteit in de zwarte wijken plaatsvond, terwijl de witte wijken amper nog werden gecheckt.'

'Waar je je zoeklicht op richt, bepaalt in hoge mate wat je vindt', zegt Liem. Als in een periode met vooral moeders worden gecontroleerd, zoals we ook al zagen bij het toeslagenschandaal, is de kans groter dat je daar ook onrechtmatigheden vindt. Het algoritme pikt dat op en geeft automatisch hogere scores aan nieuwe jonge moeders die vervolgens gecontroleerd worden. 'Als bepaalde soorten mensen steeds opnieuw worden gecheckt, worden mensen die daar niet op lijken ook steeds opnieuw met rust gelaten. Op groepsniveau is dat onrechtvaardig', aldus Liem.

Een ander probleem is dat het algoritme geen onderscheid kan maken tussen verschillende vormen van onrechtmatigheden. Slordigheid, onbekendheid met de regels of fraude worden allemaal hetzelfde behandeld. Cynthia Liem: ‘Ik kan me voorstellen dat mensen die de taal niet goed spreken moeite hebben moet de formulieren en regels van de gemeente. Zij maken misschien eerder foutjes. Het algoritme zal dat nu oppikken als “fraude”, zonder nuance. Waardoor deze mensen de gemeente in de toekomst weer vaker op de stoep krijgen.’

Moeten gemeenten hier dan maar geheel mee stoppen? Cynthia Liem: 'Ik denk dat je vooral moet nadenken waarvoor je het inzet. Als je fraude wilt opsporen heb je er belang bij om zoveel mogelijk fraudeurs te pakken. Het gevolg is dat dit soort systemen vanuit een handhavingsperspectief worden ingericht. Maar je kunt dit soort technieken ook inzetten voor kritische analyse van je interne bedrijfsvoering. Op grond van dezelfde uitkomsten had je als gemeente kunnen concluderen dat je formulieren te moeilijk zijn. En in plaats van achter burgers aan te gaan, had je kunnen investeren in het verbeteren van de formulieren en je dienstverlening.'

De Gemeente Rotterdam werkt aan een nieuwe versie van het algoritme die discriminatie moet voorkomen en transparant is voor burgers. Tot die tijd is zij gestopt met het gebruik ervan. De gemeente geeft verder aan dat het op tijd opsporen van onrechtmatigheden de Rotterdammers in de bijstand juist helpt om grotere vorderingen later te voorkomen.

Luister zaterdag om 14:00 naar Argos op NPORadio1 naar ons uitgebreide verhaal over het Rotterdamse fraudealgoritme.