Discriminatie Waarom gaat het zo vaak fout bij algoritmes van de overheid?

DiscriminatieWaarom gaat het zo vaak fout bij algoritmes van de overheid?

Studenten van een kappersopleiding oefenen op een pop.Beeld ANP / ANPWaarom gaat de overheid zo vaak de mist in met dubieuze algoritmes? Bestuurskundige Bram Klievink wijst op een gevaarlijke cocktail van techno-optimisme en bezuinigingsdrift.Merijn van Nuland 2 maart 2024, 16:11Het kabinet bood vrijdag excuses aan voor discriminatie bij de opsporing van studiebeursfraude. Net als in de toeslagenaffaire speelde ook hier een discriminerend algoritme een kwalijke rol, terwijl toch al jaren gewaarschuwd wordt voor de risico’s. Hoogleraar Bram Klievink, gespecialiseerd in digitalisering, wijt het aan de tijdgeest.Vorige week oordeelde de enquêtecommissie hard over de Belastingdienst en het UWV, nu blijkt ook overheidsinstantie Duo de mist in gegaan. Wat hebben beide met elkaar gemeen?“Ze zijn allebei terug te voeren op de tijdgeest van het vorige decennium. Zo rond 2010 was het bestrijden van fraude met publiek geld een van de belangrijkste politieke thema’s. Tegelijkertijd werd die taak grotendeels overgeheveld van het rijk naar uitvoeringsinstanties en gemeenten, die dat bovendien met minder geld voor elkaar moesten krijgen. Technologie werd als oplossing gezien om fraudebestrijding en bezuinigingen te verenigen.”De pijnlijke uitkomsten kennen we inmiddels. Was het een kwestie van naïviteit?“Aan de kant van de uitvoeringsorganisaties soms wel. Ze hielden er onvoldoende rekening mee hoe de gebruikte risicoanalyses uitpakken in de praktijk. Duo vond het bijvoorbeeld verdacht als een uitwonende student dichtbij het ouderlijk huis ging wonen. Dat is niet gek gedacht, maar er was te weinig aandacht voor de onbedoelde consequenties. Bijvoorbeeld dat uitgerekend studenten met een migratieachtergrond vaak dichter bij hun ouders blijven wonen, en dus eerder als potentiële fraudeur werden gezien.”En aan de kant van beleidsmakers?“Die gingen veel minder naïef te werk. Het was namelijk een bewuste keuze om fraudebestrijding te combineren met bezuinigingsmaatregelen, en ICT te presenteren als oplossing. Dat blijft een bron van misère. Je ziet nu dat de dubieuze algoritmes worden stilgelegd, maar gemeenten en uitvoeringsinstanties nog wél dezelfde wettelijke taken op het gebied van fraudebestrijding hebben. Daardoor heeft het Rijk ze voor een onmogelijke opgave gesteld.”Het model van Duo bevatte zoveel haken en ogen dat deze voorlopig in de ijskast staat. Moeten alle fraudealgoritmes van de overheid op non-actief?“Een deel van die algoritmes wel. Ik denk dan specifiek aan de algoritmes waarvan je op voorhand niet goed kunt doorgronden wat de precieze effecten zijn. Die moeten eerst worden onderzocht. In eerdere gevallen werden algoritmes pas uitgeschakeld als onschuldigen de dupe zijn, dat is veel te laat. Bij twijfel moet je er niet aan beginnen.”U noemt de periode rond 2010 een techno-optimistische tijd. Hoe zou u de huidige tijdgeest definiëren?Klievink denkt even na. “Normatief-pessimistisch. De laatste jaren zijn de uitdagingen van algoritmes en kunstmatige intelligentie steeds meer centraal komen te staan. Voorheen voerden efficiëntie en de strijd tegen misbruik van publieke middelen de boventoon. Nu zien we steeds duidelijker dat die kunnen botsen met andere maatschappelijke normen en waarden, zoals het recht op een gelijke behandeling en privacy. De naïviteit is er af. De vraag is nu: hoe vind je de balans?”De gemakkelijkste optie is wellicht een totaalverbod op dit soort algoritmes.“Een overheid zonder risicomodellen is onwerkbaar, of je dat nu leuk vindt of niet. De Belastingdienst krijgt in een maand tijd miljoenen aangiftes binnen. Schuift er iemand met miljoenen euro's, dan moet een geautomatiseerd systeem daar een waarschuwingsvlaggetje bij kunnen zetten zodat er extra controle kan plaatsvinden. Je moet het alleen wel goed kunnen onderbouwen en verantwoorden.”Lees ook:Kabinet zegt sorry voor discriminerende fraudejacht studiebeurzenDe opsporing van studiebeursfraudeurs leidde tot indirecte discriminatie op basis van opleidingsniveau en migratieachtergrond, blijkt uit onderzoek. Het kabinet biedt nu excuses aan.Keihard rapport over toeslagenaffaire: ‘Ieder van ons kan nog steeds vermorzeld worden door de overheid’De toeslagenaffaire is ontstaan door een giftig samenspel van kabinet, parlement, uitvoeringsorganisaties, rechtspraak en journalistiek. Maar alle patronen die tot het vermorzelen van tienduizenden mensenlevens hebben geleid, zijn er nog steeds.Luister ook: Hoe beeldvorming Den Haag blind maakte voor mens en rechthttps://www.trouw.nl/podcasts/hoe-beeldvorming-den-haag-blind-maakte-voor-mens-en-recht~b280eb41/