Amersfoort verbiedt gebruik van niet-herleidbare algoritmes

Amersfoort verbiedt gebruik van niet-herleidbare algoritmesGeplaatst op 12 oktober 2022 in Informatiemaatschappij, 5 reactiesDe gemeenteraad Amersfoort maakt zich zorgen over algoritmes, las ik in het stadsblad. De gemeenteraad constateerde namelijk recent dat het voor de burger onmogelijk is om in te zien -ergo, te controleren- tot welke acties de uitkomst van algoritmen leiden. Daarom heeft men besloten voorlopig geen algoritmen te gebruiken waarvan men de uitkomst niet kan herleiden. Wat een mooie stap is, maar wel eentje die vele vragen oproept want om welke algoritmes gáát het dan in Amersfoort?Zo te zien heeft de gemeente geen registratie in het Algoritmeregister, maar dat is wel een van de voornemens uit een andere motie die recent werd aangenomen. Hier zien we ook iets meer duidelijkheid over de Amersfoortse zorgen:Het gebruik van nationaliteit en etniciteit als datavariabele in alle risicomodellen, -profielen, – systemen, -selectie en zwarte lijsten binnen de gemeente gebruikt worden uit te sluiten tenzij deze via het ethische afwegingskader een positief advies krijgen;Tevens te verzekeren dat ook zelflerende algoritmes in risicoclassificatiemodellen deze indicatoren niet gebruiken;Een publiek toegankelijk algoritmeregister naar het model van Helsinki of Amsterdam in te richten op de website van de gemeente Amersfoort;In dat register de datasets te openbaren van algoritmes die de gemeente Amersfoort gebruikt.Bij een onderzoek in 2019 vond de NOS grootschalig gebruik van voorspellende algoritmes, met een hoog risico op discriminatie als gevolg. Dat zat hem dus in het niet goed begrijpen of verklaren van het gedrag van die dingen. Amersfoort kwam in dat onderzoek ook voor:In andere gevallen bleek het voor overheden zelf ook lastig om te achterhalen wat er eigenlijk gebeurt. Zo voorspelt de gemeente Amersfoort wat de kans is dat een bepaalde leerling een voortijdig schoolverlater wordt. Maar hoe dat precies werkt, en op welke data dit wordt gebaseerd, kon de gemeente Amersfoort niet achterhalen. … Na publicatie van dit verhaal liet de gemeente Amersfoort weten dat geen gegevens zoals etniciteit worden gebruikt. Wel weegt het algoritme mee of een leerling bijvoorbeeld van school is gewisseld of is blijven zitten.Dit sluit aan bij het landelijke beeld, dat gemeentes voorspellende algoritmes inzetten om fraude en criminaliteit op te sporen, in te schatten wat voor zorg iemand nodig heeft en de opleidingsvoortgang van leerlingen te bewaken. En bij zulke inzet van AI in het sociale domein is het risico op vooringenomenheid levensgroot: datasets kunnen impliciete vooringenomenheid uit het verleden bevatten, of beïnvloed zijn door selectieve samenstelling. Ik ken een gemeente waar wel een goede dataset was van het roomblanke gymnasium maar niet van de zeer diverse scholengemeenschap, raad eens wie er grote risico’s liepen op het intensieve traject voorkomen schoolverlating?Het lastige is wel meteen dat het niet zo simpel is als de kolom nationaliteit of etniciteit weglaten uit je Excelbestand. Vaak is die factor eerder een stevige correlatie met de echte problemen, zoals taalachterstand sinds de basisschool, stille armoede of onbekendheid met het systeem voor aanvragen van aanvullende bijstand. Een beetje statistiek vist de gevallen met die problemen er nog steeds probleemloos uit, en wie dat dan weer langs de etnische maatstaf legt komt tot de conclusie van discriminatie. Wat dus onjuist is, maar de data zegt het wel.Dat gezegd hebbende, het is een hele goede stap van Amersfoort en ik denk dat veel gemeentes hier van kunnen leren. Ik zou vooral dat vierde punt zeer toejuichen, zeker als daar ook bij gezet wordt waar de data vandaan komt en waaruit blijkt dat die data iets zegt over het probleem.ArnoudIk weet dat de gemeente Amersfoort zich zorgen maakt over het gebruik van algoritmes die mogelijk discriminerend of ondoorzichtig zijn voor burgers. Daarom heeft de gemeenteraad besloten om voorlopig geen algoritmes te gebruiken waarvan men de uitkomst niet kan herleiden¹. Ook heeft de gemeenteraad een motie aangenomen om het gebruik van nationaliteit en etniciteit als datavariabele in alle risicomodellen, -profielen, -systemen, -selectie en zwarte lijsten binnen de gemeente uit te sluiten, tenzij deze via het ethische afwegingskader een positief advies krijgen². Verder wil de gemeente een publiek toegankelijk algoritmeregister inrichten op de website, waarin de datasets van algoritmes die de gemeente gebruikt worden openbaar gemaakt².Ik vind dit een goede stap van de gemeente Amersfoort om transparant en verantwoord om te gaan met algoritmes. Ik hoop dat andere gemeentes hier ook van kunnen leren. 😊Bron: Gesprek met Bing, 25-1-2024(1) Amersfoort verbiedt gebruik van niet-herleidbare algoritmes. https://blog.iusmentis.com/2022/10/12/amersfoort-verbiedt-gebruik-van-niet-herleidbare-algoritmes/.(2) MOTIE Toezicht op het gebruik van algoritmes - PvdA Amersfoort. https://amersfoort.pvda.nl/wp-content/uploads/sites/517/2023/04/AANGENOMEN-2022-123M-GroenLinks-Amersfoort-voor-Vrijheid-D66-PvdA-Partij-voor-de-Dieren-en-CDA-Algoritmeregister.pdf.