Interview: ‘Je moet algoritmes nooit zelfstandig besluiten laten nemen, ambtenaren moeten altijd meekijken’
Verdieping
Najaar 2020 had Amsterdam de primeur. Als eerste stad in Nederland zei het alle algoritmes die de gemeente gebruikt te zullen registreren. Een jaar later zijn er zes van de pakweg 100 in kaart gebracht. Teleurstellend? Projectmanager Linda van de Fliert vindt van niet. ‘Dit is een heel arbeidsintensieve klus.’
Het lijkt zo simpel. Als er met behulp van algoritmes besluiten worden genomen die gevolgen hebben voor burgers, dan zijn democratische overheden daar transparant over. En toch hadden Amsterdam en Helsinki pas in september 2020 de primeur. Als allereerste ter wereld zeiden zij een register aan te leggen met alle algoritmes die ze gebruiken. Geen enkele andere lokale of landelijke overheid was hen daarin voorgegaan. En dat terwijl het gebruik van algoritmes toch al een tijdje gaande is.
Zo’n register leg je dan ook niet zomaar even aan, vertelt Linda van de Fliert, projectmanager public tech bij de gemeente Amsterdam. Ruim een jaar na de lancering staat de teller van het Amsterdamse register op ‘slechts’ zes geregistreerde algoritmes.
Balans vinden tussen genoeg en te veel informatie
‘Zo op het oog niet heel veel inderdaad’, erkent Van de Fliert glimlachend. ‘Naar schatting gebruikt de gemeente zo’n 100 algoritmes. Er is dus nog een hoop werk te doen.’ En toch is ze zeker niet teleurgesteld over het resultaat tot nu toe. ‘Onze werkwijze is heel arbeidsintensief’, legt ze uit. ‘Het is niet een kwestie van even een lijstje maken met alle algoritmes. Dat zou een onbegrijpelijke waslijst opleveren waar vrijwel niemand iets van begrijpt. Om echt transparant te zijn willen we de algoritmes die de gemeente gebruikt goed toelichten. Een breed publiek moet kunnen begrijpen wat er staat zonder omver te worden geblazen met allerlei technische termen.’
"Dat het een enorme klus is om alle algoritmes in kaart te brengen, mag geen belemmering zijn. Overheden moeten nu eenmaal transparant zijn."
Daarom heeft Van de Fliert met haar team allereerst vastgesteld welke informatie wel en niet opgenomen zou moeten worden in het register. ‘Eigenlijk is een algoritme niets meer dan de automatisering van bepaald beleid’, legt ze uit. Als voorbeeld noemt ze een van de al geregistreerde algoritmes. ‘Vroeger controleerden menselijke parkeerwachters of voor de geparkeerde auto’s in de stad was betaald, nu doen scanauto’s dat. Daar komt dan een algoritme bij kijken. Die bekijkt of er voor het gescande kenteken voldoende parkeergeld is betaald of dat de eigenaar een vergunning heeft. Zo niet, dan controleert een parkeermedewerker eerst of er geen fout gemaakt is en dan krijgt de afdeling Belastingen een melding en die verstuurt dan een boete.’
Burger kan bezwaar beter onderbouwen
Niet heel ingewikkeld, zegt Van de Fliert. En toch is het volgens haar goed dat burgers weten dat hun boete met hulp van een algoritme is opgelegd. ‘Als je meent dat die bekeuring niet terecht is (misschien omdat het nummerbord verkeerd is gescand en er een andere auto stond dan de jouwe) dan kun je bezwaar maken. Je kunt zo’n bezwaar beter onderbouwen als je weet hoe het algoritme werkt.’
En maken burgers er nu al gebruik van? ‘Ja’, zegt Van de Fliert. ‘Al weet ze niet hoeveel mensen het register hebben bezocht: de website plaatst geen cookies. Wel weet ze dat ten minste een burger een gefundeerder bezwaar heeft kunnen maken tegen een bepaald besluit van de gemeente, omdat diegene het bezwaar kon onderbouwen met informatie uit het register. Glimlachend: ‘Verder kan ik daar natuurlijk niets over zeggen.’
"Het algoritmeregister dwingt ons nauwkeuriger na te denken op welke basis algoritmes wel of geen onderscheid mogen maken."
Naast het doel van ieder algoritme, vermeldt het register ook steeds welke data er worden gebruikt, hoe die data worden verwerkt, en hoe het menselijk toezicht op de algoritmes is geregeld. ‘Dat laatste is belangrijk’, zegt Van de Fliert. ‘Je moet algoritmes nooit helemaal zelfstandig een besluit laten nemen. Daarom bekijken ambtenaren ook altijd de gescande beelden van autokentekens waarvan de bestuurder geen parkeergeld zou hebben betaald. Misschien was er een speciale situatie zoals laden en lossen of misschien stond de auto wel stil voor een stoplicht. Dat kan allemaal. Bij twijfel bekijkt een parkeercontroleur de situatie ter plekke.’ Tot slot staat er ook in het register wat er bij ieder algoritme is gedaan om eventuele discriminatie tegen te gaan, en welke andere risico’s er zijn.’
De anderhalvemetermonitor
Wie dan door het register scrolt, zal opvallen dat het bij de huidige zes geregistreerde algoritmes wel meevalt qua risico’s en kans op discriminatie. Bij de scanauto’s is er sowieso geen sprake van discriminatie. ‘Die kijken alleen naar het nummerbord en het betaalde parkeergeld of vergunning’, zegt Van de Fliert. Bij het algoritme dat beoordeelt wat er gedaan moet worden met online ingediende meldingen van burgers, bijvoorbeeld over loszittende stoeptegels of overlast, is er volgens het register wel een kans op discriminatie. Door de woorden in de melding te scannen, maakt het algoritme steeds de inschatting voor welke gemeentelijke afdeling die bestemd is. Staan er woorden als ‘stoep’ en ‘vuilnis’ dan moet waarschijnlijk de gemeentelijke reinigingsdienst in actie komen. ‘Als je de Nederlandse taal niet goed machtig bent, zal het algoritme jouw melding misschien niet goed kunnen beoordelen’, legt Van de Fliert uit. ‘Dan duurt het misschien een halve dag langer voordat jouw melding wordt behandeld. Dat kan vervelend zijn, daarom melden we dat onder het kopje “discriminatie”.’
Eigenlijk was er nog een zevende algoritme opgenomen in het register: de zogenoemde ‘anderhalvemetermonitor’ die deze zomer werd bekritiseerd door de digitale burgerrechtenorganisatie Bits of Freedom. Dat was een camera die groepen mensen op straat filmde, wat direct op een groot scherm terug te zien was. Over de hoofden van alle gefilmde voorbijgangers waren smiley’s geplakt zodat niemand herkend kon worden. Wie voldoende afstand hield kreeg een groene smiley, wie te dicht op een ander stond een rode. ‘De anderhalvemetermonitor was een soort digitale spiegel, bedoeld om voorbijgangers te attenderen als ze te dicht bij elkaar liepen’, licht Van de Fliert toe. ‘De camerabeelden werden niet opgeslagen, en konden dus ook niet gebruikt worden om boetes uit te delen.’
In het register stond dat er kans was op discriminatie. En dat was precies het punt waar Bits of Freedom op reageerde. De gemeente kon niet helemaal uitsluiten dat als je een bepaalde huidskleur, leeftijd, lengte of kledingstijl had de monitor jou misschien niet zou herkennen als persoon, zo stond in het register beschreven. Desondanks maakte de gemeente er gebruik van. Opmerkelijk, vond Bits of Freedom. ‘Het illustreert meteen waarom alleen een algoritmeregister niet voldoende is om te zorgen voor veilig gebruik van algoritmes en kunstmatige intelligentie’, schreef de organisatie op haar website. ‘Het benoemen van de risico’s zonder daar maatregelen tegen te treffen, zorgt er vooral voor dat risico’s genormaliseerd en geaccepteerd worden.’
Bepalen welke foutmarge acceptabel is
‘De gemeente heeft ook nooit gepretendeerd dat het register discriminatie in algoritmes voorkomt’, reageert Van de Fliert op de kritiek. ‘Laat ik eerst even uitleggen hoe zo’n algoritme werkt. Een algoritme kan een mens pas van iets anders onderscheiden als het heel veel afbeeldingen heeft gezien van veel verschillende personen. Pas dan zal het algoritme kunnen zien waarin mensen zich onderscheiden van bijvoorbeeld dieren of objecten. Amsterdam gebruikte hiervoor een bestaande en wereldwijd veelgebruikte fotoserie van een representatieve groep mensen. Nadat het algoritme die foto’s had bekeken, hebben we de monitor flink getest. Wat bleek: iedereen die in beeld kwam werd gewoon herkend als mens. Tegelijkertijd moet je ook realistisch zijn en toegeven dat je het nooit met de volle honderd procent zekerheid kan zeggen dat het goed zal gaan. Dat kun je eigenlijk nooit helemaal bij algoritmes. Er is altijd een foutmarge. Het is belangrijk dat je een bewust besluit maakt over welke foutmarge acceptabel is.’
Had Amsterdam die monitor dan wel moeten gebruiken? Stel je voor dat een door de gemeente ingezette monitor iemand niet als mens zou herkennen vanwege diens huidskleur…
‘Dat zou pijnlijk zijn geweest. Maar de kans daarop was extreem klein, de foutmarge was miniem. Als dat niet zo was, hadden we het algoritme niet ingezet. Toch vinden we het belangrijk om in het register alle risico’s, hoe klein ook, te benoemen.’
Hebben jullie het afgelopen jaar algoritmes ontdekt die discrimineerden en daarom nu niet meer worden gebruikt?
‘Nee dat is niet gebeurd. En ik verwacht ook niet dat we die tegen gaan komen. Er zijn allerlei waarborgen, zoals de privacywetgeving of de beginselen voor behoorlijk bestuur. Die laatste verplichten ons bijvoorbeeld dat we alle feiten en belangen zorgvuldig moeten afwegen voordat we als gemeente een besluit over iets of iemand nemen en ook dat we dat besluit goed moeten kunnen uitleggen. Het maakt daarvoor niet uit of er een algoritme heeft geholpen bij dat besluit: het moet gewoon. Bovendien zijn allerlei toezichthouders zoals een informatiecommissaris, een functionaris gegevensbescherming en auditdiensten, die toezien op het gebruik van algoritmen, het openbaar maken van informatie en het verwerken van gegevens.’
Een jaar of vijf geleden hadden we dat beeld ook van de Belastingdienst. Het toeslagenschandaal, waarbij algoritmes een rol speelden, was destijds voor velen ondenkbaar.
‘Dat is waar. Net als vele anderen schrok ik daar enorm van. Vooral dat er niets was gedaan met de interne waarschuwingen van belastingambtenaren, vond ik bizar. Een groot verschil met Amsterdam is echter dat de Belastingdienst van politiek Den Haag de opdracht had gekregen om fraudeurs hard aan te pakken. Amsterdam heeft daarentegen een College dat digitale rechten wil waarborgen en dat burgers zo onbespied mogelijk door het leven wil laten gaan.’
Dat wil overigens niet zeggen dat Van de Fliert meent dat alles goed gaat bij de door Amsterdam gebruikte algoritmes. ‘Het kan soms voorkomen dat niet alle afwegingen bij een algoritme goed zijn vastgelegd. Dat is een van de voordelen van het register: het dwingt ons nog preciezer na te denken op welke basis onze algoritmes onderscheid maken. En we maken veel bewuster de afweging over welke informatie we wel of niet transparant kunnen zijn. Kijk, we hadden er ook voor kunnen kiezen om bij de anderhalvemetermonitor niet te melden dat er een kans was op discriminatie. Die kans was immers verwaarloosbaar klein. Maar zo willen we niet te werk gaan. Het register is er juist om zo transparant mogelijk te zijn. En dus moeten we ook deze risico’s vermelden. Al hadden we in het register achteraf misschien duidelijker kunnen maken hoe klein die kans op discriminatie was.’
Zijn er zaken waar jullie desondanks toch niet transparant over zijn?
‘Bij het opsporen van criminaliteit kun je niet alles openbaar maken. Als je precies vertelt hoe die algoritmes werken, zouden criminelen daar misbruik van kunnen maken. Je moet per geval afwegen of er een zwaarwegende reden is om informatie niet openbaar te maken. Tegelijkertijd kun je als gemeente daar dan weer wel transparant over zijn. Uiteindelijk gaat het erom dat burgers zoveel mogelijk kunnen weten en dat de gemeenteraad er steeds een democratisch besluit over kan nemen.’
Er is inmiddels een mensenrechtentoets ontwikkeld voor algoritmes. Zou ieder overheidsalgoritme die moeten ondergaan?
‘Algoritmes met een grote impact op mensenlevens, zoals opsporingsalgoritmes, zeker. Maar ik geloof niet dat ieder algoritme getest hoeft te worden. De gemeente gebruikt bijvoorbeeld ook een algoritme dat meet hoe hoog het gras in perkjes is, zodat er op tijd wordt gemaaid. Dat hoef je – mits het bij gras meten blijft – echt niet te testen, al zullen we het wel opnemen in het register.’
En moet de overheid een aparte algoritmetoezichthouder krijgen, zoals nu in het regeerakkoord is aangekondigd?
‘Het belangrijkst is dat zo’n toezichthouder zijn werk goed kan doen; of het nou om een aparte toezichthouder gaat of een al bestaande. Daarvoor is vooral nodig dat wij goed documenteren waarom we een algoritme inzetten bij een bepaald probleem, welke foutmarges we acceptabel vinden en welke andere keuzes er zijn gemaakt, zodat daar achteraf op gecontroleerd kan worden. En het is belangrijk dat er voldoende kennis bij de toezichthouders is. Daarom ben ik heel blij dat een toezichthouder als de Algemene Rekenkamer een toetsingskader heeft gemaakt voor algoritmen; daar kunnen de Amsterdamse toezichthouders gebruik van maken.
En zouden andere overheden jullie moeten volgen met het aanleggen van zo’n register? In de Tweede Kamer heeft Volt een motie ingediend dat alle overheidsalgoritmes verplicht geregistreerd moeten worden.
‘Dat lijkt me een heel goed idee. Met andere overheden werken we nu aan een landelijke standaard voor het registreren van algoritmen, zodat zij ook snel aan de slag kunnen. Het heeft namelijk geen enkele zin als alleen Amsterdam een register heeft. Dat het een enorme klus zal zijn om alle overheidsalgoritmes in kaart te brengen, mag geen belemmering zijn. Overheden moeten nu eenmaal transparant zijn. Mijn tip aan andere overheden? Begin gewoon met het in kaart brengen van alle algoritmes en maak gebruik van de standaard die je vindt op www.algoritmeregister.org.’
Tot slot: hoelang duurt het nog voordat alle Amsterdamse algoritmes geregistreerd staan?
‘Daar durf ik geen uitspraken over te doen. Vijf jaar? Ik durf het niet te zeggen. Tegelijkertijd zou ik nu niet weten waarom die termijn niet gehaald zou kunnen worden.’
Interview: Arend Hulshof
Fotografie: Arenda Oomen