Gemeenten worstelen met mensenrechten bij inzet algoritmen

Het College vroeg Hooghiemstra & Partners te verkennen of gemeenteambtenaren rekening houden met mensenrechten bij het gebruik van algoritmen en hoe ze zorgen dat inwoners hun recht kunnen halen als de gemeente over hen een beslissing heeft genomen met behulp van een algoritme. Het onderzoeksbureau deed hiervoor een literatuurstudie en interviewde verschillende gemeentefunctionarissen van twaalf gemeenten verspreid over Nederland.

Lokale autonomie onder druk

De Rijksoverheid besteedt veel taken uit aan gemeenten. Zij staan dicht bij de burger en kunnen lokale accenten leggen. Zij hebben lokale autonomie. Zij mogen beslissen over bijvoorbeeld de aanleg van fietspaden, bouw van een stadion, het verlenen van een uitkering, het aanbieden van jeugdzorg of het preventief fouilleren op een bepaalde locatie. Veel beslissingen die gemeenten nemen hebben behoorlijke impact op de inwoners. 

Het uitgangspunt is dat gemeenten beslissingen nemen op een democratische manier en dan ook aandacht besteden aan mensenrechten. Als het gaat om de inzet van algoritmen is dit volgens de onderzoekers geen dagelijkse realiteit. Dat heeft onder andere te maken met de organisatie binnen en tussen gemeenten en het gebruik van software die is gemaakt door commerciële partijen. 

Organisatorische obstakels belemmeren goede samenwerking

De onderzoekers zagen twee organisatorische scheidslijnen binnen gemeenten die kunnen leiden tot geïsoleerd denken: één tussen beleid en uitvoering en één tussen datagedreven werk en informatievoorziening (‘traditionele IT’, de mensen die zorgen dat de computers werken). 

Daarnaast zijn er zoveel samenwerkingsverbanden dat niet altijd helder is welk orgaan verantwoordelijk is. Deze ‘bestuurlijke spaghetti’ maakt heldere besluiten over de inzet van technologie en het afleggen van verantwoording daarover, extra moeilijk. De onderzoekers zien een meer netwerkachtige manier van werken als een oplossing om ervoor te zorgen dat de mensenrechten in de praktijk ook worden nageleefd. 

Softwareontwikkelaars interpreteren wet- en regelgeving

Veel gemeenten gebruiken dezelfde softwarepakketten. Veel van deze systemen, hun werking, hoe de tekst van de wet is geïnterpreteerd of hoe een fraudemodel werkt, worden niet ontworpen of voorgeschreven door gemeenten maar ontwikkeld vanuit bedrijven en ingekocht door gemeenten. Dit kan op gespannen voet staan met de lokale autonomie. Ook ligt er daardoor veel macht bij softwareontwikkelaars: zij zetten wetten om in code. 

Aandacht voor mensenrechten

Bij gemeenten is er veel aandacht en zijn er procedures ingericht voor de bescherming van persoonsgegevens, maar voor het toetsen van de impact op mensenrechten is dat nog niet het geval. Gemeenteambtenaren zijn zich meer bewust dan voorheen van de risico’s die het gebruik van algoritmen met zich mee kan brengen. Door de toeslagenaffaire hebben zij meer oog voor risico’s op discriminatie en bias in data.

Sommige gemeenten gebruiken instrumenten om mensenrechten mee te nemen bij de aanschaf van algoritmen. Andere gemeenten doen dat niet, maar stellen wel vragen als: willen, mogen en kunnen we dit? En kunnen we dit uitleggen aan onze inwoners? Gemeenten zouden het fijn vinden als er praktische handvatten komen om te gebruiken bij de aanschaf van algoritmen. 

Geen extra maatregelen om je recht te halen

Gemeenten hebben geen extra maatregelen getroffen voor het geval dat een inwoner het niet eens zou zijn met een beslissing die gebaseerd is op een algoritme. Gemeenten wijzen standaard naar bezwaar- en beroepsmogelijkheden, lokale ombudsmannen en de mogelijkheid voor burgers om inzicht te krijgen in eigen persoonsgegevens. 

Blinde vlek voor algoritmen die als gewoon worden gezien

Toen de onderzoekers zochten naar gemeenten die geschikt zouden zijn voor het onderzoek, viel het hen op dat sommige gemeenten aangaven geen algoritmen te gebruiken. Ambtenaren denken dan dat algoritmen altijd lerende algoritmen zijn en vergeten dat er ook minder complexe als-dan algoritmen in de softwarepakketten zitten die zij gebruiken. 

Ook viel op dat gemeenteambtenaren sommige besluitvormingsprocessen niet noemden als processen waarbij algoritmen worden ingezet, terwijl voor die processen zeer waarschijnlijk algoritmen worden gebruikt. Zo noemden ze niet de regeling rond de kwijtschelding van gemeentelijke belastingen, de berekening van de uitkering op basis van de Participatiewet en online monitoring. 

Werk samen als gemeenten

Een manier om te bereiken dat mensenrechten worden beschermd bij de inzet van algoritmen door gemeenten is om samen te werken met andere gemeenten bij de inkoop van software. Zo kunnen ze samen een vuist maken en meer eisen stellen. Eén van de eisen zou moeten zijn dat de regels van het algoritme openbaar worden.

De onderzoekers sporen gemeenteambtenaren aan om de tafel te gaan zitten met softwareontwikkelaars en samen te kijken hoe ze mensenrechten zeker kunnen stellen als ze nieuwe algoritmen ontwerpen. 

Wat gaat het College doen?

Het College staat klaar om met zowel gemeenteambtenaren als met softwareontwikkelaars in gesprek te gaan. Doel is beide groepen zoveel mogelijk te ondersteunen, zodat mensenrechten steeds beter beschermd zijn bij de inzet van algoritmen.