Nieuwe instrumenten voor mensenrechten in digitaal bestuur

Voorkom discriminatie bij kunstmatige intelligentie

Het is inmiddels bekend dat het gebruik van kunstmatige intelligentiesystemen (KI-systemen) kan leiden tot discriminatie. Zo blijkt uit onderzoek van het College dat systemen die automatisch CVs beoordelen van werkzoekenden soms net zulke discriminerende vooroordelen hebben als mensen. Een ander voorbeeld is discriminatie door een systeem dat persoonsgegevens gebruikt om risico’s op fraude te signaleren, zoals de Belastingdienst heeft toegepast bij het opsporen van fraude met kinderopvangtoeslag. 

Vaak is discriminatie door KI-systemen achteraf lastig aan te tonen. Hoe weet je als burger waar de beslissing van een overheidsorgaan op gebaseerd is? En hoe ga je in bezwaar, als het algoritme waarop het besluit is gebaseerd, niet openbaar is? 

Het College vindt het daarom belangrijk dat organisaties transparantie bij de inzet van KI-systemen verbeteren, zodat discriminatie aangepakt kan worden. Minstens net zo belangrijk is dat ontwerpers en afnemers van KI-systemen het voorkomen van discriminatie als uitgangspunt meenemen in het ontwerp van KI-systemen. Hier kunnen ontwerpers en afnemers de Handreiking AI-systeemprincipes voor non-discriminatie (Non-Discrimination by Design)* voor gebruiken. 

Non-discrimination by design - waar moet ik aan denken?

De handreiking biedt handvaten aan ontwerpers en afnemers die hun KI-systemen discriminatievrij willen maken. De handreiking vraagt ontwerpers om goed te kijken naar de aannames die zij gebruiken om het systeem te bouwen. Zo moeten ze weten hoe kenmerken als woonwijk en inkomen samen op een nadelige manier kunnen uitwerken voor burgers met een specifieke achtergrond. 

Een ander voorbeeld is een systeem van een verzekeraar die zoveel mogelijk risico’s wil beperken bij het afsluiten van een arbeidsongeschiktheidsverzekering. Het systeem kan geprogrammeerd worden om automatisch een voordeligere premie toe te kennen aan mensen die minimaal vijf jaar onafgebroken werken. Deze aanname pakt echter slechter uit voor vrouwen dan mannen, omdat vrouwen vaker tijdelijk stoppen met werken of tijdelijk minder werken als zij kinderen krijgen. 

Ook geeft de handreiking een aantal algemene uitgangspunten. Zo wordt aangeraden om teams die aan KI-projecten werken divers samen te stellen. Ook is het verstandig zowel gebruikers als de groep waarover het systeem uitspraken doet te betrekken. Een team van medewerkers met verschillende achtergronden ziet sneller of een aanname in het systeem mogelijk tot uitsluiting leidt.

Het kabinet heeft de handreiking samen met de Code Goed Digitaal Openbaar Bestuur en de Code Kinderrechten Online aangeboden aan de Tweede Kamer.

Impact Assessment Mensenrechten & Algoritmen

Het kabinet heeft ook de komst van een ander instrument aangekondigd in de brief: de Impact Assessment bij de inzet van Mensenrechten en Algoritmen (IAMA). Ook hierbij heeft het College geadviseerd. Dit instrument kan een organisatie gebruiken om in de gehele levenscyclus van algoritmen risico’s en kansen met betrekking tot mensenrechten in kaart te brengen. Het kabinet verwacht dat dit instrument eind juni klaar is.

Wat doet het College?

Het programma Digitalisering en Mensenrechten zet zich in voor een samenleving waarin iedereen mee kan blijven doen en mee blijft tellen in een steeds verder digitaliserende wereld. Het College streeft ernaar dat organisaties alleen nog digitale middelen inzetten als die in overeenstemming zijn met alle mensenrechten.  Zo heeft het College voor ambtenaren drie uitgangspunten voor (semi-) geautomatiseerde besluitvorming geformuleerd. Ook zal het College begin volgende maand een onderzoek naar het gebruik van (semi-)geautomatiseerde besluiten bij gemeenten publiceren.