Meer grip op risicoprofielen en voorspellende systemen bij de overheid

De (lokale) overheid en uitvoeringsinstanties investeren steeds meer in de ontwikkeling van digitalisering om problemen op te lossen, vragen te beantwoorden en voorspellingen te doen. Om snel, efficiënt en consistent besluiten te nemen over burgers maken overheden gebruik van geautomatiseerde systemen voor bijvoorbeeld het toekennen van huur-, zorg- en kinderopvangtoeslag en voorspellen van sociale zekerheidsfraude.

Grote incidenten als etnisch profileren door de Belastingdienst en ingrijpende controles op bijstandsfraude door verschillende gemeenten illustreren de risico’s bij (semi-)geautomatiseerde besluitvorming. Door fouten in data en algoritmes kunnen groepen burgers onterecht als fraudeur worden aangemerkt. Bovendien wordt het in de praktijk moeilijker om een besluit aan te vechten, want burgers ontvangen niet altijd de achterliggende - digitale – informatie.

Uitgangspunten voor (semi-)geautomatiseerde besluitvorming

Niemand wil bij voorbaat verdacht zijn. Om de rechten van burgers te beschermen heeft het College voor de Rechten van de Mens voor ambtenaren drie uitgangspunten voor een verantwoorde ontwikkeling en toepassing van (semi-)geautomatiseerde besluitvorming opgesteld:

1. Breng in kaart wat de impact is van (semi-)automatische besluiten op de mensenrechten
   Voer een mensenrechtentoets uit bij het ontwerp van algoritmes voor besluitvorming, maar ook bij de aanbesteding en tijdens het gebruik van dergelijke systemen. Deze toets voorkomt dat een besluit leidt tot mensenrechtenschendingen.
2. Informeer burgers op een toegankelijke manier hoe (semi-)automatische besluiten tot stand komen
   Wees transparant over het gebruik van data en algoritmes, zodat voor burgers duidelijk is hoe deze processen bijdragen aan een besluit. Maak ook op een toegankelijke manier duidelijk op welke informatie dit besluit gebaseerd is en hoe deze informatie verkregen is. Alleen zo wordt goed controleerbaar gemaakt of het besluit terecht genomen is. Dit draagt bij aan reële rechtsbescherming van burgers.
3. Vergroot kennis over (semi-)automatische besluiten in de organisatie
   Zorg dat er voldoende programmeurs, data-analisten en juristen met kennis van digitale besluitvorming betrokken zijn in de organisatie. Mensen die de werking van data en algoritmes begrijpen, onjuiste data in het systeem kunnen corrigeren én een besluit op inhoud kunnen beoordelen.

Onderzoek naar algoritmes en besluitvorming bij gemeenten

Uit vorige week verschenen onderzoek van NOS en regionale omroepen blijkt dat zeker 25 gemeenten gebruikmaken van voorspellende systemen. Het College voert op dit moment in samenwerking met Hooghiemstra & Partners een kwalitatief onderzoek uit naar (semi-)geautomatiseerde besluitvorming bij gemeenten. In dit onderzoek wordt bekeken of er aandacht is voor de mensenrechtelijke aspecten en of er bijzondere voorzieningen zijn getroffen voor rechtsbescherming. Het doel is om inzicht te bieden in het gebruik van algoritmes bij besluiten over burgers en aanbevelingen te formuleren voor rechtsbescherming. De resultaten worden in mei gepubliceerd.

Bij het gebruik van (semi-)geautomatiseerde besluitvorming is het van belang dat ambtenaren en burgers op de hoogte zijn van de mogelijke gevolgen bij het verzamelen, opslaan en delen van persoonsgegevens, werking van data en algoritmes bij besluitvorming, en procedures en instanties voor het aanwenden van een rechtsmiddel.

Programma Digitalisering & Mensenrechten

Digitalisering verandert onze samenleving in hoog tempo. Dit raakt onze mensenrechten op tal van aspecten en biedt zowel risico’s als kansen. Het programma Digitalisering & Mensenrechten zet zich in voor een samenleving waarin iedereen kan meedoen en eerlijke kansen heeft in een steeds verder digitaliserende wereld.