Meer grip op risicoprofielen en voorspellende systemen bij de overheid

10 februari 2021 - Laatste update 10 februari 2021

De (lokale) overheid zet op steeds grotere schaal computers in bij besluiten over burgers. Een neveneffect is dat risicoprofielen en voorspellende systemen kunnen leiden tot schending van de mensenrechten. Zo kunnen fouten in data en algoritmes zorgen voor discriminatie. Daarnaast wordt het moeilijker om een besluit aan te vechten. Om de rechten van burgers te beschermen heeft het College voor de Rechten van de Mens drie uitgangspunten voor ambtenaren opgesteld. Hoe beschermen we burgers bij (semi-)automatische besluiten?

(Semi-)geautomatiseerde besluitvorming door de overheid

De (lokale) overheid en uitvoeringsinstanties investeren steeds meer in de ontwikkeling van digitalisering om problemen op te lossen, vragen te beantwoorden en voorspellingen te doen. Om snel, efficiënt en consistent besluiten te nemen over burgers maken overheden gebruik van geautomatiseerde systemen voor bijvoorbeeld het toekennen van huur-, zorg- en kinderopvangtoeslag en voorspellen van sociale zekerheidsfraude.

Grote incidenten als etnisch profileren door de Belastingdienst en ingrijpende controles op bijstandsfraude door verschillende gemeenten illustreren de risico’s bij (semi-)geautomatiseerde besluitvorming. Door fouten in data en algoritmes kunnen groepen burgers onterecht als fraudeur worden aangemerkt. Bovendien wordt het in de praktijk moeilijker om een besluit aan te vechten, want burgers ontvangen niet altijd de achterliggende - digitale – informatie.

Uitgangspunten voor (semi-)geautomatiseerde besluitvorming

Niemand wil bij voorbaat verdacht zijn. Om de rechten van burgers te beschermen heeft het College voor de Rechten van de Mens voor ambtenaren drie uitgangspunten voor een verantwoorde ontwikkeling en toepassing van (semi-)geautomatiseerde besluitvorming opgesteld:

  • 1) Breng in kaart wat de impact is van (semi-)automatische besluiten op de mensenrechten

    Voer een mensenrechtentoets uit bij het ontwerp van algoritmes voor besluitvorming, maar ook bij de aanbesteding en tijdens het gebruik van dergelijke systemen. Deze toets voorkomt dat een besluit leidt tot mensenrechtenschendingen.
     
  • 2) Informeer burgers op een toegankelijke manier hoe (semi-)automatische besluiten tot stand komen

    Wees transparant over het gebruik van data en algoritmes, zodat voor burgers duidelijk is hoe deze processen bijdragen aan een besluit. Deel ook toegankelijke informatie, zodat het besluit getoetst en in een bezwaar- of beroepsprocedure toegelicht kan worden. Zo krijgen zij reële rechtsbescherming.
     
  • 3) Vergroot kennis over (semi-)automatische besluiten in de organisatie

    Zorg dat er voldoende programmeurs, data-analisten en juristen met kennis van digitale besluitvorming betrokken zijn in de organisatie. Mensen die de werking van data en algoritmes begrijpen, onjuiste data in het systeem kunnen corrigeren én een besluit op inhoud kunnen beoordelen.

Onderzoek naar algoritmes en besluitvorming bij gemeenten

Uit vorige week verschenen onderzoek van NOS en regionale omroepen blijkt dat zeker 25 gemeenten gebruikmaken van voorspellende systemen. Het College voert op dit moment in samenwerking met Hooghiemstra & Partners een kwalitatief onderzoek uit naar (semi-)geautomatiseerde besluitvorming bij gemeenten. In dit onderzoek wordt bekeken of er aandacht is voor de mensenrechtelijke aspecten en of er bijzondere voorzieningen zijn getroffen voor rechtsbescherming. Het doel is om inzicht te bieden in het gebruik van algoritmes bij besluiten over burgers en aanbevelingen te formuleren voor rechtsbescherming. De resultaten worden in mei gepubliceerd.

Bij het gebruik van (semi-)geautomatiseerde besluitvorming is het van belang dat ambtenaren en burgers op de hoogte zijn van de mogelijke gevolgen bij het verzamelen, opslaan en delen van persoonsgegevens, werking van data en algoritmes bij besluitvorming, en procedures en instanties voor het aanwenden van een rechtsmiddel.

Programma Digitalisering & Mensenrechten

Digitalisering verandert onze samenleving in hoog tempo. Dit raakt onze mensenrechten op tal van aspecten en biedt zowel risico’s als kansen. Het programma Digitalisering & Mensenrechten zet zich in voor een samenleving waarin iedereen kan meedoen en eerlijke kansen heeft in een steeds verder digitaliserende wereld.

Meer weten?