Algoritmes kunnen kans op discriminatie bij sollicitaties vergroten, maar ook verkleinen

Het College voor de Rechten van de Mens heeft onderzoek gedaan naar de inzet van algoritmes bij werving en selectie. Aan de hand van voorbeelden leggen we uit hoe het zit met discriminatie en algoritmes. We brengen de oorzaken, risico’s, maar ook de potentie van algoritmes om discriminatie te voorkomen in kaart.

Toename gebruik algoritmes

‘Helaas heeft u niet de vereiste minimum score behaald, dit betekent dat we de procedure niet zullen vervolgen. Hartelijk bedankt voor uw sollicitatie en enthousiasme voor deze vacature.’

Misschien heb je een bericht als dit ook al eens ontvangen na een sollicitatie: een afwijzing door een algoritme. Je bent niet de enige, steeds vaker krijgen sollicitanten te maken met geautomatiseerde selectieprocedures waarbij HR-professionals gebruik maken van algoritmes. Algoritmes kunnen helaas discrimineren. Dit soort discriminatie is vaak niet goed zichtbaar en zit verstopt achter computercode.

Algoritmes

Algoritmes zijn een reeks instructies die de computer automatisch kan uitvoeren. Overal om ons heen zijn algoritmes te vinden. Op Netflix of YouTube bepalen algoritmes op basis van jouw kijkgedrag welke filmpjes bij jou passen en op datingsites krijgen potentiële partners een score op basis van jouw voorkeuren. Als je solliciteert, werkt dit ongeveer net zo; op basis van jouw kenmerken bepalen algoritmes of je past bij een bedrijf.

Discriminatie door vuile data

Helaas gaat het niet altijd goed met de inzet van een algoritme. Een voorbeeld: het bedrijf Amazon in Amerika gebruikte een selectiealgoritme. Het algoritme selecteerde nieuw personeel gebaseerd op de eigenschappen van werknemers bij Amazon van de afgelopen tien jaar. In technische functies waren dit echter met name mannen, waardoor het algoritme vrouwen voor dit soort functies als ongeschikt beoordeelde. In dit voorbeeld leidt de inzet van het algoritme tot discriminatie omdat het getraind is met ‘vuile data’: de gegevens waarmee het getraind is weerspiegelen een vooroordeel.

Andere risico’s

Algoritmes zijn vaak zeer complex en ondoorzichtig waardoor het moeilijk is discriminatie door een algoritme te achterhalen. Daarnaast hebben mensen de neiging om alles wat een computer berekent voor waar aan te nemen, terwijl dat dus niet hoeft te kloppen. Deze fenomenen kunnen er voor zorgen dat discriminatie door algoritmes niet opgemerkt wordt.

Discriminatie voorkomen met algoritmes

Ondanks de risico’s is het ook mogelijk om juist mét algoritmes te zorgen dat mensen een eerlijke kans maken op een baan en dus gelijke behandeling te vergroten. Ook zonder algoritmes wordt er namelijk gediscrimineerd en algoritmes hebben de potentie om vrij van vooroordelen over bijvoorbeeld ras of geslacht besluiten te nemen. Maar voorzichtigheid blijft belangrijk. Algoritmes kunnen zelfs onbewust tot discriminatie leiden en de techniek om dit te corrigeren staat nog in de kinderschoenen.

Wees alert op de risico’s van algoritmes

In het onderzoek geven we verschillende adviezen. Zo helpen we politici en ambtenaren bijvoorbeeld om betere voorlichting te geven aan werkgevers, HR-professionals en algoritmeontwerpers. We raden algoritmeontwerpers aan hun software regelmatig te controleren op discriminerende elementen. Werkgevers raden we aan om te zorgen dat ze uit kunnen leggen welke algoritmes ze inzetten en hoe die werken. Op die manier kunnen werkzoekenden ook vragen waarom ze niet in aanmerking komen voor een baan.

Het programma Digitalisering en Mensenrechten

Het College heeft dit onderzoek gedaan in het kader van het strategische programma Digitalisering en Mensenrechten. Door digitalisering kunnen mensenrechten in de knel komen. Hierbij gaat het niet alleen om privacy en databescherming, maar ook om andere mensenrechten zoals het recht op gelijke behandeling. Het College draagt eraan bij dat digitalisering zich voortzet zonder dat mensen buiten de boot vallen, zodat Nederland een samenleving is waaraan iedereen kan meedoen.