Dating-app Breeze mag (en moet) algoritme aanpassen om discriminatie te voorkomen
De Nederlandse dating-app Breeze vroeg aan het College voor de Rechten van de Mens of ze hun algoritme mogen aanpassen, zodat mensen met een donkere huidskleur en van niet-Nederlandse afkomst net zo vaak worden voorgesteld aan andere gebruikers als mensen met een lichte huidskleur en van Nederlandse afkomst. Of zou dat voorkeursbeleid zijn? Dat is het niet, oordeelt het College. En de aanpassing mag niet alleen, die moet ook.
Zelflerende dating-app
Breeze Social B.V. is eigenaar van een dating-app. De dating-app stelt iedere dag gebruikers aan elkaar voor. Als gebruikers elkaar ‘liken’, hebben zij een match. Anders dan bij andere datingsites biedt Breeze geen chatfunctie, maar gaan gebruikers direct met elkaar op date.
Breeze gebruikt een algoritme om te bepalen welke gebruikers aan elkaar worden voorgesteld. Dat algoritme berekent voor alle gebruikers een ‘matchingskans’: dit is de kans dat een gebruiker gematcht wordt met een andere gebruiker, dat die twee mensen elkaar in potentie dus leuk vinden. Op basis van de matchingskans worden gebruikers automatisch aan elkaar voorgesteld. Daar is geen menselijke tussenkomt bij.
Het algoritme is zelflerend. Breeze weet in grote lijnen hoe het algoritme werkt, maar kent de details niet. De ondernemers weten wel wat erin gaat: alle informatie die de gebruikers zelf op hun profiel invullen en het ‘like’-gedrag van alle gebruikers. Dat samen vormt de input voor het algoritme.
Hoe het like-gedrag exact de berekening van de matchingskans door het algoritme beïnvloedt, weet Breeze niet precies. Zij vermoedt wel dat het algoritme de voorkeuren of het like-gedrag van de gebruikers versterkt bij het berekenen van de matchingskans.
Klachten over diversiteit
Sommige gebruikers van de app geven aan dat de kandidaten niet divers zijn. Breeze heeft de indruk dat mensen met een donkere huidskleur of een niet-Nederlandse afkomst stoppen met de app, omdat ze weinig matches hebben. Hierdoor ontstaat bij Breeze het vermoeden dat haar algoritme voor gebruikers met een donkere huidskleur of niet-Nederlandse afkomst gemiddeld een lagere matchingskans berekent. Daardoor worden deze gebruikers minder vaak voorgesteld aan andere gebruikers. Zij krijgen zo minder matches.
De ondernemers weten op basis van wetenschappelijke artikelen dat mensen bij het zoeken naar een partner of date een voorkeur hebben voor personen met een vergelijkbare etnische achtergrond. Breeze veronderstelt dat haar algoritme deze voorkeuren voor etnische achtergrond van haar gebruikers niet alleen overneemt, maar zelfs versterkt. Hoewel Breeze juist streeft naar diversiteit van de gebruikers, blijft hierdoor het gebruikersbestand homogeen, met vooral gebruikers met een lichte huidskleur en Nederlandse afkomst.
Bij vermoedens dat je algoritme discrimineert, ben je verplicht in actie te komen
Het College oordeelt dat het algoritme vermoedelijk discrimineert, omdat het algoritme mensen met een donkere huidskleur of van niet-Nederlandse afkomst minder vaak voorstelt. Het hebben van persoonlijke voorkeuren voor mensen met een bepaalde etnische afkomst met wie je op date wilt, hoeft op zichzelf uiteraard geen discriminatie te zijn. Maar zelfs als je rekening houdt met het feit dat mensen een voorkeur hebben voor mensen met eenzelfde etniciteit, dan nog zou de matchingscore van mensen met een donkere huidskleur of van niet-Nederlandse afkomst vermoedelijk hoger moeten zijn dan die nu is. Zo is alsnog sprake van indirect onderscheid.
Niet alleen mag Breeze het algoritme aanpassen, de ondernemers móeten dat ook doen aangezien discriminatie verboden is. Ook als een algoritme dit veroorzaakt en niet precies duidelijk is hoe dit algoritme werkt. Breeze is verantwoordelijk voor het ingezette algoritme en daarmee ook voor de discriminerende effecten ervan.
Geen voorkeursbeleid, maar compensatie voor ongelijke behandeling
Breeze vroeg het College of maatregelen om de matchingskans voor bepaalde gebruikers vanwege hun afkomst of huidskleur te verhogen, voorkeursbeleid zou zijn en of dit mag. Bij voorkeursbeleid kan iemand met bijvoorbeeld een bepaalde etnische afkomst bij gelijke geschiktheid worden bevoordeeld ten opzichte van iemand zonder die afkomst. Deze wettelijke uitzondering is bedoeld om hardnekkige structurele achterstanden in de maatschappij te verminderen. Organisaties moeten zich dan wel aan speciale voorwaarden houden om een voorkeursbeleid te mogen voeren.
Maatregelen die Breeze moet treffen om het indirecte onderscheid te voorkomen, beschouwt het College niet als een vorm van voorkeursbeleid. De gebruikers zouden hierdoor namelijk geen bevoorrechte positie krijgen, maar zij zouden alleen voor een dreigende achterstelling worden gecompenseerd. Gebruikers met een donkere huidskleur of niet-Nederlandse afkomst zouden dan immers niet relatief vaker worden voorgesteld, maar “slechts” even vaak als de andere gebruikers.
Uitdaging bij het repareren van algoritmes
Hoe het algoritme zal worden aangepast, is het College niet bekend. De uitdaging hierbij voor Breeze is dat zij hierbij (zonder instemming van gebruikers) geen bijzondere persoonsgegevens kunnen verwerken over afkomst of huidskleur, volgens de Algemene Verordening Gegevensbescherming (AVG). Dit maakt het complex om ongelijkheden tussen groepen vast te stellen.
Breeze is niet het enige bedrijf dat voor deze uitdaging staat. Veel algoritmemakers en afnemers zullen dit vraagstuk herkennen. Het is dan ook aan de wetgever en sector om met een antwoord hierop te komen. De aankomende AI-Verordening probeert hier een optie voor te creëren, maar deze Europese wetgeving is nog niet definitief.
Algoritmemakers en afnemers kunnen al wel bij het ontwerp nadenken over deze risico's. Door bijvoorbeeld een Impact Assessment Mensenrechten en Algoritmes (IAMA) te doen, kunnen algoritmemakers toetsen of hun algoritmes in lijn zijn met mensenrechten. Maar ook daarna blijft het belangrijk om regelmatig te controleren of de inzet van algoritmes niet tot discriminatie leidt. Dat organisaties als Breeze hiertoe de eerste stappen zetten, juicht het College toe.