Student niet gediscrimineerd door tentamensoftware Proctorio, maar VU had de klacht zorgvuldiger moeten behandelen

Nieuwsbericht | 17-10-2023 | 13:00

In het kort

• De Vrije Universiteit (VU) zette software in om te voorkomen dat studenten zouden frauderen tijdens tentamens, als ze die thuis moesten maken tijdens corona. Een student met een donkere huidskleur stelde dat zij meerdere keren problemen had met inloggen. Ook maakte zij mee dat tijdens het tentamen de verbinding werd verbroken. Dan moest ze opnieuw inloggen. De vrouw vermoedde dat deze problemen samenhangen met haar huidskleur. 
• In een tussenoordeel is vastgesteld dat de vrouw erin is geslaagd discriminatie aannemelijk te maken. De universiteit kreeg daarom nogmaals de kans om te bewijzen dat de software niet gediscrimineerd heeft.   
• Het College heeft nu beoordeeld of de Vrije Universiteit:  
  • verboden onderscheid heeft gemaakt door Proctorio te gebruiken voor online surveilleren; 
  • verboden onderscheid heeft gemaakt door gebruik te maken van de software zonder voorafgaand extern onderzoek om te verifiëren dat de software niet discrimineert; 
  • de discriminatieklacht van de student voldoende zorgvuldig heeft behandeld.

Wat is er gebeurd?

In het jaar 2020/21 werden veel tentamens bij de opleiding die de student aan de Stichting Vrije Universiteit (VU) volgde online afgenomen, vanwege de coronapandemie. Voor een deel van die tentamens moesten studenten een programma gebruiken van Proctorio, dat moet controleren of de student die het tentamen maakt echt voor de computer zit. De software controleert dat op twee manieren. Allereerst door voor de start van het tentamen via de webcam een aantal foto’s te nemen van de student, een foto van de studentenpas te nemen, en een video-opname van de werkplek van de student te maken. Daarna registreert het programma onregelmatigheden tijdens het tentamen door studenten een ‘vlaggetje’ te geven. Na afloop van het tentamen wordt aan de hand van de ‘vlaggetjes’ bepaald welke opnames door surveillanten nader worden bekeken.  

De student heeft na verschillende tentamens geklaagd over de werking van het programma van Proctorio, onder andere bij de ‘Online Learning Support’ en bij de studieadviseur. Later heeft zij ook een klacht ingediend bij de studentenombudsman. Daarin uitte zij haar vermoedens dat haar slechte ervaringen met de software van Proctorio verband houden met haar donkere huidskleur. De studentenombudsman geeft aan niet bevoegd te zijn en verwijst de student door naar verschillende andere instanties. Ruim een half jaar later neemt het faculteitsbestuur van de VU haar klacht in behandeling. 

De beoordeling

Gebruik van Proctorio voor online surveilleren 

De student gaf bij het College aan dat de door de VU gebruikte software personen met een donkere huidskleur slechter waarneemt dan personen met een witte huidskleur. Zij heeft dat ook zo ervaren toen ze regelmatig de melding ‘face not found’ of ‘room too dark’ kreeg. Zij verloor daardoor veel tijd en moest daardoor extra maatregelen nemen, zoals het gebruik van een felle lamp die gedurende het maken van een tentamen recht in haar gezicht scheen. Daarnaast is zij verschillende keren door de software uit de online tentamen-omgeving verwijderd, waarna ze het verificatieproces opnieuw moest doorlopen. Deze gebeurtenissen leverden haar veel stress en een gevoel van onveiligheid op. Volgens de studente heeft de VU haar dan ook gediscrimineerd op grond van haar huidskleur.  

De VU zegt dat zij de student niet gediscrimineerd heeft. De softwareleverancier gaf aan dat de software niet minder goed werkt bij mensen met een donkere huidskleur. Bovendien blijkt uit de loggegevens van de door de student gemaakte tentamens niet dat zij heel lang over het inloggen deed, of dat zij uitzonderlijk veel problemen ondervond tijdens het maken van de tentamens. Andere studenten hadden volgens de VU vergelijkbare problemen.  

Tussenoordeel  

Het College heeft in het tussenoordeel van 7 december 2022 (oordeel 2022-146) vastgesteld dat er voldoende aanwijzingen zijn voor het vermoeden dat de VU de studente gediscrimineerd heeft op grond van haar huidskleur. De ervaringen van de student en de gegevens uit de gepubliceerde wetenschappelijke onderzoeken naar het functioneren van gezichtsdetectiesoftware brachten het College tot dit oordeel. Bij het tussenoordeel kreeg de VU de gelegenheid om te bewijzen dat zij de studente niet gediscrimineerd heeft door het programma van Proctorio te gebruiken. 

Eindoordeel over het gebruik van Proctorio  

Het College oordeelt nu dat de VU erin geslaagd is te bewijzen dat zij de student niet gediscrimineerd heeft door het programma te gebruiken. Belangrijk is daarbij dat de VU niet hoefde aan te tonen dat er geen enkele student gediscrimineerd is door het gebruik van het programma. Het gaat in deze zaak om het individuele geval van de student die het verzoek bij het College heeft ingediend.  

De VU heeft met behulp van gegevens over het inlogproces kunnen aantonen dat de student tijdens haar tentamens niet meer problemen heeft ondervonden dan andere studenten. Dat de student bij een van haar tentamens langer deed over het verificatieproces en tijdens het tentamen een herstart moest maken kwam door andere dingen, die geen verband hielden met haar huidskleur. Zoals een slechte internetverbinding of het dragen van een bril. 

Voorafgaand onderzoek naar Proctorio 

De student heeft ook aangevoerd dat de VU een onafhankelijk onderzoek had moeten laten doen, voor zij de software van Proctorio in gebruik nam. Het College oordeelt in dat kader dat de VU inderdaad een zorgplicht heeft om te controleren of de software die zij gebruikt niet-discriminerend werkt voordat zij deze in gebruik neemt. Het door de VU uitgevoerde eigen onderzoek heeft geen aanknopingspunten opgeleverd om aan te nemen dat gebruik van Proctorio mogelijk zou leiden tot verboden onderscheid op grond van persoonskenmerken. Volgens de huidige gelijkebehandelingswetgeving hoeft zo'n onderzoek niet door een onafhankelijke instantie te worden gedaan.  

De vraag of een voorafgaande, externe en onafhankelijke toets op discriminatierisico's bij het gebruik van dit soort software wenselijk is, is er een die in principe door de wetgever beantwoord moet worden.  

Onzorgvuldige klachtafhandeling 

Ten slotte heeft de student heeft aangevoerd dat de VU de door haar ingediende klachten niet zorgvuldig heeft behandeld. Zij heeft namelijk veel moeite moeten doen, en bij meerdere instanties moeten klagen, tot de VU haar discriminatieklacht over de gebruikte software in behandeling nam. Mede gezien de ernst van de klacht was het volgens het College aan de studentenombudsman om de student naar de juiste instantie te verwijzen. Pas na 11 mei 2022 heeft de VU de klacht voortvarend opgepakt. 

Lees het hele oordeel (2023-111). 

Algoritmische discriminatie

De problematiek die in deze zaak speelt, is van groot belang. De student is er namelijk voor het eerste in een zaak bij het College in geslaagd om een vermoeden van algoritmische discriminatie aannemelijk te maken. En hoewel het College in dit individuele geval niet heeft vastgesteld dat er sprake is van verboden onderscheid, kan het evengoed zijn dat het gebruik van Proctorio of vergelijkbare AI-software in een andere situatie wel degelijk tot discriminatie leidt. Zo lijkt recente berichtgeving over onderzoek van RTL Nieuws in die richting te wijzen, evenals de in het tussenoordeel genoemde wetenschappelijke onderzoeken.  

Deze zaak illustreert dan ook de uitdaging voor burgers om voldoende feiten aan te dragen die een vermoeden van discriminatie vestigen: de student werd in dit geval bijgestaan door een ngo die zich richt op de discriminatierisico's bij het gebruik van AI en aanverwante technologie. Tegelijkertijd maakt het oordeel ook duidelijk dat een verweerder, zoals in dit geval de VU, uitvoerige feitelijke informatie zal moeten aanleveren om een eventueel vermoeden van discriminatie te kunnen weerleggen.  

Het College zal de inzichten uit dit oordeel gebruiken in zijn adviezen richting de wetgever en toezichthoudende instanties omtrent algoritmische discriminatie.