Overheid, help scholen te voorkomen dat digitale systemen hun leerlingen ongelijk behandelen
Veel onderwijsinstellingen zetten digitale middelen in waarbij algoritmes keuzes maken, zoals leersystemen die oefeningen automatisch aanpassen op het gedrag van de leerling. De inzet van deze middelen kent voordelen, maar ook risico's. Ze kunnen sommige leerlingen en studenten helpen, maar andere juist op een zijspoor zetten. Dit blijkt uit verkennend onderzoek van het College voor de Rechten van de Mens. De overheid moet onderwijsinstellingen helpen om risico's op ongelijke behandeling te voorkomen.
Het onderzoek
De onderzoeksinstituten KBA Nijmegen en ResearchNed hebben in opdracht van het College onderzoek gedaan naar hoe algoritmes in het onderwijs in Nederland worden ingezet. Zij hebben verkend of hierbij risico's op discriminatie spelen en waar juist de kansen liggen om discriminatie te voorkomen door algoritmes in te zetten.
Het onderzoek bestond uit een schriftelijke uitvraag onder relevante organisaties, een literatuurstudie en gesprekken met experts en stakeholders, waaronder wetenschappers, sectororganisaties, ontwikkelaars van toepassingen, de Inspectie van het Onderwijs, het ministerie van Onderwijs, Cultuur en Wetenschap, en vertegenwoordigers van ouders en leerlingen.
Algoritmes in het onderwijs
Het onderzoek laat zien dat allerlei algoritmische toepassingen in zowel het funderend als het hoger onderwijs worden ingezet. 40 tot 60 procent van de basisscholen gebruikt adaptieve leersystemen, waarbij het systeem oefeningen, bijvoorbeeld bij taal en rekenen, automatisch aanpast op basis van het gedrag van de leerling.
In het hoger onderwijs zetten onderwijsinstellingen onder andere software in die een automatische score geeft aan hoe diepgaand de aantekeningen van studenten zijn. Ook gebruiken veel onderwijsinstellingen algoritmes om data over leerlingen automatisch te analyseren om bijvoorbeeld te voorspellen of een leerling risico loopt uit te vallen of extra ondersteuning nodig heeft, om fraude op te sporen (bijvoorbeeld of iemand ChatGPT heeft gebruikt) en om te bepalen welke leerling naar welke onderwijsinstelling gaat.
Kansen
Elke leerling heeft het recht zich te ontwikkelen en het recht gelijk behandeld te worden in het onderwijs. Digitale middelen kunnen hieraan bijdragen, bijvoorbeeld door extra ondersteuning te bieden voor kinderen die dat nodig hebben. Analyse van data kan docenten inzicht geven in het leerproces om zo aanpassingen te kunnen doen die goed aansluiten bij de behoefte van elke leerling.
Vooroordelen systematiseren
Helaas spelen vooroordelen over groepen leerlingen ook een rol in het onderwijs. Zo krijgen leerlingen met een migratieachtergrond en leerlingen uit gezinnen waar de ouders praktisch opgeleid zijn of een laag inkomen hebben, vaker dan andere leerlingen een initieel schooladvies dat lager ligt dan het toetsadvies. Als digitale systemen niet goed getest worden, kunnen zij de vooroordelen van mensen versterken door deze te systematiseren en te verspreiden. Dit kan leiden tot discriminatie en kansenongelijkheid.
Het kan zijn dat een systeem moeite heeft om het niveau van een kind goed in te schatten. Bijvoorbeeld omdat de leerling op een andere manier leert (als een kind bijvoorbeeld ADHD, dyslexie of autisme heeft) of andere woorden gebruikt, dan de groep leerlingen waarop het systeem getraind is. Of een systeem geeft een kind het label “zwak” en houdt dat label aan, ook al is het kind inmiddels beter gaan leren. Hierbij kan ook een zorg zijn dat leerlingvolgsystemen veel data over kinderen verzamelen, waardoor mogelijk hun recht op privacy en autonomie wordt geraakt.
Niet elke leerling of student kan evenveel profiteren van technologie
Niet elke leerling heeft bovendien evenveel toegang tot technologie. Sommigen kunnen zich wel goede apparaten, een snelle internetverbinding, en dure software veroorloven, anderen niet. Ook tussen scholen zijn de verschillen groot.
Voor gebruik, waarden afwegen en het systeem testen
Voordat onderwijsinstellingen digitale systemen gaan gebruiken, moeten zij een waardenafweging maken of en wanneer technologie een bijdrage levert aan goed onderwijs. Scholen hebben veel vrijheid in het kiezen van leermiddelen, maar moeten zich altijd houden aan kinderrechten en ervoor zorgen dat zij het discriminatieverbod niet schenden. Scholen kunnen en moeten eisen stellen aan softwareleveranciers op het gebied van gelijke behandeling, privacy, autonomie en transparantie. Een belangrijk onderdeel daarvan is dat middelen uitgebreid op verschillende groepen leerlingen worden getest.
Help scholen om verantwoorde middelen in te zetten
Scholen hebben veel verschillende taken en het personeelstekort is groot. Het is moeilijk voor docenten en schoolleiders om altijd kritisch te kijken naar de middelen die ze gebruiken. Mensen hebben nu eenmaal de neiging te geloven wat een computer zegt.
Daarnaast is er vaak beperkt informatie beschikbaar over hoe een systeem werkt, waardoor het moeilijk is dit te beoordelen. Bovendien komt een groot deel van het aanbod vanuit grote technologiebedrijven, zoals Apple, Google, en Microsoft. De invloed van deze bedrijven kan sturend zijn en kan scholen van hun producten afhankelijk maken, terwijl scholen nu juist vrije keuze moeten hebben om al dan niet digitale middelen te kiezen die passen bij hun visie op goed onderwijs.
Daarom moet het ministerie van Onderwijs, Cultuur en Wetenschap scholen helpen. Het ministerie kan dat doen door onderzoek naar de effecten van digitale systemen te stimuleren en voorlichting te geven over de risico's aan schoolbesturen, docenten, ouders en leerlingen.
Het ministerie kan ook, net als zij op het gebied van privacy heeft gedaan, met samenwerkingsverbanden, kennisinstituten, en onderwijsinstellingen, een normenkader ontwikkelen dat duidelijkheid schept waar een systeem in ieder geval aan moet voldoen om discriminatie te voorkomen. Scholen kunnen daarnaast elkaar helpen door zich te verenigen en samen deskundigheid op te bouwen en criteria te stellen aan softwareleveranciers.