Discriminatie door VU-algoritme tijdens tentamens aannemelijk

Tijdens de coronacrisis werden tentamens aan de VU vaak online afgenomen. Om fraude tegen te gaan moesten studenten antispieksoftware op hun computer installeren. Voordat ze toegang kregen tot de examenvragen moesten ze controles doorlopen, waarvan een met een webcam.

Donkere huidskleur 

Volgens de masterstudent in kwestie herkende de software haar gezicht vaak niet. Ze kreeg dan meldingen als ‘face not found’ of ‘room too dark’. Ook werd ze meerdere keren door de software uit het tentamen gegooid, waarna ze opnieuw moest inloggen. De gang van zaken bezorgde haar veel stress “en een gevoel van onveiligheid”, aldus het college. De vrouw denkt dat de software niet goed werkte vanwege haar huidskleur. “Het is algemeen bekend dat gezichtsdetectiealgoritmes slechter presteren op mensen met een donkere huidskleur”, schrijf het college daarover. Het college vindt “dat de vrouw erin geslaagd is voldoende feiten aan te dragen voor een vermoeden van discriminatie”.

Problemen het gevolg van slechte internetverbinding 

De VU heeft navraag gedaan bij de leverancier van de software, die na een onderzoek stelde dat niets wijst op discriminatie door het algoritme. Ook zou de student volgens de VU niet uitzonderlijk lang over het inloggen hebben gedaan, of opvallend vaak uit de tentamens gegooid zijn. Als er problemen waren, zijn die waarschijnlijk het gevolg van bijvoorbeeld een slechte internetverbinding, zo redeneert de universiteit.

Software die discrimineert 

Volgens het college heeft de VU echter “te weinig controleerbare gegevens” aangeleverd waaruit zou blijken dat de software niet discrimineert. De universiteit krijgt tien weken om te bewijzen dat de software inderdaad niet gediscrimineerd heeft.

Volgens voorzitter Jacobine Geel van het mensenrechtencollege is de uitspraak een “belangrijk moment”. “Het is iemand namelijk gelukt om te zeggen: hey, wat dit algoritme doet is vreemd. Ik vermoed dat het algoritme discrimineert.” Naomi Appelman, voorzitter van het Racism and Technology Center, hoopt dat de uitspraak “een les” is voor organisaties die gezichtsherkenning willen inzetten. “Garanties van de leverancier van de technologie zijn daarbij niet genoeg.”

Geen inhoudelijke reactie van de VU

De VU laat via een woordvoerster weten met het oordeel “aan de slag” te gaan. In de tussentijd kan de universiteit “geen inhoudelijke reactie geven”.

Door: ANP