8.3.4 ML-algoritmes en discriminatie

Zoals besproken zijn de mogelijkheden om direct onderscheid te rechtvaardigen zeer beperkt. Een beslisalgoritme waarin de verboden gronden voorkomen, maakt dus in beginsel direct onderscheid. Om zeker te weten dat het beslisalgoritme geen gebruik maakt van deze variabelen, moeten ze uit de dataset worden verwijderd. Voor de dataset uit onze casus (de personeelsselectie), betekent dat dat deze variabelen uit het cv van de functionarissen en de kandidaten moeten worden gehaald. Dit kan het gebruik van databronnen als e-mails of socialmediaprofielen compliceren.2 Ook bij het gebruik van video-opnames zou hiermee rekening moeten worden gehouden. Daarin opgenomen verboden kenmerken zoals huidskleur of geslacht, mogen namelijk niet meewegen in het afwegingskader.

Hiermee is het ML-algoritme nog niet discriminatievrij. Ook als de ‘verboden variabelen’ zijn weggelaten, kan het systeem indirect verboden onderscheid maken.

Zoals besproken is sprake van indirect onderscheid als het beslisalgoritme een aanzienlijk percentage leden van beschermde groepen nadelig treft. Het beslisalgoritme kan tot deze uitkomst leiden als de trainingsdata een vooringenomenheid bevatten. Een voorbeeld kan dit verduidelijken. Stel dat een werkplatform voor hondenuitlaatdiensten ratings aanmerkt als indicator voor succes (outputvariabele) en op basis daarvan met een ML-algoritme de volgorde bepaalt waarin werkers aan de hondeneigenaren worden getoond. Stel voorts dat migranten in de betreffende branche in overigens gelijke omstandigheden door discriminatie van klanten een lagere rating krijgen.3 De uitkomst van het algoritme is dan dat hun resultaten vaker lager op de pagina worden getoond. Dit kan bovendien een zelfversterkend effect krijgen.4 Hun kansen om een klus te krijgen, dalen, ze doen daardoor minder ervaring op, presteren minder goed, krijgen daardoor weer lagere ratings, etc.5

Wij signaleren dat het enkele weglaten van de variabele ‘etniciteit’ geen oplossing is voor discriminatie in algoritmes, maar juist een probleem, omdat deze omstandigheid dan niet meer boven water kan komen. In dit voorbeeld kunnen de discriminatoire ratings namelijk alleen uit de dataset blijken als de ratings voor gelijk presterende migranten en niet-migranten kunnen worden vergeleken. Daarvoor moet bekend zijn wie de migranten in de dataset zijn. Wij komen terug op dit probleem in paragraaf 8.4 en 8.5.

Een tweede probleem is, dat het ML-algoritme minder nauwkeurig6 kan zijn voor leden van een bepaalde minderheidsgroep. Zo kan het voorkomen dat een model dat voor de gehele populatie 95% nauwkeurig is, voor leden van een bepaalde in de data ondervertegenwoordigde (minderheids)groep maar 60%7 nauwkeurig zal zijn. ML-algoritmes worden beter van meer data, terwijl over ondervertegenwoordigde groepen per definitie minder data voorhanden zijn.8 Als de beslisfunctie ‘goede kandidaten’ moet onderscheiden van ‘slechte kandidaten’, is het van belang dat het dat nauwkeurig doet. Nadeel kan er dus ook uit bestaan dat kandidaten uit minderheidsgroepen willekeurig(er) of minder zorgvuldig worden behandeld; zij hebben dan een minder eerlijke kans.

Datawetenschappers onderkennen deze problemen. Er is gewerkt aan allerlei interventies in verschillende fasen van het ontwerp: bij het selecteren en bewerken van de data, bij het trainingsproces of bij het maken van de beslisfunctie. Er zijn sterk uiteenlopende formele (wiskundige) benaderingen ontwikkeld, die uitdrukking geven aan verschillende opvattingen van ‘fairness’. Denk bijvoorbeeld aan enerzijds het uitschakelen van de invloed van een bijzonder kenmerk, of anderzijds juist het nastreven van een evenredige spreiding van uitkomsten over de verschillende doelgroepen.9 Gevreesd wordt wel dat laatstbedoelde interventies ten koste gaan van de effectiviteit, nauwkeurigheid of generaliseerbaarheid van het ML-algoritme.10