Einde inhoudsopgave
Platformisering, algoritmisering en sociale bescherming (MSR nr. 78) 2021/8.5.2
8.5.2 Mogelijkheden om datagedreven werving en selectie te faciliteren
Willemijn Roozendaal & Marko Jovović, datum 01-05-2021
- Datum
01-05-2021
- Auteur
Willemijn Roozendaal & Marko Jovović1
- JCDI
JCDI:ADS288423:1
- Vakgebied(en)
Arbeidsrecht / Algemeen
Sociale zekerheid algemeen (V)
Voetnoten
Voetnoten
Marko Jovović is advocaat bij Stibbe en staat in die hoedanigheid verschillende online platforms bij.
Europese Commissie (AI HLEG) 2019; Een kernaanbeveling is de volgende: “Zorg ervoor dat de ontwikkeling, de installatie en het gebruik van KI-systemen voldoen aan de vereisten voor betrouwbare KI: 1) menselijke controle en menselijk toezicht, 2) technische robuustheid en veiligheid, 3) privacy en datagovernance, 4) transparantie, 5) diversiteit, nondiscriminatie en rechtvaardigheid, 6) milieu- en maatschappelijk welzijn en 7) verantwoordingsplicht.”
Bijvoorbeeld Kim 2017, Žliobaitė & Custers 2016, p. 183-201, Williams, Brooks & Shmargad 2018, p. 78-115, Kleinberg, Ludwig. Mullainathan & Rambachan 2018, p. 22-27 en Gillis & Spiess 2019. Zie ook Barocas, Hardt & Narayanan 2019, p. 43 e.v.
Uniform Guidelines on Employee Selection Procedure (1978); 43 FR 2014 (25 augustus 1978).
Zie § 1607.2 Uniform Guidelines on Employee Selection Procedure (1978); 43 FR 2014 (25 augustus 1978) en de toelichting daarop; https://www.dol.gov/agencies/ofccp/faqs/employee-selection-procedures (laatstelijk geraadpleegd op 13 november 2020).
HvJ EU 10 juli 2008, C-54-07, ECLI:EU:C:2008:397 (Feryn); zie ook Hof Amsterdam 7 oktober 2014, ECLI:NL:GHAMS:2014:4132, JAR 2014/294, volgens welke de achterstand van vrouwen in een bepaalde sector aan een vermoeden van discriminatie bijdraagt.
Zie Sandvig, Hamilton, Karahalios & Langbort 2014.
Om het benutten van de beschreven kansen te bevorderen, doen wij een aantal aanbevelingen.
Onze eerste aanbeveling is een oproep tot meer samenwerking tussen datawetenschappers en juristen met kennis van het toepasselijke recht. In de inleiding vermeldden wij al dat vanuit verschillende hoeken aanbevelingen worden gedaan of randvoorwaarden worden geformuleerd voor het verantwoord omgaan met gebruik van algoritmes bij besluitvorming. Doorgaans betreft het documenten met een hoog abstractieniveau. Een voorbeeld zijn de ‘Ethische Richtsnoeren voor Betrouwbare KI’ van de Europese Unie.2 Deze aanbevelingen moeten verder geconcretiseerd worden voor de relevante toepassingsdomeinen, zoals personeelsselectie of de platformsector. Ook is nodig dat de verschillende door ons belichte keuzes (o.a. par. 8.3.4) die bij het ontwerpen van een ML-algoritme kunnen worden gemaakt, vanuit verschillende hoeken worden belicht.
Onze tweede aanbeveling is om het discriminatieverbod en het gegevensbeschermingsrecht aldus uit te leggen of in te richten dat het gebruik van de beschermde kenmerken toegestaan is, voor zover dit modellen nauwkeuriger maakt en meer in lijn met noties van rechtvaardigheid.3 Concreter gesteld bevelen wij aan om toe te staan dat met behulp van gegevens over beschermde kenmerken in de dataset, discriminatie mag worden gekwantificeerd en gecorrigeerd. Voorwaarde zou moeten zijn dat de kenmerken niet ten nadele van beschermde groepen terechtkomen in het beslisalgoritme, en slechts onder voorwaarden ten voordele van deze groepen. Desgewenst kan hiervoor de mogelijkheid tot voorkeursbehandeling naar Nederlands recht worden uitgebreid (zie par. 8.3.3). Onderzocht moet worden hoe het gegevensbeschermingsrecht dit zou kunnen faciliteren.
Onze derde aanbeveling ziet erop dat meer duidelijkheid komt ten aanzien van de eisen die gesteld worden aan discriminatievrije selectie, al dan niet met behulp van algoritmes. Naar onze mening is naar huidig recht ook voor reguliere selectieprocedures te weinig geconcretiseerd onder welke voorwaarden een selectieprocedure discriminatievrij is ingericht. Een meer uitgewerkte (Europese) benadering zou kunnen worden gemodelleerd naar de huidige Amerikaanse richtlijnen voor het vaststellen van discriminatie bij werving en selectie. Al in 1978 heeft de Amerikaanse overheid de Uniform Guidelines on Employee Selection Procedures aangenomen.4 Daarin zijn maatstaven neergelegd voor het gebruik van personeelsselectie om indirecte ongelijke behandeling (adverse impact) mee te bestrijden, onder andere via vereisten van validering en documentatie. De richtlijnen werken met een vuistregel volgens welke de ‘selection rate’ van verschillende beschermde groepen in een sollicitatieprocedure een aanwijzing kan opleveren dat een procedure al dan niet discriminatoir was. Het wordt als problematisch beschouwd als de kans dat (bijvoorbeeld) een vrouw geselecteerd wordt minder dan 80% is van de selectiekans van mannen. Is dat het geval, dan moet de werkgever aantonen dat de selectiemethode ‘gevalideerd’ is (gerechtvaardigd kan worden). Op hoofdlijnen gaat het er hierbij om dat de selectiemethode uit relevante criteria is opgebouwd, objectief en fair is en voldoet aan bepaalde statistische eisen. In de richtlijnen wordt verder vrij uitvoerig uitgewerkt hoe deze validatie kan worden geleverd, waarbij de werkgever verschillende technieken kan gebruiken afhankelijk van de gekozen selectiemethode. De richtlijnen zijn ook van toepassing op personeelsselectie met gebruik van kunstmatige intelligentie.5 Wij bevelen aan om een Europese of Nederlandse variant van deze richtlijnen te maken, die bovendien de validatie-eisen voor het gebruik van ML-algoritmes preciseert.
In het Europese en Nederlandse gelijkebehandelingsrecht is nog maar heel sporadisch terug te vinden dat de (historische) uitkomsten van selectieprocedures bij een specifieke werkgever een aanwijzing voor discriminatie zijn. In Feryn is wel aangenomen dat een vermoeden van discriminatie gewekt door discriminatoire uitlatingen, kon worden weerlegd door te laten zien dat de werkgever op proportionele wijze mensen uit beschermde groepen had aangenomen.6 Dit kan een aanknopingspunt zijn voor het toestaan van algoritmes als die aantoonbaar tot een evenredig aantal selecties van kandidaten uit verschillende subgroepen leiden. Het bestrijden van discriminatie zou dan ook een gerechtvaardigde grondslag voor gegevensverwerking kunnen opleveren in de zin van art. 6 lid 1 sub f AVG. Is er wel een bias richting een bepaalde groep, dan zou moeten worden aangetoond met daartoe geëigende middelen – zoals bijvoorbeeld audits7 of gegevens over het ontwerpproces – dat de methode valide is en/of dat is getracht bij het ontwerpen van de selectieprocedure discriminatie te voorkomen, en dat de gebruikte gegevens daarvoor relevant waren. Daarbij moeten uiteraard de eisen van het gelijkebehandelingsrecht en het gegevensverwerkingsrecht in acht worden genomen die in de vorige paragrafen zijn besproken.