Einde inhoudsopgave
25 jaar Awb in eenheid en verscheidenheid 2019/72.3
72.3 Mogelijke risico’s
prof. mr. M.W. Scheltema, datum 01-12-2018
- Datum
01-12-2018
- Auteur
prof. mr. M.W. Scheltema
- Vakgebied(en)
Bestuursrecht algemeen / Algemeen
Voetnoten
Voetnoten
Scherer 2016, p. 366 en 367. Vgl. Guihot, Matthew en Suzor 2017, p. 389, die wijzen op veiligheidsproblemen.
Scherer 2016, p. 369.
Scherer 2016, p. 372.
Scherer 2016, p. 370 en 371.
Guihot, Matthew en Suzor 2017, p. 416.
G.A. Verbeet e.a., Human rights in the robot age, Den Haag: Rathenau Instituut 2017, p. 10 en 16.
Bijv. Verbeet 2017, p. 17 e.v.
Guihot, Matthew en Suzor 2017, p. 389 en 409. Zie ook Vetzo, Gerards en Nehmelman 2018, p. 123-137.
Andrea Scripa Els, ‘Artificial Intelligence as a digital privacy protector’, Harvard Journal of Law & Technology 2017 (vol. 31), p. 218.
Vgl. Verbeet 2017, p. 43 en 44.
Eduard Fosch Villaronga, Peter Kieseberg, Tiffany Li, ‘Humans forget, machines remember: Artificial Intelligence and the Right to Be Forgotten’, Computer law and security review 2018 (vol. 34), p. 304-312.
Els 2017, p. 219. Vgl. Guihot, Matthew en Suzor 2017, p. 389; Verbeet 2017, p. 40 en 41. Zie ook Vetzo, Gerards en Nehmelman 2018, p. 138-148.
Zie ook Guihot, Matthew en Suzor 2017, p. 406 en 407 en Verbeet 2017, p. 33-37.
Zie bijvoorbeeld Verbeet 2017, p. 23. Vgl. ook Vetzo, Gerards en Nehmelman 2018, p. 151-159. Zie over dergelijke systemen die zonder tussenkomst van een apparaat met mensen communiceren Bohumir Stedron, ‘Law or Artificial Intelligence new trends in data protection’, Masaryk University Journal of Law & Technology 2007, p. 213.
Hin-Yan Liu and Karolina Zawieska, ‘A new human rights regime to address robotics and Artificial Intelligence’ 2017, p. 3 en 4; Verbeet 2017, p. 39.
Els 2017, p. 232; Verbeet 2017, p. 23.
Verbeet 2017, p. 44 en 45.
Guihot, Matthew en Suzor 2017, p. 407 en 409.
Verbeet 2017, p. 25.
Benjamin L.W. Sobel, ‘Artificial Intelligence’s fair use crisis’, Columbia Journal of Law & the Arts 2017 (vol. 41), p. 77.
Sobel 2017, p. 73 en 74; Verbeet 2017, p. 31.
Vgl. Sobel 2017, p. 76.
Guihot, Matthew en Suzor 2017, p. 389 en 411-413; Sobel 2017, p. 81.
Vgl. Sobel 2017, p. 96.
Vgl. Guihot, Matthew en Suzor 2017, p. 423.
AI biedt vele mogelijke voordelen, kan leiden tot maatschappelijke vooruitgang en biedt mogelijkheden voor kostenreductie. Wanneer we spreken over regulering, richt die zich echter in het algemeen op door bepaalde activiteiten of producten veroorzaakte risico’s. Daarom wordt in deze paragraaf ingegaan op de risico’s van AI. De risico’s die AI in het leven roept, hangen samen met de wijze waarop AI tot stand komt en met de gevolgen die de toepassing van AI met zich brengt. Deze paragraaf beoogt overigens slechts een eerste inventarisatie van deze risico’s te geven en heeft geenszins de pretentie dat deze risico’s uitputtend in kaart zijn gebracht. Dat is ook lastig omdat nog weinig zicht bestaat op alle functies die AI zal gaan vervullen.
De ontwikkeling van AI roept, in tegenstelling tot grote (industriële of technische) veranderingen in het verleden, specifieke risico’s in het leven. Zo kunnen sommige AI systemen zichzelf (leren) aanpassen. Dat kan tot negatieve ontwikkelingen leiden, waarbij de controle mogelijk lokaal (bij degenen die verantwoordelijk zijn voor het ontwerp van de AI) maar ook in algemene zin verloren kan gaan als niemand er meer controle over heeft.1 Bovendien is voor de ontwikkeling van AI maar een beperkt of niet zichtbare infrastructuur nodig, mede doordat verschillende componenten op verschillende plaatsen kunnen worden ontwikkeld zonder relevante coördinatie. Daarnaast is de (interne) werking van AI vaak ondoorzichtig en is deze evenmin vatbaar voor reverse enginering.2 Onder meer defecten in AI zijn daarom lastiger te ontdekken.3 Dat wordt nog eens versterkt doordat de AI afhankelijk is van de onderliggende data. Zijn die van slechte kwaliteit, dan wordt dat niet anders voor de AI. Vaak weten ontwikkelaars van open source AI ook niet wat anderen er mee gaan doen, terwijl in AI regelmatig gebruik wordt gemaakt van dergelijke open source software.4 Ook het koppelen van AI systemen (grotere neurale netwerken waarin vele systemen verbinding hebben met vele andere systemen) vergroot de ondoorzichtigheid en risico’s.5 Verder kunnen AI systemen ook met andere technologieën worden geïntegreerd zoals nanotechnologie en biotechnologie.6 Daarom is (bijvoorbeeld voor een (publieke) toezichthouder) lastig(er) vast te stellen wie waarvoor verantwoordelijk is, zeker als AI systemen uit eigen beweging bepaalde resultaten/handelingen opleveren.
Daarnaast kan ook het gebruik van AI tot risico’s leiden, bijvoorbeeld op het terrein van mensenrechten.7 Het meest bekende voorbeeld daarvan is de bescherming van privacy. Zo verbiedt artikel 22 GDPR profileren op een zodanige wijze dat die rechtens relevante effecten hebben voor deze persoon of hem of haar anderszins op significante wijze treffen.8 Een voorbeeld is een AI marketing tool die aan een tiener zwangerschapsproducten aanbood, van welke reclame haar vader op de hoogte kwam (de tiener bleek later inderdaad zwanger).9 Dit zal in versterkte mate een risico vormen naarmate AI beter wordt in het profileren van mensen en daarmee hun gedrag kan voorspellen (en daarop actie (laten) ondernemen) of als AI mensen bij een te grote mate van volgens de AI ongewenst gedrag uitsluit van maatschappelijke voorzieningen, zoals in China gebeurt.10 Ook rijst de vraag hoe moet worden omgegaan met het recht om te worden vergeten als AI is gebaseerd op een dataset waarin de gegevens, waarvan verwijdering wordt gevraagd, voorkomen.11 Daarnaast kan AI discrimineren. Zo kan AI die moet beoordelen of iemand in aanmerking komt voor een hypotheek of vatbaar is voor criminele activiteiten gebruik maken van grote datasets waarin grote maatschappelijke ongelijkheid is ingebakken. Dit kan leiden tot vergroting van deze ongelijkheid.12 Naar verluidt, zijn sommige AI gezichtsherkenningssystemen ook al in staat om de seksuele geaardheid van een persoon te onderkennen. Ook dat kan tot discriminatie leiden. Ook andere inbreuken op mensenrechten, en zelfs het recht op leven, zijn denkbaar. Zo is door een zelfrijdende auto inmiddels een dodelijke ongeluk veroorzaakt,13 om nog maar te zwijgen over autonome wapensystemen. Verder kan het zelfbeschikkingsrecht in het gedrang komen door AI, zeker als AI systemen zonder tussen tussenkomst van externe apparatuur gedachten van mensen kunnen opvangen of op die wijze of anderszins mensen beïnvloeden (bijvoorbeeld door middel van websites of apps).14 Daardoor kan ook de vrijheid van meningsuiting en het recht om informatie te ontvangen door AI worden beïnvloed, terwijl de huidige bescherming van deze vrijheid vooral georiënteerd is op het gedrag van staten.15 Dit kan tevens leiden tot oneerlijke handelspraktijken, bijvoorbeeld door psychologische manipulatie van consumenten.16 Maar ook anderszins kan AI het zelfbeschikkingsrecht beïnvloeden. Zo bestaan er al de nodige AI systemen die met mensen kunnen communiceren (en zelfs kunnen omgaan met emoties). Het ligt dan voor de hand dat een mens ook op de hoogte moet kunnen zijn of met een computer wordt gecommuniceerd. Indien dat niet het geval is, komt ook in zoverre het zelfbeschikkingsrecht in het gedrang. Daarnaast zou het recht op zinvol menselijk contact hierdoor onder druk kunnen komen te staan.17 In het verlengde daarvan wordt ook genoemd het risico van dehumanisering van de zorg voor zwakkeren (door robots) en risico op het hacken daarvan.18 Zo is de vraag hoe ver een zorgrobot mag gaan om een oudere medicatie te laten nemen.19
Er bestaat bovendien een markt van door gebruikers van mobiele telefoons, Facebook, Google en dergelijke applicaties gegeneerde data en de vraag is of die nu goed is georganiseerd en gereguleerd.20 Ook intellectuele eigendomsbescherming kan in het gedrang komen door AI. Zo lijkt het argument dat de AI intellectueel eigendomsrechtelijk beschermde informatie (data) gebruikt voor technologische vooruitgang en maatschappelijke voordelen heeft, niet genoeg om dit zonder meer toelaatbaar te achten.21 In dat verband kan ook de bescherming van databanken een probleem vormen.22
Voorts kan AI belangrijke effecten hebben op de werkgelegenheid, sommigen menen zelfs dat die impact zo groot zal zijn dat een basisinkomen of een belasting op AI die mensenwerk overneemt of omscholing aangewezen lijkt.23 Daarnaast draait AI op data en de toegang tot data kan daarmee, ook vanuit mededingingsrechtelijk perspectief, een probleem worden als degenen die beschikken over grote datasets die niet willen delen of gebruikers bepaalde toepassingen niet meer gebruiken omdat ze weten dat data wordt gedeeld.24 Ten slotte is de vraag of het gebrek aan ethisch besef van AI een probleem kan vormen. Enerzijds lijkt ethisch besef voor sommige handelingen gewenst, 25anderzijds is de vraag of mensen (vaak lastige) ethische beslissingen zouden moeten overlaten aan AI.
Zelfs bij een eerste inventarisatie blijkt derhalve dat AI de nodige risico’s in het leven roept die reeds nu kunnen worden geïdentificeerd. Dit roept de vraag op of niet al zou moeten worden nagedacht over regulering van AI.