72.6 De rol van TPR

Gelet op het vorenstaande lijkt traditionele overheidsregulering op het terrein van AI in ieder geval op dit moment lastig. Er bestaat immers nog weinig inzicht in het functioneren ervan en de specifieke risico’s die bepaalde AI toepassingen oproepen. Daarnaast bestaat het risico dat de voordelen van deze vorm van innovatie door wetgeving onnodig worden geremd of een open norm zo algemeen wordt dat deze weinig effectief is.1 Een open norm die vooralsnog wel effectief zou kunnen zijn is het vereiste dat AI altijd (al dan niet op verzoek van een overheid of toezichthouder) door een mens stop moet kunnen worden gezet en dus zichzelf daartegen niet mag beschermen. Ook specifieke onder- werpen zoals aansprakelijkheid voor zelfrijdende auto’s,2 rechtspersoonlijkheid van AI en intellectueelrechtelijke aspecten van AI zouden zich kunnen lenen voor een wettelijke regeling.3 Overigens is in dat verband ook goed denkbaar dat de rechtspraak binnen bestaande (open) wettelijke normen oplossingen vindt voor aan AI gerelateerde problemen, bijvoorbeeld op het gebied van aansprakelijkheid. Daarnaast gelden sommige meer algemene reeds bestaande wettelijke open normen, zoals artikel 22 GDPR, ook voor AI. Er is echter geen sprake van een ontwikkeling die specifiek in Nederland plaatsvindt, maar die bij uitstek een internationale dynamiek heeft. De vraag is daarmee hoeveel grip de Nederlandse wetgever daarop heeft en of overheidsregulering in verschillende landen niet teveel uiteen gaat lopen. Waarschijnlijk is de invloed van de Nederlandse wetgever op dit terrein nog kleiner dan bij eerdere technische ontwikkelingen het geval was.4 Transnationale private regulering (TPR) heeft in dit verband een aantal voordelen.5 Het kan (beter) op internationaal niveau opereren, beter gebruik maken van de technische inzichten in de private sector, daar beter op reageren en is flexibeler.6

Het zal echter duidelijk zijn dat de hiervoor bedoelde beginselen nog onvoldoende concreet zijn om als TPR te kunnen worden gebruikt. Er valt immers onvoldoende uit af te leiden wat van een ontwikkelaar of gebruiker van AI in een concreet geval wordt verwacht. Overheden, zoals de Nederlandse overheid, zullen private partijen daarom moeten stimuleren om dergelijke TPR (al dan niet voor bepaald soort toepassingen) te ontwikkelen en te implementeren. Internationale samenwerking, bijvoorbeeld binnen de EU maar ook binnen de OESO, lijkt daarvoor essentieel. Op nationaal niveau kan dit echter ook worden gestimuleerd door bijvoorbeeld in aanbestedingen de implementatie van dergelijke TPR te (gaan) eisen,7 dit onder omstandigheden als toelatingseis tot de Nederlandse markt te stellen of anderszins te stimuleren (bijvoorbeeld door middel van subsidies (voor (academisch) onderzoek), in verband met aansprakelijkheid voor schade veroorzaakt door AI of door het organiseren van ronde tafels met belanghebbenden). Ook toezichthouders zouden in het kader van toezicht het opstellen en implementeren van dergelijke TPR kunnen stimuleren.8

Anders dan bij meer traditionele vormen van TPR roept AI de additionele uitdaging op dat ook de ontwikkelaars ervan niet (steeds) inzicht hebben in de processen die zich binnen de AI afspelen. TPR zal daarom deels moeten worden ingebouwd in AI (‘regtech’), er wordt ook wel gesproken van ‘safety by design’,9 naast bijvoorbeeld het bestaan van een review board binnen een bedrijf die aan de hand van deze TPR onderzoekt of de ontwikkeling of het gebruik van AI binnen de door de TPR gestelde kaders blijft. Wellicht dat er zelfs AI tools zouden kunnen worden ontwikkeld die de functie hebben om te onderzoeken of de TPR (voor zover mogelijk) in andere AI is ‘ingebouwd’ en of deze AI zich ook aan de ‘ingebouwde’ standaarden houdt. AI wordt nu al gebruikt om verdachte activiteiten op internet door middel van cyberattacks op te sporen en is daartoe inmiddels met 85% nauwkeurigheid binnen een termijn van uren in staat.10 Op een vergelijkbare wijze zou AI onrechtmatige of discriminerende activiteiten van AI kunnen identificeren dan wel bezien of een dataset alleen voor het beoogde doel wordt gebruikt en in kunnen grijpen indien dat niet het geval is.11 AI zou ook kunnen worden gebruikt om privacy te definiëren en het risico op schendingen van privacy aan te geven.12

Betekent het vorenstaande nu dat de Nederlandse overheid voor alle vormen van AI TPR moet stimuleren en op dat front in verband met toezicht eisen zou moeten stellen? Dat lijkt op dit moment een brug te ver. Het ligt veel meer voor de hand een risico georiënteerde benadering te kiezen.13 In dat verband kunnen de risico’s worden vastgesteld die de overheid of toezichthouder (in verband met bepaalde toepassingen) wenst te accepteren, daarna kan worden geanalyseerd of en in hoeverre de kans bestaat dat de bedoelde risico’s zich zullen voordoen en vervolgens kunnen de risico’s waarvan aannemelijk is dat die zich zullen voordoen in categorieën worden ingedeeld van hoog naar laag. Grote risico’s kunnen bijvoorbeeld bestaan als AI toevallige ontdekkingen kan doen en naarmate sprake is van een meer complex (groter) en niet lineair netwerk (dat verbinding heeft met vele andere netwerken).14 Daarnaast speelt een rol of AI mensen adviseert of ook zelf beslissingen neemt, de functies van AI en op welk terrein het actief is. TPR zou dan met name kunnen worden gestimuleerd op de terrein waar grote risico’s worden voorzien.

Vervolgens zal de overheid of een toezichthouder ook de effectiviteit van de TPR moeten stimuleren en monitoren.15 Allereerst zal daarvoor binnen de overheid of toezichthouders de nodige (technische) kennis moeten worden binnengehaald om de effectiviteit van TPR te kunnen beoordelen.16 Daarbij moet er voor worden gewaakt dat er geen ‘draaideur’ effect optreedt waarbij technici die AI ontwerpen en gebruiken bij de overheid of een toezichthouder gaan werken en vervolgens weer het bedrijfsleven ingaan, hetgeen in het verleden bij toezicht waarvoor specialistische kennis nodig was wel gebeurde.17 Daarnaast zal, bijvoorbeeld indien een toezichthouder zijn toezicht op deze TPR zou willen afstemmen,18 moeten worden bezien of de TPR voldoende effectief is, bijvoorbeeld met betrekking tot een duidelijke doelstelling, handhaafbaarheid, geschillenbeslechting, de economische gevolgen ervan (onder andere voor de mededinging), alsmede het betrekken van belanghebbenden in de voorbereiding en evaluatie ervan.19 Het beoordelen en evalueren van deze effectiviteit zou ook in een iteratief proces kunnen plaatsvinden, waarin een (doorlopende) verkenning van mogelijke ontwikkelingen en een mogelijke reactie daarop plaatsvindt.20 Ook is denkbaar dat in een wettelijke regeling voor risicovolle AI toelatingsbesluiten (voor de Nederlandse markt) door een toezichthouder worden genomen waarin de effectiviteit van (‘ingebouwde’) TPR wordt getoetst. Ook zouden reguleringsovereenkomsten met AI ontwikkelaars kunnen worden gesloten (al dan niet na een aanbesteding) waarin het naleven van TPR wordt overeengekomen.21

Leidt het vorenstaande nu ook tot de noodzaak van aanpassingen in de Awb? Tot nu toe heeft de Centrale Raad beperkingen gesteld aan door de overheid gebruikte hulpmiddelen in het kader van toezicht in het sociale domein. Die beperkingen lijken ook voor AI relevant. De Centrale Raad achtte het heimelijk gebruik van een camera in strijd met artikel 8 EVRM nu dit geen toereikende grondslag vindt in afdeling 5.2 Awb (en overigens ook niet in specifieke wetgeving) omdat niet is bepaald onder welke voorwaarden een technisch hulpmiddel bij de opsporing mag worden ingezet en niet is geregeld in welke gevallen en gedurende welke periode een technisch hulpmiddel mag worden gebruikt. Daarmee was dit volgens de Centrale Raad onvoldoende voorzienbaar.22 Ook aan stelselmatige observaties kleeft volgens de Centrale Raad een vergelijkbaar problem.23 Dit lijkt ook relevant voor AI; het gebruik van AI bij controles in dit domein zal daarom niet zonder meer geoorloofd zijn. Nu het gebruik van AI bij toezicht door de overheid wellicht in meer algemene zin gebruikt zal gaan worden, ligt het gelet op de rechtspraak van de Centrale Raad voor de hand hiervoor in afdeling 5.2 Awb een voorziening te treffen. Daarin zou onder meer duidelijk moeten worden gemaakt welke voorwaarden voor het gebruik van AI gelden. Overigens is het waarschijnlijk verstandig om die gelet op de snelheid van de ontwikkelingen niet specifiek op een bepaalde (AI) techniek toe te spitsen maar meer techniek-neutraal te formuleren. Voorts ligt het voor de hand dat de overheid zich in het kader van de motivering(splicht in het kader) van met behulp van AI genomen besluiten niet kan verschuilen achter de door de AI genomen beslissing zonder de daarin gemaakte afwegingen expliciet aan haar motivering ten grondslag te leggen en waar nodig uit te leggen. Daarvoor lijkt echter geen aanpassing van de Awb nodig. Dit vereiste kan immers (in de rechtspraak) ook op grond van de huidige regeling al worden gesteld. In dat verband heeft de Afdeling overwogen dat geautomatiseerde besluitvorming onder omstandigheden niet voldoende inzichtelijk en controleerbaar is vanwege een gebrek aan inzicht in de gemaakte keuzes en de gebruikte gegevens en aannames. Daarom dient een bestuursorgaan volgens de Afdeling de gemaakte keuzes en de gebruikte gegevens en aannames volledig, tijdig en uit eigen beweging openbaar te maken op passende wijze zodat deze keuzes, gegevens en aannames voor derden toegankelijk zijn. Dit moet het ook mogelijk maken om de gemaakte keuzes en de gebruikte gegevens en aannames te beoordelen of te laten beoordelen.24

Daarnaast is de vraag of aanpassing van de Awb noodzakelijk is teneinde toezichthouders op zinvolle wijze toezicht te kunnen laten houden op (het implementeren van TPR in verband met) AI die door niet-overheden wordt gebruikt. In dat verband rijst allereerst de vraag of meer toezichthouders of (andere) toezichtsbevoegdheden bij bestaande toezichthouders in het leven zouden moeten worden geroepen om de risico’s van AI te beperken. Niet ondenkbaar is dat de hiervoor bedoelde risicogerichte analyse meebrengt dat dit inderdaad het geval is voor sommige soorten (toekomstige) AI. Dat is echter niet zozeer een vraag naar aanpassing van de Awb, maar veeleer van het aanpassen of in het leven roepen van wetgeving op de bijzondere terreinen van het bestuursrecht. Ten aanzien van de Awb is relevant om te bezien of de huidige toezichtsmogelijkheden toereikend zijn. Met name valt te denken aan artikel 5:16 (het recht inlichtingen te vorderen) en artikel 5:17 Awb (inzage in zakelijke bescheiden) voor zover tot bescheiden ook AI wordt gerekend. Er zouden daarvan uitgaande aan een programmeur van AI inlichtingen kunnen worden gevraagd over de werking van AI (die op de Nederlandse markt wordt gebracht of hier wordt gebruikt). Zeker bij deep learning kan echter het probleem zijn dat de programmeur ook niet weet wat AI precies heeft gedaan. De inlichtingen zouden echter kunnen zien op de vraag welke algoritmes zijn gebruikt, of ‘safety by design’ is ingebouwd, of TPR is gevolgd en of aan de daarin gestelde eisen is voldaan en de vraag of en welke de systemen aan elkaar zijn gekoppeld. Daarnaast zouden inlichtingen of inzage (op de voet van artikel 5:17 Awb) kunnen worden gevraagd omtrent de afwegingen die de AI heeft gemaakt. Op zichzelf lijken de huidige bevoegdheden derhalve, mits enigszins extensief geïnterpreteerd, toereikend te zijn. Probleem is echter dat (zeker deep learning) AI de transparantie om dergelijke bevoegdheden uit te kunnen oefenen thans nog niet of alleen zeer beperkt biedt.25 Probleem is daarmee niet zozeer dat de bestaande toezichtsbevoegdheden moeten worden uitgebreid als wel dat AI voldoende transparantie moet gaan bieden om die bevoegdheden uit te kunnen oefenen. Er worden in dat verband al mondjesmaat toepassingen ontwikkeld die kunnen uitleggen hoe en waarom AI een bepaalde beslissing heeft genomen.26 Dergelijke toepassingen zouden in AI kunnen worden ingebouwd. De vraag is echter of de eis van transparantie in het kader van toezicht in afdeling 5.2 Awb zou moeten worden opgenomen. Dat ligt niet voor de hand omdat de (technische) wijze waarop dit inzicht kan/moet worden geboden aan snelle veranderingen onderhevig zal zijn en per toepassing kan verschillen. Het ligt dus meer voor de hand dat de toezichthouders (en andere overheden) het gebruik van effectieve TPR die dergelijke transparantie voorschrijft stimuleren en wellicht in het kader van een (bijzondere wettelijke) regeling of toelatingsbesluiten voor specifieke (zeer) risicovolle AI dergelijke eisen stellen.

Het inrichten van een effectief reguleringslandschap dat voldoende is toegerust op (de risico’s van) AI zal derhalve vooral voor het gebruik van AI door de overheid enige aanpassing van de Awb vergen (in mindere mate voor het gebruik van AI door private partijen), het sturen op het gebruik van effectieve TPR en het voldoende opbouwen van kennis en voorzien van middelen van publieke toezichthouders.