Verklaarbaarheid van AI: technische en juridische uitdagingen

Deze blog is mede geschreven door Jolien Clemens.

We komen meer in aanraking met AI dan we beseffen. Denk maar aan een leningsaanvraag bij een bank: de bank beoordeelt uw kredietwaardigheid met behulp van een nieuw AI-systeem.  Wanneer het resultaat van de beoordeling van het AI-systeem negatief is, krijgt u te horen dat u niet aan alle eisen voldoet. U kunt de bank vragen waarom uw leningsaanvraag werd afgewezen, en wat u kan veranderen om de volgende keer een positieve beoordeling door het AI-systeem te krijgen. Het kan moeilijk zijn voor de bank om u al die informatie te geven, aangezien de meeste AI-systemen werken als een Black Box.

In het recente voorstel van de Commissie voor een AI-verordening wordt de verklaarbaarheid van AI-besluiten naar voren geschoven als een methode om het vertrouwen van het publiek te bevorderen. Ook in het Europese witboek over AI wordt uitgebreid aandacht besteed aan transparantie van AI als een belangrijke vereiste voor de ontwikkeling van betrouwbare AI. Ook al is er in de EU nog geen specifieke AI-regelgeving van kracht, toch kunnen bedrijven al op grond van de AVG worden gevraagd AI-beslissingen uit te leggen. Dat streven naar transparantie of verklaarbaarheid van AI gaat niet zonder slag of stoot. Eerst zoomen we in op de technische uitdagingen die gepaard gaan met het uitleggen van AI-beslissingen. Vervolgens geven we een overzicht van de wettelijke verplichtingen en uitdagingen die komen kijken bij het proberen verklaren van AI.

Technische uitdagingen

Wij zullen ons buigen over twee belangrijke technische uitdagingen. De eerste is het Black Box-probleem van AI, wat betekent dat gebruikers moeite hebben om te begrijpen hoe een AI-systeem functioneert en tot beslissingen komt. Ten tweede zullen we een nogal onbelicht deel van het juridisch onderzoek onder de loep nemen, namelijk de keerzijden van het verklaren van AI.

De Black Box van AI uitgelegd

Een van de problemen die AI oproept, is het gebrek aan transparantie. De meer complexe AI-systemen (bijvoorbeeld diepe neurale netwerken) functioneren als een Black Box: het is soms onmogelijk te weten hoe het AI-systeem tot een conclusie is gekomen, zelfs voor de ontwikkelaar. Een AI-systeem leert en creëert regels door te trainen met datasets. Die regels die tijdens de trainingsfase worden gecreëerd, kunnen worden gebruikt voor latere aanbevelingen of voorspellingen. Omdat AI-systemen autonoom kunnen leren, kan het zelfs voor ontwikkelaars moeilijk zijn om te begrijpen hoe het systeem precies werkt, wat problematisch is omdat de AVG voorschrijft dat de “logica van het systeem” moet worden uitgelegd (Zie art. 13 (2) (f) GDPR, art. 14 (2) (g) GDPR, art. 15 (1) (g) GDPR). De laatste jaren is er uitgebreid onderzoek gedaan naar manieren om de Black Box te openen, onder de naam “Explainable Artificial Intelligence (XAI)”. XAI onderzoekt de mogelijkheid om AI te ontwikkelen die verklaarbaar is en toch een hoog niveau van nauwkeurigheid blijft behouden. Het onderzoek staat echter nog in de kinderschoenen en vindt voornamelijk plaats in de VS. Als Europa niet achterop wil raken in de AI-revolutie, waarin China en de VS momenteel een leiderspositie hebben, zou het slim zijn te investeren in het onderzoek naar en de ontwikkeling van XAI.

De keerzijde van het uitleggen van AI

Ondanks de aanhoudende vraag voor transparante AI, kan men zich afvragen of dit eigenlijk wel wenselijk is. Het vergroten van de transparantie van AI heeft een keerzijde, in de literatuur omschreven als 'de AI-transparantieparadox'. Wanneer de gebruiker van een AI-systeem precies weet hoe het AI-systeem tot een beslissing komt, kan hij zijn gedrag van tevoren strategisch aanpassen en daarmee ook de uitkomst van het AI-systeem in zijn voordeel veranderen. Dat fenomeen staat bekend als “the gaming of AI”. Een ander obstakel is de veiligheid: transparante AI-systemen zijn kwetsbaarder voor hacking en bugs. Zowel het “gaming”- als het “hacking”-probleem vormt een aanzienlijk risico voor de efficiëntie en betrouwbaarheid van een AI-systeem. Met andere woorden, zelfs als onderzoek de Black Box van AI kan veranderen in een Glass Box, is dit niet noodzakelijk een gewenst resultaat. Daarom moet een compromis worden bereikt tussen de transparantie van AI enerzijds en de betrouwbaarheid en nauwkeurigheid van AI anderzijds.

Juridische uitdagingen

De verklaarbaarheid van AI stuit op ten minste twee soorten uitdagingen: ten eerste moet de verstrekte uitleg begrijpelijk zijn voor de gebruikers, en ten tweede kan de verstrekte informatie over het AI-systeem op gespannen voet staan met de bescherming door intellectuele eigendomswetgeving.

Verklaarbaarheid van AI en de AVG

In de rechtsleer is er momenteel enige discussie over het bestaan van een recht op uitleg in de AVG. Er zijn in totaal drie rechtsgrondslagen waaronder een recht op uitleg zou kunnen vallen. De eerste zijn de informatieverplichtingen (artikel 12 tot 14 AVG). De tweede mogelijkheid is het recht op toegang (artikel 15 AVG). De laatste rechtsgrondslag is het recht om niet te worden onderworpen aan een uitsluitend op geautomatiseerde verwerking gebaseerd besluit (artikel 22 AVG), met de bijbehorende rechtsoverweging 71.

In de tekst van de AVG wordt een recht op uitleg niet uitdrukkelijk vermeld, en het bestaan zelf van het recht in de AVG is dan ook een punt van discussie. De enige vermelding van een recht op uitleg ex post is te vinden in rechtsoverweging 71, waarin staat dat de betrokkene het recht heeft “om uitleg te krijgen over het genomen besluit”. Het is betreurenswaardig dat de EU-wetgever ervoor heeft gekozen dit belangrijke recht slechts in een rechtsoverweging op te nemen. Gezien de aard van rechtsoverwegingen, leidde dit tot het nog steeds lopende debat over de vraag of er al dan niet een individueel recht op uitleg bestaat. Sommige auteurs interpreteerden de artikelen strikt, en stelden dat er alleen een verplichting is om ex ante informatie te verstrekken over hoe het AI-systeem functioneert. Anderen verdedigden de opvatting dat aan elke betrokkene ook ex post individuele informatie over het genomen besluit moet worden verstrekt, omdat dit de enige manier zou zijn om de rechten waarin de AVG voorziet, effectief te maken.

Afgezien van de vraag of er een concreet individueel recht op uitleg bestaat, kan van ondernemingen niettemin worden verlangd dat zij uitleggen hoe een AI-systeem tot een beslissing is gekomen, en dat zij zinvolle informatie verstrekken over de “logica” van het systeem. Door de Black Box van AI kan dit een moeilijke taak zijn voor bedrijven. Zelfs als het mogelijk zou zijn het besluitvormingsproces van AI uit te leggen, dan nog is het verstrekken van informatie in een beknopt, transparant, begrijpelijk en gemakkelijk toegankelijk format, met gebruikmaking van duidelijke en heldere taal (artikel 12 lid 1 AVG), een andere hindernis die moet worden overwonnen. Technische informatie over de broncode van het AI-systeem zal voor een gemiddelde betrokkene zeker niet te begrijpen zijn, en is zelfs beschermd tegen onrechtmatige openbaarmaking onder het intellectuele eigendomsrecht. Welke specifieke informatie moet worden verstrekt, wordt niet duidelijk gemaakt in de AVG, en het zal zeker afhangen van de omstandigheden van het geval, de gebruikte technologie, de kennis van de betrokkene, enz. Meer informatie over deze kwestie zou welkom zijn, aangezien bedrijven die momenteel AI-systemen gebruiken, nu enigszins in het duister tasten.

Bescherming van intellectuele eigendom en verklaarbaarheid van AI

Er is niet alleen een technische moeilijkheid bij het uitleggen van AI, maar er kan ook een juridische moeilijkheid zijn vanwege de bescherming van bedrijfsgeheimen. In 2016 heeft de EU de Richtlijn (EU) 2016/943 van het Europees Parlement en de Raad betreffende de bescherming van niet-openbaargemaakte knowhow en bedrijfsinformatie (bedrijfsgeheimen) tegen de onrechtmatige verkrijging, gebruik en openbaarmaking (Richtlijn Bedrijfsgeheimen) aangenomen. De Richtlijn Bedrijfsgeheimen beschermt niet-openbaargemaakte knowhow en bedrijfsinformatie tegen onrechtmatige verkrijging, gebruik en openbaarmaking. Een AI-systeem dat door een bedrijf wordt gebruikt, kan onder de ruime definitie uit de Richtlijn Bedrijfsgeheimen als een bedrijfsgeheim worden beschouwd. Informatie wordt als bedrijfsgeheim beschouwd als zij vertrouwelijk is, een commerciële waarde heeft en als door de rechtmatige eigenaar van de informatie redelijke stappen worden ondernomen om de informatie geheim te houden.

Als AI-systemen ook kunnen worden beschermd op grond van de Richtlijn Bedrijfsgeheimen, is er een potentiële botsing met de AVG, die van de verwerkingsverantwoordelijken en/of de verwerkers eist dat zij de logica van het door hen gebruikte AI-systeem toelichten. Geen van beide wetsteksten biedt een antwoord op deze potentiële botsing. Integendeel, beide teksten bepalen dat in geval van een conflict de andere voorrang moet krijgen, wat ongetwijfeld tot verwarring leidt. In rechtsoverweging 35 van de Richtlijn Bedrijfsgeheimen staat dat deze “de in de AVG neergelegde rechten en plichten onveranderd laat”. Terwijl de AVG bepaalt dat “het recht van toegang voor de betrokkene geen afbreuk mag doen aan de rechten of vrijheden van anderen, met inbegrip van handelsgeheimen of intellectuele eigendom en in het bijzonder auteursrechtelijk beschermde software”. In een dergelijke situatie zou een interpretatie door het Hof van Justitie zeker helpen om deze kwestie op te lossen.

Conclusie

Margrethe Vestager zei: “On AI, trust is a must, not a nice to have”. Het idee is altijd geweest dat er pas vertrouwen in AI zal komen als AI-systemen beter verklaarbaar worden. Deze blogpost heeft geprobeerd een overzicht te geven van de technische en juridische uitdagingen die gepaard gaan met het proberen uit te leggen van AI-beslissingen. Die uitdagingen moeten zeker worden meegenomen in de discussies die momenteel in de Raad van de Europese Unie worden gevoerd over de goedkeuring van de AI-verordening. Het belangrijkste aandachtspunt in de discussies moet zijn om een evenwicht te vinden tussen AI-transparantie en AI-nauwkeurigheid, alsook de IP-kwestie: hoe kunnen AI-beslissingen worden uitgelegd zonder de IP-wetgeving te schenden?

Het bereiken van een consensus over een nieuwe verordening werd altijd als een uitdaging beschouwd. Het valt nu al te verwachten dat de discussies over de AI-aanpak verhit zullen zijn en veel tijd in beslag zullen nemen. Maar aangezien de technologie zich blijft ontwikkelen zonder dat een duidelijk regelgevingskader daarop reageert, moet er snel werk gemaakt worden van de AI-verordening.

Lees ook: What do you need to know about the AI Act

Heeft u een specifieke vraag of wenst u ondersteuning in deze zaak? Wij helpen u graag. Neemt u in dat geval contact op met een Timelex-advocaat.