Valt uw systeem binnen de reikwijdte van de AI-verordening?

De AI Verordening ((EU) 2024/1689) kan veel vragen met zich brengen voor bedrijven die werken met artificial intelligence, vooral nu deze verordening al gedeeltelijk van toepassing is.

AI verordening (EU) 2024/1689

Wat is een “AI-systeem”?

Dit artikel zal ingaan op een kleine bepaling binnen deze wet die grote gevolgen met zich meebrengt, namelijk artikel 3(1).

Deze bepaling legt uit wat een “AI-systeem” is, en bepaalt op welke systemen of software de AI-verordening van toepassing is. Als de verordening van toepassing is, brengt dit een groot aantal rechten en plichten met zich mee voor verschillende partijen. Het is daarom belangrijk om te weten of iets binnen de reikwijdte van de verordening valt. Dit artikel zal kort iets vertellen over de AI-verordening en zal daarna een focus leggen op de uitleg en nuances rondom dit begrip om meer duidelijkheid te verschaffen over de reikwijdte van de verordening.

Achtergrond AI-verordening

De AI-verordening trad op 1 augustus 2024 in werking, maar bracht toen nog geen verplichtingen met zich mee. Europa heeft namelijk gekozen voor een stapsgewijze implementatie.

De eerste implementatiefase heeft op het moment van publicatie van dit artikel al plaatsgevonden. Op 2 februari 2025 zijn hoofdstuk 1 en 2 van de verordening namelijk in werking getreden. Deze hoofdstukken bevatten belangrijke bepalingen, zoals de wettelijke definities die in de verordening worden gebruikt en de lijst met verboden AI-systemen.

De overige regels zijn nu nog niet van toepassing en de de classificatieregels van AI-systemen met een hoog risico, treden bijvoorbeeld pas in werking op 2 augustus 2027.

De definitie van een AI-systeem

Één van de belangrijke wettelijke definities die al is ingetreden, is die van het begrip “AI-systeem”. Zo luidt artikel 3(1) Van de AI Verordening:

• “AI-systeem”:
  1. een op een machine gebaseerd systeem,
  2. dat is ontworpen om met verschillende niveaus van autonomie te werken,
  3. en dat na het inzetten ervan aanpassingsvermogen kan vertonen,
  4. en dat, voor expliciete of impliciete doelstellingen,
  5. uit de ontvangen input afleidt hoe output te genereren
  6. zoals voorspellingen, inhoud, aanbevelingen of beslissingen
  7. die van invloed kunnen zijn op fysieke of virtuele omgevingen.

Disclaimer en leeswijzer

Het is echter wel belangrijk om te begrijpen dat de huidige uitleg van Europese Commissie over dit onderwerp niet bindend is en aan verandering onderhevig is. Het begrip “AI-systeem” moet namelijk mee kunnen gaan met de snelle technologische ontwikkelingen binnen dit gebied. Ook zijn er op dit moment nog geen uitspraken van het Hof van Justitie van de Europese Unie, waardoor de uitleg van de Commissie vrijwel de enige bruikbare bron is om de AI-verordening betrouwbaar te interpreteren. De kans is wel groot dat het Hof hier (grotendeels) in mee zal gaan.

Dit artikel kan worden ontleed in 7 delen, die hierboven zijn aangegeven. Het los bekijken van deze delen maakt het simpeler en overzichtelijker om te begrijpen wat er precies onder het begrip “AI-verordening” valt, wat erg belangrijk is om te weten, omdat de AI-verordening niet van toepassing is op software of systemen die niet onder deze definitie vallen. De verschillende punten zullen hieronder worden geanalyseerd met behulp van voorbeelden.

AI verordening (EU) 2024/1689: artikel 3(1)

Een op een machine gebaseerd systeem (1)

Dit is een vrij simpel vereiste. Het is bijna niet voor te stellen dat een AI-systeem niet op een machine is gebaseerd. Machines zijn zowel voor de ontwikkeling van een AI-systeem en het gebruik ervan nodig. Onder de term “machine” vallen zowel hardware en software. Die zijn allebei nodig om een AI-systeem te laten functioneren. Verder geeft de Commissie ook aan dat veel verschillende computersystemen onder dit begrip kunnen vallen, dus ook nieuwe computersystemen die nog in ontwikkeling zijn. Denk hierbij aan een kwantumcomputer. Dit laat ook zien dat de Commissie al volop denkt aan toekomstige ontwikkelingen.

Verschillende niveaus van autonomie (2)

Dit vereiste van een AI-systeem gaat over de communicatie tussen mens en machine.

Een AI-systeem moet tot een zekere hoogte kunnen functioneren zonder menselijke inmenging of tussenkomst. Het kan zijn dat een AI-systeem compleet zonder mensen kan functioneren en dus volledig autonoom is, maar dat is hier geen wettelijk vereiste.

Zolang een AI-systeem een redelijk niveau van zelfstandigheid heeft, is het voldoende.

Een voorbeeld hiervan is bijvoorbeeld een chatbot. Een mens geeft de input, maar heeft geen complete handmatige controle over de output. De output genereert de chatbot namelijk zelf, en dat is een zekere mate van autonomie. Ook een robotstofzuiger met AI wordt niet compleet door een mens bestuurd met bijvoorbeeld een afstandsbediening, maar bepaalt zelf routes op basis van de omgeving (met behulp van sensoren en camera's). Een simpele rekenmachine valt bijvoorbeeld juist niet onder de notie van een AI-systeem omdat een mens de input geeft in de vorm van een berekening, en de output direct is bepaald door die input. Hij maakt geen zelfstandige beslissingen over de uitkomst van een rekensom. Een duidelijk minimumvereiste aan autonomie is er dus niet, maar de drempel ligt niet erg hoog.

Aanpassingsvermogen na het inzetten (3)

Deze zinsnede gaat over aanpassingen van AI-systemen in de gebruiksfase, dus niet in de ontwikkelingsfase.

Met aanpassingsvermogen wordt bedoeld dat AI-systemen zichzelf kunnen trainen en ontwikkelen / aanpassen, door bijvoorbeeld nieuwe patronen binnen data te ontdekken, die tijdens de ontwikkelingsfase niet getraind waren. Dit kan dan weer leiden tot het geven van andere output op dezelfde input. Ook is dit geen vereiste van een AI-systeem, maar een mogelijkheid. Een AI-systeem dat geen aanpassingsvermogen heeft na het inzetten ervan, kan nog steeds onder de verordening vallen.

Een voorbeeld van aanpassingsvermogen van een AI-systeem is bijvoorbeeld een spamfilter dat zichzelf kan trainen. Een spamfilter wordt vaak getraind met een grote hoeveelheid mails die worden gelabeld als spam of geen spam. Hierdoor leert het AI-systeem bijvoorbeeld welke woorden er vaak worden gebruikt in spam mails. Als dit systeem vervolgens wordt ingezet, dan blijft het doorleren als mensen mails markeren als spam, waardoor het nieuwe vormen van spam leert herkennen.

Expliciete en impliciete doelstellingen (4)

Deze eis houdt in dat een AI-systeem een interne doelstelling nodig heeft, die impliciet of expliciet is.

Een interne doelstelling is een doel dat blijkt uit de interne werking van het systeem, dus bijvoorbeeld uit de codering. Dit is expliciet als het doel direct uit de codering blijkt, zoals een ingestelde formule, en impliciet als het doel niet direct uit de codering blijkt, maar bijvoorbeeld uit het gedrag van het systeem.

Voorbeelden van doelstellingen zijn bijvoorbeeld het categoriseren van bepaalde e-mails als spam of foutmarges minimaliseren. Ieder AI-systeem heeft een of meer van deze interne doelstellingen nodig.

Let op: dit begrip is niet hetzelfde als het beoogde doel uit artikel 3(12) van de verordening. Dat gaat namelijk niet over interne, maar over externe doelen: de context en het gebruik waarvoor het systeem door de aanbieder is ontwikkeld. Denk bijvoorbeeld aan een AI-systeem dat een HR-afdeling moet ondersteunen bij bepaalde taken. Het beoogde doel is geen onderdeel van de definitie van een AI-systeem in artikel 3(1). Het beoogde doel is wel relevant voor andere onderdelen van de AI-verordening, zoals het voorkomen en beperken van risico's rondom het gebruik van AI-systemen met een hoog risico (zie bijvoorbeeld artikel 14(2)).

Uit de ontvangen input afleiden hoe output te genereren (5)

Het vijfde kenmerk van een AI-systeem, is dat het op basis van input moet afleiden hoe het vervolgens output moet generen.

Het systeem moet het vermogen hebben om nieuwe kennis af te kunnen leiden uit bestaande kennis, wat door de Commissie ook “inferentie” (afleidingsvermogen) wordt genoemd. Dit kenmerk onderscheidt AI-systemen van simpele software programma's die enkel vaste, voorgeprogrammeerde stappen volgen zonder zelf te leren of redeneren. Technieken die ervoor zorgen dat een systeem afleidingsvermogen heeft, zijn bijvoorbeeld machine learning methoden waardoor systemen van data leren hoe bepaalde resultaten bereikt kunnen worden. De manier van machine learning (zoals deep learning of reinforcement learning) maakt daarbij niet erg uit.

Een systeem dat puur gebaseerd is op door mensen vastgelegde regels om automatisch taken uit te voeren, valt niet onder de definitie van een AI-systeem. Toch kunnen ook systemen met enig afleidingsvermogen buiten deze definitie vallen. Dit is het geval wanneer het vermogen om af te leiden te beperkt is, bijvoorbeeld doordat het systeem geen complexe patronen kan analyseren en de output niet zelfstandig of op intelligente wijze kan aanpassen.

Een voorbeeld hiervan is een systeem dat machine learning toepast om natuurkundige simulaties te versnellen, zoals bij weersvoorspellingen. Als het machine learning-model enkel parameters voorspelt die vervolgens in bestaande natuurkundige modellen worden ingevoerd, zonder dat het model zichzelf aanpast of van gegevens leert tijdens het gebruik, wordt het afleidingsvermogen als onvoldoende beschouwd om als AI-systeem te kwalificeren.

Ook een systeem dat de temperatuur van morgen of volgende week voorspelt op basis van van de algemene temperatuur van de voorgaande week of weken, valt buiten de AI-verordening. Het afleidingsvermogen is ook hier beperkt en is meer een eenvoudige vorm van statistisch leren.

Output in de vorm van o.a. voorspellingen, inhoud, aanbevelingen of beslissingen (6)

De AI-verordening noemt vier soorten output die AI-systemen kunnen genereren. Genoemd zijn:

1. voorspellingen,
2. inhoud,
3. aanbevelingen en
4. beslissingen.

Deze lijst is niet limitatief, dus andere vormen van output zijn ook te bedenken.

Wat AI-systemen onderscheidt van traditionele software is hun vermogen om dit soort outputs te genereren op basis van geleerd gedrag of complexe logica, in plaats van vaste regels.

De Europese Commissie heeft ook voorbeelden en uitleg gegeven bij deze vormen van output om nog duidelijker te maken wat er wel en niet valt onder het begrip AI-systeem. Zo geeft de Commissie aan dat voorspellingen de meest voorkomende vorm van AI-systeem output zijn en dat ze vaak de minste mate van menselijke betrokkenheid nodig hebben bij de generatie ervan.

Een duidelijk voorbeeld dat ze geven over voorspellende output, is zelfrijdende auto's. Die moeten continu real-time voorspellingen doen in een ontzettend complexe en dynamische omgeving waarin bijna zich bijna oneindig verschillende situaties kunnen voordoen. Zo'n systeem past dus zeker binnen de AI-verordening.

Daarentegen past een systeem dat voorspellingen doet louter op basis van bestaande data of vastgestelde regels niet binnen de Verordening omdat ze niet kunnen functioneren met genoeg complexiteit.

Invloed op virtuele of fysieke omgeving (7)

Het laatste kenmerk van een AI-systeem, is dat het fysieke of virtuele omgevingen kan beïnvloeden. Dit hoeft het systeem niet continu te doen, maar het moet wel de mogelijkheid hebben om dit te kunnen doen bij ten minste één van deze omgevingen. Dit kenmerk laat zien dat AI-systemen niet passief zijn, maar een effect hebben op de omgevingen waarbinnen ze worden gebruikt. Een voorbeeld van invloed op fysieke omgeving is een robotarm die is getraind om objecten te verplaatsen. Veranderingen binnen software vallen bijvoorbeeld onder invloed op virtuele omgeving.

Conclusie

De definitie van een AI-systeem in artikel 3(1) AI-verordening is ruim, maar zorgvuldig opgebouwd uit meerdere elementen. Niet elk element hoeft in de praktijk volledig aanwezig te zijn (zoals het aanpassingsvermogen), maar de kern ligt bij het vermogen om op basis van input zelfstandig tot relevante output te komen die invloed heeft op de (virtuele of fysieke) omgeving.

Tip voor ontwikkelaars

Softwareontwikkelaars doen er daarom goed aan om hun systemen kritisch langs deze elementen te leggen om te bepalen of de AI-verordening van toepassing is op hun systemen. Ook is het belangrijk om bij te houden of en wanneer de Europese Commissie nieuwe interpretaties geeft aan dit begrip.

Virtuele Juridische Afdeling

Wilt u gebruikmaken van onze parate kennis en ons met enige regelmaat bellen? Neem een abonnement op de Virtuele Juridische Afdeling. Mail direct even dan ontvangt u vrijblijvend de voorwaarden.

Meer weten? Bel of mail gerust:

T. +31(0)70-3819281
E. info@wisemen.nl

Voor de laatste ontwikkelingen schrijft u zich nu in voor de

WiseMen Nieuwsflits!v