De AI-verordering komt eraan

Op 21 mei 2024 heeft de Raad van de Europese Unie de Verordening artificiële intelligentie (de "AI-verordening") officieel goedgekeurd. Daarmee is een einde gekomen aan een wetgevingsproces dat drie jaar heeft geduurd. De AI-verordening, ook wel bekend als de AI Act, is een Europese verordening en wordt gezien als de allereerste uitgebreide wet over kunstmatige intelligentie ter wereld.

Inwerkingtreding en tijdlijn

De AI-verordening wordt naar verwachting op 12 juli 2024 in het Publicatieblad van de EU gepubliceerd en zal twintig dagen daarna in werking treden. De meeste bepalingen van de AI-verordening worden na een implementatietermijn van twee jaar in de EU van kracht, met enkele uitzonderingen:

• AI-systemen met een onaanvaardbaar risico worden zes maanden na inwerkingtreding verboden;
• Transparantieverplichtingen voor AI-systemen voor algemene doeleinden zullen één jaar na inwerkingtreding gaan gelden; en
• Verplichtingen voor AI-systemen met een hoog risico zullen na drie jaar van toepassing worden.

Toepassingsgebied

'AI-systeem' wordt in de AI-verordening gedefinieerd als "een op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen".

Dit is een brede definitie. AI-systemen worden hier onderscheiden van reguliere softwaretoepassingen, waarin autonomie en het vermogen om zich aan de ontvangen input aan te passen ontbreken.

Nadrukkelijk uitgesloten van het toepassingsgebied van de AI-verordening zijn AI-systemen en -modellen die specifiek zijn ontwikkeld en in gebruik zijn gesteld met onder meer wetenschappelijk onderzoek en wetenschappelijke ontwikkeling als enig doel, of commerciële onderzoeks-, ontwikkelings- en prototypingactiviteiten alvorens zij in de handel worden gebracht. Ook is de verordening niet van toepassing op natuurlijke personen die AI-systemen gebruiken in het kader van een louter persoonlijke niet-professionele activiteit.

Geografisch gezien geldt de AI-verordening voor (i) AI-systemen die in de EU in de handel worden gebracht of in gebruik worden gesteld, (ii) gebruikers van AI-systemen die zich in de EU bevinden en (iii) aanbieders en gebruiksverantwoordelijken van AI-systemen die buiten de EU zijn gevestigd, indien de output van het AI-systeem in de EU wordt gebruikt.

De AI-verordening reguleert niet alleen de AI-systemen zelf, maar ook de aanbieders, gebruiksverantwoordelijken (gebruikers), importeurs en distributeurs van AI-systemen in zowel de publieke als private sector. In deze nieuwsupdate richten wij ons op de verplichtingen voor aanbieders en gebruiksverantwoordelijken. Gebruiksverantwoordelijken zijn de partijen die een AI-systeem onder eigen verantwoordelijkheid gebruiken.

Risicoclassificatie AI-systemen

De AI-verordening reguleert AI-systemen op basis van een risicogebaseerde aanpak, door deze in vier categorieën in te delen:

1. Onaanvaardbaar risico: systemen die een onaanvaardbaar risico uitlokken, zoals AI-systemen die worden gebruikt om cognitief gedrag te manipuleren, een beoordeling van natuurlijke personen ('social scoring') uit te voeren, emoties van een natuurlijk persoon op de werkplek of in het onderwijs af te leiden, of biometrische identificatie in real time uit te voeren, met enkele uitzonderingen voor rechtshandhaving en nationale veiligheid.
2. Hoog risico: AI-systemen worden als hoogrisicosystemen beschouwd als ze aan de volgende twee voorwaarden voldoen: (i) het AI-systeem is bedoeld om te worden gebruikt als veiligheidscomponent van een product of het AI-systeem is zelf een product dat valt onder bepaalde in bijlage I bij de AI-verordening opgenomen Europese wetgeving, zoals de Speelgoedrichtlijn (2009/48/EG) en de Verordening medische hulpmiddelen (2017/745/EU), en (ii) voor het product waarvan het AI-systeem de veiligheidscomponent vormt of voor het AI-systeem als product zelf moet een conformiteitsbeoordeling door een derde partij worden uitgevoerd op grond van de in bijlage I bij de AI-verordening opgenomen wetgeving. Het kan daarbij gaan om AI-systemen als veiligheidscomponenten van medische hulpmiddelen en AI-systemen die industriële machines zijn. Daarnaast worden in de AI-verordening bepaalde specifieke systemen als AI-systeem met een hoog risico beschouwd, zoals AI-systemen die worden gebruikt voor biometrische identificatie op afstand, kritieke infrastructuur, onderwijs, werkgelegenheid, kredietscores, rechtshandhaving, migratie en het democratische proces, behalve wanneer deze systemen geen significant risico op schade voor de gezondheid, veiligheid of de grondrechten van natuurlijke personen inhouden.
3. Beperkt risico/transparantierisico: dit betreft onder meer systemen die direct met natuurlijke personen interageren, zoals chatbots, systemen die audio-, beeld-, video- of tekstcontent genereren, systemen voor het herkennen van emoties, en systemen die deepfakes genereren.
4. Minimaal risico: alle overige AI-systemen.

Gevolgen risicoclassificatie

De gevolgen van elke risicocategorie zijn als volgt:

• Onaanvaardbaar risico AI-systemen zijn verboden.
• Hoog risico Op deze AI-systemen is het merendeel van de verplichtingen van toepassing, zoals hieronder nader wordt beschreven.
• Beperkt risico Voor AI-systemen gelden alleen transparantievereisten. Zo moeten mensen die met chatbots interageren door de aanbieders van die systemen ervan in kennis worden gesteld dat zij interageren met een AI-systeem, en moeten gebruiksverantwoordelijken van AI-systemen die deepfakes genereren kenbaar maken dat de content kunstmatig is gegenereerd.
• Minimaal risico De AI-verordening is niet van toepassing op AI-systemen.

Verplichtingen van aanbieders en gebruiksverantwoordelijken van AI-systemen met een hoog risico

Het merendeel van de verplichtingen in de AI-verordening zijn gericht op aanbieders van AI-systemen met een hoog risico. Deze aanbieders moeten onder meer: 

• Een systeem voor risicobeheer en een systeem voor kwaliteitsbeheer vaststellen, uitvoeren, documenteren en in stand houden.
• Trainings-, validatie- en testdata gebruiken die aan bepaalde criteria voldoen. Dit houdt bijvoorbeeld in dat deze data voldoende representatief en zoveel mogelijk foutenvrij en volledig moeten zijn met het oog op het beoogde doel.
• Technische documentatie en gebruiksaanwijzingen opstellen.
• Erop toezien dat het AI-systeem dusdanig is vormgegeven dat gebeurtenissen gedurende de levenscyclus van het systeem automatisch worden geregistreerd. Aanbieders moeten deze logs ook bewaren.
• Een AI-systeem op zodanige wijze ontwerpen en ontwikkelen dat hierop op doeltreffende wijze toezicht kan worden uitgeoefend door natuurlijke personen en dat deze een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging bieden.
• Ervoor zorgen dat voor het AI-systeem een conformiteitsbeoordeling wordt uitgevoerd en dat een conformiteitsverklaring wordt opgesteld en een CE-markering op het AI-systeem met een hoog risico wordt aangebracht.

In de AI-verordening wordt daarnaast bepaald dat gebruiksverantwoordelijken van AI-systemen:

• Passende technische en organisatorische maatregelen moeten nemen om te waarborgen dat zij AI-systemen met een hoog risico gebruiken in overeenstemming met de gebruiksaanwijzingen.
• Het menselijk toezicht moeten opdragen aan personen die over de nodige bekwaamheid, opleiding en autoriteit beschikken. 
• De werking van het AI-systeem met een hoog risico moeten monitoren en de logs die door het systeem worden gegenereerd moeten bewaren. 
• Voordat het systeem in gebruik wordt gesteld een beoordeling moeten uitvoeren van de gevolgen voor de grondrechten.

AI-modellen voor algemene doeleinden 

In de AI-verordening zijn ook regels opgenomen voor AI-modellen voor algemene doeleinden, zoals ChatGPT van OpenAI, Copilot van Microsoft en Gemini van Google. AI-modellen zijn geen AI-systemen op zich, maar kunnen wel de basis vormen voor AI-systemen. Op grond van de AI-verordening zijn aanbieders van dergelijke modellen onder meer verplicht om technische documentatie met een beschrijving van het model op te stellen en up-to-date te houden, beleid op te stellen ter naleving van het EU-recht inzake auteursrechten en een gedetailleerde samenvatting op te stellen over de voor het trainen van het model gebruikte data. 

De Commissie heeft de bevoegdheid om AI-modellen voor algemene doeleinden als systeemrisico te classificeren, waardoor er strengere regels voor dat model gaan gelden. 

Governance en handhaving

Met de AI-verordening wordt een uitgebreid regelgevingskader voor handhaving in het leven geroepen. Binnen de Europese Commissie wordt een AI-bureau opgericht om delen van de AI-verordening te handhaven. Daarnaast wordt er een Europees Comité voor artificiële intelligentie (het "Comité") opgericht. Het Comité bestaat uit één vertegenwoordiger per lidstaat en verstrekt onder meer adviezen over de toepassing van de AI-verordening, op vergelijkbare wijze als het Europees Comité voor gegevensbescherming.

Op nationaal niveau moeten een aanmeldende autoriteit en een markttoezichtautoriteit worden aangewezen voor de handhaving van bepaalde bepalingen uit de AI-verordening waaraan AI-systemen met een hoog risico moeten voldoen. In Nederland zal naar verwachting de Autoriteit Persoonsgegevens als markttoezichtautoriteit worden aangewezen.

Niet-naleving van de AI-verordening kan leiden tot boetes van maximaal 7% van de wereldwijde jaaromzet van het bedrijf over het voorgaande boekjaar of, indien dit hoger is, een vast bedrag van maximaal EUR 35 miljoen. Voor startende ondernemingen en mkb-bedrijven gelden proportionele bestuurlijke boetes.

Neem vooral contact met ons op als u meer informatie wilt ontvangen over de gevolgen van de AI-verordening voor uw organisatie.