- Stappenplan
- |
- Artificial intelligence
- |
- po
- vo
- mbo
Voldoen aan de AI-verordening
De AI-verordening of AI-act is een Europese wet voor de ontwikkeling en het gebruik van AI-systemen. Maak je op school gebruik van AI? Dan krijg je ook te maken met deze regels. In dit artikel leggen we uit wanneer de AI-verordening van toepassing is en welke stappen je moet zetten om eraan te voldoen.
Door Loes van Zuijdam
De AI-verordening is van toepassing op zowel de aanbieders van AI-systemen als de afnemers ervan. De meeste verplichtingen uit de AI-verordening gelden voor aanbieders. Dat zijn de partijen die AI-systemen ontwikkelen en op de markt brengen. Als school zul je doorgaans geen aanbieder van een AI-systeem zijn, maar de partij die er gebruik van maakt: de gebruiksverantwoordelijke. De gebruiksverantwoordelijke hoeft aan veel minder eisen te voldoen dan de aanbieder. Maar let op: wijzig je een AI-systeem of gebruik je het voor een ander doel dan waar het voor bedoeld is? Dan ben je mogelijk toch een aanbieder volgens de AI-verordening. Voorkom dit door intern af te spreken dit niet te doen.
Definitie van AI
Wat wordt volgens de AI-verordening precies verstaan onder een AI-systeem? Niet alle systemen die in de volksmond AI worden genoemd of geautomatiseerde processen uitvoeren, vallen namelijk onder de definitie van de wet. Volgens de AI-verordening is er sprake van AI als software zelfstandig patronen herkent, voorspellingen doet of beslissingen neemt op basis van input. Meer eenvoudige algoritmes –zoals Excel-tabellen met rekenformules of systemen die regels uitvoeren die vooraf geheel zijn gedicteerd door de mens –zijn geen AI-systeem.
Risicocategorieën
De verplichtingen die gelden voor het gebruik van AI-systemen hangen af van de risicocategorie waar het systeem in valt. De AI-verordening maakt onderscheid tussen 4 risicocategorieën. Hoe hoger de risicocategorie, des te strenger de eisen. Let op: het gaat hierbij alleen om AI die onder de definitie van de AI-verordening valt.
In de AI-verordening wordt een aantal AI-systemen genoemd die verboden zijn, omdat ze een bedreiging vormen voor de fundamentele rechten en waarden van de EU. Voor scholen geldt dat voor AI-systemen die worden gebruikt voor emotieherkenning bij leerlingen.
Systemen die een risico kunnen vormen voor de gezondheid, veiligheid en fundamentele rechten worden als hoog risico gekenmerkt in de AI-verordening. Voor het onderwijs gaat het om AI-systemen die worden gebruikt voor het:
- bepalen van toegang, toelating en toewijzing tot onderwijs
- evalueren van leerresultaten en sturen van het leerproces
- beoordelen van het passend onderwijsniveau
- monitoren en detecteren van ongeoorloofd gedrag tijdens toetsen.
Maak je gebruik van een dergelijk systeem? Dan gelden er eisen die ervoor moeten zorgen dat de risico’s voor leerlingen worden beperkt:
- controleren of het systeem een CE-markering heeft. Dat is een markering die aangeeft dat het product voldoet volgens de leverancier aan alle EU-eisen voldoet.
- de gebruiksinstructies van het AI-systeem volgen
- zorgen dat er toezicht wordt uitgeoefend op het AI-systeem door iemand die hier verstand van heeft en die zo nodig in staat is om in te grijpen
- zorgen dat de inputdata relevant en voldoende representatief is voor het beoogde doel
- de werking van het AI-systeem monitoren en melding doen van incidenten
- melding doen als het AI-systeem niet aan AI-verordening voldoet en stoppen met gebruik
- leerlingen en ouders informeren als er met AI beslissingen over hen worden genomen
- logbestanden 6 maanden bewaren
- een Fundamental Rights Impact Assessment (FRIA) uitvoeren om risico’s voor grondrechten te beperken.
Bij het gebruik van sommige AI-systemen zijn de risico’s beperkt en daarom gelden er alleen transparantieverplichtingen. Dit is bijvoorbeeld het geval als scholen gebruik maken van generatieve AI. In dat geval geldt het volgende:
- Bij gebruik van AI-systemen om beeld, audio of videocontent mee te creëren die een deepfake vormt, moet bekend worden gemaakt dat deze is gegenereerd met AI.
- Maak je gebruik van AI-systemen voor het schrijven of bewerken van tekst die is bedoeld om het publiek te informeren over aangelegenheden van algemeen belang? Dan moet bekend worden gemaakt dat deze is gegenereerd met AI. Dit geldt niet als de tekst daarna nog redactioneel is gecontroleerd.
Valt een AI-systeem niet onder een van de andere risicocategorieën? Dan legt de AI-verordening voor deze systemen geen verplichtingen op omdat de risico’s laag zijn. Hieronder vallen bijvoorbeeld spamfilters.
Stappenplan
Volg deze stappen om te voldoen aan de AI-verordening:
-
Stap 1: Inventariseer het gebruik van AI
Maak een overzicht van alle systemen, applicaties en tools die jouw school gebruikt of overweegt te gaan gebruiken die mogelijk AI zouden kunnen bevatten. Denk hierbij aan systemen die voor het onderwijs worden ingezet, zoals adaptieve leermiddelen, maar ook aan software die administratieve processen ondersteunt. Neem ook generatieve AI-tools mee die worden gebruikt wordt door medewerkers. Meer informatie over het maken van een overzicht van systemen vind je in het deelproject Overzicht creëren van systemen en hardware in het Groeipad van het Normenkader IBP.
-
Stap 2: Bepaal of systemen onder de AI-verordening vallen
Beoordeel of de toepassingen die jouw school gebruikt onder de definitie van de AI-verordening vallen. Het kan lastig zijn dit zelf te beoordelen. Neem in dat geval contact op met leveranciers en vraag of hun systeem AI-functionaliteiten bevat die vallen onder de wet.
Ondersteuning door SIVON
SIVON gaat scholen ondersteunen door te toetsen of leveranciers van hoogrisico-AI-systemen zich aan de AI-verordening houden en scholen hierover te informeren. Dit helpt scholen om op veilige en verantwoorde wijze gebruik te maken van AI-systemen.
-
Stap 3: Beoordeel het risiconiveau
Heb je vastgesteld dat er op school AI-systemen worden gebruikt? Dan moet je beoordelen in welke risicocategorie deze systemen vallen. Je moet daarvoor weten voor welk doel je het AI-systeem inzet. Is dat bijvoorbeeld voor het optimaliseren van administratieve processen? Dan zal het risico beperkt of minimaal zijn. Gebruik je AI in je onderwijsprocessen voor toepassingen die worden genoemd bij de risicocategorie hoog risico? Dan kan er sprake zijn van een hoog risico.
-
Stap 4: Documenteer de uitkomsten
De beoordelingen uit stap 2 en 3 leg je vast [in je overzicht van systemen]. Zo kun je aantonen dat je de toepasselijkheid van de AI-verordening hebt onderzocht. Ook hou je zicht op algoritmes die nu misschien niet onder de definitie van de AI-verordening vallen, maar mogelijk in de toekomst wel.
-
Stap 5: Neem maatregelen
Maak je gebruik van een beperktrisico- of hoogrisico-AI-systeem? Neem dan de maatregelen die bij die categorieën horen. Controleer daarnaast als gebruiksverantwoordelijke of de leverancier van het AI-systeem voldoet aan de verplichtingen als aanbieder. Controleer of een AI-systeem een CE-keurmerk heeft en of er een conformiteitsbeoordeling is gedaan.
-
Stap 6: Werk aan AI-geletterdheid
Medewerkers (en leerlingen) die met AI-systemen werken, moeten volgens de AI-verordening AI-geletterd zijn. Dat betekent onder andere dat ze vaardigheden, kennis en begrip moeten hebben om AI-systemen verantwoord te gebruiken en zich bewust te zijn van de kansen en risico’s van AI.
-
Stap 7: Controleer regelmatig
Systemen die vandaag nog geen AI bevatten, bevatten die volgende maand mogelijk wel. Leveranciers voegen regelmatig functionaliteiten toe aan hun producten. Controleer daarom periodiek of het overzicht van AI-systemen nog volledig is en of de beoordelingen en risicoclassificaties nog juist zijn.
Tijdlijn
De AI-verordening is op 1 augustus 2024 in werking getreden, maar de regels gaan niet allemaal direct in.
- De verplichting tot AI-geletterdheid is ingegaan op 2 februari 2025.
- Het verbod op de inzet van AI-systemen waarvoor een onaanvaardbaar risico geldt, is ingegaan op 2 februari 2025.
- De verplichting tot het nemen van maatregelen die voortvloeien uit de risicocategorieën gaan in op 2 augustus 2026.
De komende tijd komt er meer toelichting beschikbaar vanuit de Europese Commissie over de AI-verordening en specifieke onderwerpen hieruit, zoals uitleg over de verplichtingen die gaan gelden. Kennisnet en SIVON volgen deze ontwikkelingen en zullen scholen waar nodig informeren en ondersteunen.