- Uitleg
- |
- Artificial intelligence
- |
- po
- vo
- mbo
De AI Act: wat kunnen scholen verwachten van deze nieuwe wet?
Artificial intelligence ontwikkelt zich in razend tempo en heeft de potentie om grote veranderingen teweeg te brengen in onze maatschappij. Het gebruik van kunstmatige intelligentie biedt heel veel mogelijkheden maar roept ook vragen op, bijvoorbeeld met betrekking tot veiligheid, ethiek en privacy. Om de technologische ontwikkelingen in goede banen te leiden, is de afgelopen jaren in Brussel hard gewerkt aan een AI-verordening ofwel AI Act. Deze Europese verordening is de eerste wet ter wereld die de inzet van AI gaat reguleren.
Door Loes van Zuijdam
Deze Europese verordening is de eerste wet ter wereld die de inzet van AI gaat reguleren. Wat houdt de AI Act in en wat zijn de mogelijke gevolgen voor de onderwijssector?
Wat regelt de AI Act?
De AI Act heeft onder meer tot doel dat AI-systemen veilig en betrouwbaar zijn en dat de grondrechten van EU-burgers worden beschermd. De regels gelden voor iedereen die AI ontwikkelt, op de markt brengt of gebruikt.
De wet is van toepassing op AI-systemen. Dit zijn machinegebaseerde systemen die in staat zijn om op basis van input die ze krijgen zelfstandig output te genereren voor een bepaald doel, zoals het nemen van beslissingen en het doen van voorspellingen of aanbevelingen. Deze output moet invloed hebben op de fysieke wereld of op de digitale wereld. Denk aan een zelfrijdende auto die zelfstandig de beslissing neemt om te stoppen als hij een rood stoplicht signaleert of aan een chatbot die vragen van bezoekers van een webshop beantwoordt.
Risicogebaseerde benadering van AI-systemen
Het ene AI-systeem zal een groter risico met zich meebrengen dan het andere. Dit hangt ook samen met de situatie waarin het wordt ingezet. De AI Act speelt hierop in door AI in te delen in verschillende risiconiveaus. Hoe hoger het risico, hoe meer verplichtingen er moeten worden nageleefd. Sommige AI-systemen zijn zelfs zo risicovol of onwenselijk dat ze helemaal niet zijn toegestaan.
Er zijn vier risiconiveaus:
- onaanvaardbaar risico
- hoog risico
- beperkt risico
- minimaal risico
De 4 risicocategorieën van de AI Act
De eerste categorie zijn AI-systemen die een onaanvaardbaar risico opleveren. De systemen die hieronder vallen, worden door de wet verboden, omdat ze in strijd zijn met de waarden van de EU.
Voorbeelden zijn social scoring-systemen zoals in China worden ingezet of camera’s voor realtime biometrische identificatie op afstand in de openbare ruimte. Voor het onderwijs is ook een specifieke toepassing van AI verboden, namelijk emotieherkenning bij leerlingen.
Het grootste deel van de bepalingen van de AI-verordening richt zich op de tweede categorie: hoogrisico-systemen. Dit zijn AI-systemen die worden gebruikt in sectoren of contexten waar ze een risico kunnen vormen voor de gezondheid, veiligheid of grondrechten van personen. Bijvoorbeeld AI die wordt gebruikt voor kritieke infrastructuur, werkgelegenheid, essentiële diensten (overheid en privaat), rechtshandhaving, migratie en onderwijs. Onder de hoogrisico-AI-systemen vallen ook AI-toepassingen in producten waar op dit moment al productveiligheidsregelgeving op van toepassing is, zoals AI in speelgoed, medische hulpmiddelen, luchtvaart of auto’s.
AI-systemen binnen deze categorie moeten voldoen aan strenge eisen. Verderop in dit artikel lees je er meer over.
Voor AI-systemen die vallen onder de categorie beperkt risico gelden vooral transparantievereisten, zodat de mensen weten dat ze met een AI-systeem te maken hebben (bijvoorbeeld bij chatbots) of dat bepaalde tekst of beeldmateriaal door AI is gegenereerd (bijvoorbeeld bij deepfakes).
Voor de laatste risicocategorie, minimaal risico, gelden er vanuit de AI Act geen verplichtingen; hiervoor wordt alleen aanbevolen om vrijwillig aan te sluiten bij gedragscodes. Voorbeelden van AI-toepassingen onder deze categorie zijn spamfilters en AI in videogames.
Aparte regels voor general purpose AI
De AI Act geeft aparte regels voor AI die niet specifiek is ontwikkeld voor een bepaalde toepassing, maar die voor allerlei verschillende taken kan worden ingezet. Dit wordt ook wel general purpose AI (GPAI) genoemd. Voorbeelden hiervan zijn de grote taalmodellen zoals GPT-4 en DALL-E van Open AI en BERT van Google. Dit zijn vormen van generatieve AI. Aanbieders van GPAI moeten op basis van de nieuwe wet technische documentatie van het AI-model opstellen, inclusief het trainings- en testproces. Ook moeten zij beleid hebben over de naleving van auteursrechten en een samenvatting geven van de content die gebruikt is om het AI-model mee te trainen.
Hoogrisico-AI-systemen in het onderwijs
AI-systemen die op school worden gebruikt worden in bepaalde gevallen als hoogrisico aangemerkt. Het gaat om AI die bedoeld is om te worden gebruikt in de volgende situaties:
- Toegang, toelating en toewijzing tot onderwijs – bijvoorbeeld een AI-systeem dat inschrijvingen beoordeelt en bepaalt of een leerling wordt toegelaten tot een school.
- Evalueren van leerresultaten en sturen van het leerproces – bijvoorbeeld AI die zelfstandig een werkstuk van een leerling leest en cijfers toekent op basis van criteria zoals grammatica, inhoud en structuur. Een ander voorbeeld zijn adaptieve leersystemen waarbij de lesstof automatisch wordt aangepast aan het niveau van de leerling.
- Beoordelen van het passend onderwijsniveau – bijvoorbeeld AI die bepaalt welk schooladvies voor de middelbare school een groep 8 leerling krijgt.
- Monitoren en detecteren van ongeoorloofd gedrag tijdens toetsen – bijvoorbeeld het gebruik van antispiek-software.
De inzet van deze AI-systemen op school wordt volgens de AI-verordening als risicovol gezien, omdat deze bepalend kunnen zijn voor iemands onderwijs- en beroepsloopbaan en daarmee ook voor de mogelijkheid om in levensonderhoud te voorzien. Als bijvoorbeeld een adaptief leersysteem verkeerd is ontworpen of onjuist wordt gebruikt, kan een leerling ten onrechte leerstof aangeboden krijgen op een niveau dat niet passend is. Dit zou negatieve gevolgen kunnen hebben voor zijn mogelijke vervolgopleiding en uiteindelijke baan, zeker als leerkrachten dit niet in de gaten hebben en niet tijdig bijsturen.
Verplichtingen voor aanbieders van hoogrisico-AI-systemen
Om de risico’s van hoogrisico-AI-systemen zoveel mogelijk te beperken komt de AI Act met een flink pakket aan regels. De meeste daarvan gelden voor de ontwikkelaars van AI-systemen, die in de wet ‘aanbieders’ worden genoemd. Als zij zo’n AI-systeem ontwikkelen en op de markt willen brengen, gelden verregaande verplichtingen. Zo moeten aanbieders onder andere:
- zorgen voor een kwaliteitsbeheersysteem dat de naleving van de verordening waarborgt (‘compliance’)
- technische documentatie en transparante-informatie verstrekken
- het systeem registreren in een publieke database
- ernstige storingen en incidenten melden
Ook moet vooraf een conformiteitsbeoordeling plaatsvinden. Daarbij wordt getoetst of het AI-systeem aan de regels van de AI Act voldoet.
Verplichtingen voor partijen die hoogrisico-systemen gebruiken
Scholen zullen over het algemeen zelf niet de aanbieder, maar de gebruikers van het AI-systeem zijn. Organisaties die AI-systemen gebruiken worden in de AI Act ‘gebruiksverantwoordelijken’ genoemd. Ook voor hen gelden verplichtingen. Zo moeten zij:
- AI-systemen gebruiken in overeenstemming met de gebruiksaanwijzing
- zorgen dat de inputdata relevant en voldoende representatief is voor het beoogde doel
- zorgen dat er toezicht wordt uitgeoefend op het AI-systeem door iemand die hier verstand van heeft en die zonodig in staat is om in te grijpen
- de werking van het AI-systeem monitoren en melding doen van incidenten
- logbestanden bewaren
- leerlingen en hun ouders informeren over het gebruik van het AI-systeem
- een Fundamental Rights Impact Assessment (FRIA) uitvoeren voordat zij het systeem gaan gebruiken
Wat is een FRIA?
Een Fundamental Rights Impact Assessment heeft tot doel de gevolgen voor de grondrechten te beoordelen die het gebruik van een AI-systeem met zich meebrengt. Als grondrechten in het geding komen, moet de gebruiker maatregelen treffen om deze gevolgen te beperken. Deze opzet doet denken aan de Data Protection Impact Assessment (DPIA) die bij de verwerking van persoonsgegevens moet worden uitgevoerd. Alleen is de scope van de FRIA veel breder, omdat het niet alleen gaat om gevolgen voor de bescherming van persoonsgegevens maar om alle grondrechten, inclusief de impact op maatschappij en milieu. Omdat bij hoogrisico-AI-systemen in het onderwijs ook persoonsgegevens worden verwerkt, zal er hiervoor dus zowel een FRIA als een DPIA nodig zijn.
Gefaseerde invoering van de wet
Naar verwachting treedt de AI Act in juli of augustus 2024 in werking. De wet wordt gefaseerd ingevoerd. De meeste bepalingen gaan gelden vanaf twee jaar na de inwerkingtreding. Er zijn ook bepaalde regels die al eerder van toepassing worden, zoals de regels voor verboden AI-systemen. Die gaan al na zes maanden in. De verplichtingen voor general purpose AI-modellen worden na een jaar van toepassing.
Advies: bereid je nu al voor op de AI Act
Scholen hebben nog even om zich op de nieuwe regels voor te bereiden. Deze tijd is echter hard nodig. De implementatie van de AI Act kan immers een behoorlijke klus zijn, afhankelijk van hoe intensief al gebruik wordt gemaakt van hoogrisico-AI op school. Het advies is dan ook om op korte termijn te starten met een inventarisatie van de AI-systemen die de school gebruikt. Ga daarbij ook na of deze onder de hoogrisico-categorie vallen.
Bij Kennisnet bekijken we hoe we ondersteuning kunnen bieden bij deze inventarisatie en bij de verdere implementatie van de AI-verordening.
Netwerk Informatiebeveiliging en Privacy po/vo
Wil je met collega’s die zich ook bezighouden met IBP op school, kennis en ervaringen delen, gebruikmaken van standaarddocumenten en met elkaar in gesprek? Meld je dan aan voor het Netwerk Informatiebeveiliging en Privacy po/vo.
Meer informatie en aanmelden