- Uitleg
- |
- Artificial intelligence
- |
- po
- vo
- mbo
Met deze wetgeving rond AI hebben scholen te maken
Naast de grote mogelijkheden die AI biedt, kan deze technologie voor groepen of individuen nadelig uitpakken. Er bestaat wetgeving om mensen hiertegen te beschermen en te streven naar betrouwbare, eerlijke en veilige AI. Welke bestaande wetten gelden voor AI? En wat houdt de nieuwe Europese AI Act in?
Door de redactie
AI kan risico’s opleveren als de modellen niet getraind zijn met de juiste data. Een dataset die bias bevat, levert oneerlijke uitkomsten op. Binnen het onderwijs kan dit schadelijk zijn voor leerlingen: het kan het leerproces verstoren en gelijke kansen onder druk zetten. Een ander groot risico is dat de persoonsgegevens waarmee AI-systemen werken niet goed worden beschermd.
Responsible AI
Het is dus belangrijk dat AI op een verantwoorde en betrouwbare manier wordt ontwikkeld, geïmplementeerd en gebruikt. Dit idee wordt responsible AI genoemd. Bij responsible AI wordt er gestreefd naar een ethisch verantwoorde toepassing van AI waarin fundamentele grondrechten worden geborgd. De Europese Commissie heeft het tot speerpunt gemaakt om AI te reguleren. Daarmee wil de Commissie afdwingen dat AI verantwoord wordt ontwikkeld en gebruikt.
Ethische richtsnoeren
In 2019 publiceerde de Europese Commissie de ‘Ethische richtsnoeren voor betrouwbare AI’. De richtsnoeren zijn geschreven door een interdisciplinaire groep experts uit verschillende EU-landen. Ze beschrijven zeven vereisten waar betrouwbare AI aan moet voldoen:
- Menselijk toezicht: AI ondersteunt taken die door mensen zijn bepaald. Mensen houden altijd controle op de uitkomsten van AI.
- Technische robuustheid en veiligheid: AI-systemen zijn veilig en het systeem moet nauwkeurig, betrouwbaar en reproduceerbaar functioneren.
- Privacy en databeheer: AI-systemen moeten privacy garanderen; de data waarmee AI-systemen werken, dienen integer en van hoge kwaliteit zijn.
- Transparantie: Het moet transparant en verklaarbaar zijn hoe een AI-systeem tot een uitkomst of besluit komt.
- Diversiteit, non-discriminatie en rechtvaardigheid: AI-systemen zijn toegankelijk in gebruik en mogen niet discrimineren.
- Maatschappelijk en ecologisch welzijn: Er moet aandacht zijn voor de sociale en emotionele gevolgen van het gebruik van AI en de systemen moeten milieuvriendelijk werken.
- Verantwoording: Het inzetten van AI moet weloverwogen gebeuren. Over de gemaakte keuzes dient verantwoording te worden afgelegd.
Deze vereisten kunnen worden gezien als vangrails. Ze moeten ervoor zorgen dat de technologie niet uit de bocht vliegt, maar binnen de grenzen blijft van onze grondrechten en waarden.
Europese AI Act
De richtsnoeren vormen de eerste toonaangevende stap om verantwoorde en betrouwbare AI na te streven. Ze beschrijven een ideaaltypische situatie hoe AI zou moeten functioneren, maar zijn juridisch niet afdwingbaar.
Daar komt verandering in met de Europese AI Act: de allereerste uitgebreide AI-wet ter wereld. De AI Act heeft als doel om veilige, betrouwbare en ethische AI te bevorderen en fundamentele rechten te waarborgen. En daarnaast om innovatie met AI te stimuleren.
Inmiddels is er overeenstemming over de wettekst bereikt. Afgesproken is dat regels uit de AI Act gefaseerd van kracht worden. De belangrijkste verplichtingen voor scholen gaan vanaf juni 2026 in.
De AI Act kent een risicogebaseerde benadering: hoe hoger het risico van een AI-systeem, hoe meer verplichtingen er moeten worden nageleefd. Het risico wordt bepaald op basis van het beoogde doel en de sector waarin AI wordt ingezet. Er worden vier risiconiveaus voor AI-systemen onderscheiden:
- Onaanvaardbaar risico: deze worden direct verboden. Denk aan biometrische systemen voor identificatie op afstand in de openbare ruimte. Daarnaast komt er een verbod op AI-emotieherkenning op het werk en op school.
- Hoog-risico. Een aantal AI-systemen binnen het onderwijs is aangemerkt binnen deze categorie, waaronder (a) systemen die worden gebruikt bij toelaten en beoordelen van leerlingen, (b) adaptieve leermiddelen en (c) systemen om fraude aan te tonen.
- Beperkt risico. Hieronder vallen onder meer chatbots. Hiervoor gelden vooral transparantievereisten, zodat mensen weten dat ze met AI te maken hebben.
- Minimaal risico. Hieronder valt bijvoorbeeld AI die wordt gebruikt in spamfilters.
De belangrijkste verplichtingen uit de AI Act gaan gelden voor hoog-risico AI-systemen.
Wat houden de verplichtingen in?
De verplichtingen hebben betrekking op zowel ontwikkelaars van AI-systemen als organisaties die de systemen afnemen en inzetten, zoals scholen. Ontwikkelaars moeten onder meer voor de volgende zaken zorgen:
- Certificering en een kwaliteitssysteem om risico’s binnen AI te identificeren, beoordelen, mitigeren en monitoren.
- Datasets van hoge kwaliteit die voor AI worden gebruikt om vooroordelen en discriminatie te voorkomen.
- Uitgebreide technische documentatie voor verantwoording.
- Passende maatregelen voor menselijk toezicht om risico’s in de ontwikkeling te beperken.
Daarnaast hebben afnemers van de AI-systemen een eigen verantwoordelijkheid. De afnemer is bijvoorbeeld een school die een AI-systeem inzet. De afnemer moet ervoor zorgen dat het systeem op een juiste manier wordt gebruikt, bijvoorbeeld door de gebruiksinstructies strikt op te volgen. Ook moeten afnemers trainingen en instructies voor gebruikers faciliteren.
Regels voor ChatGPT?
De AI Act bevat daarnaast aparte regels voor ‘General Purpose AI’ modellen. Dit zijn veelzijdige AI-modellen die in staat zijn om verschillende taken uit te voeren, in tegenstelling tot specifieke AI-modellen die voor één bijzonder doel worden ingezet. Een voorbeeld van een General Purpose AI model is het taalmodel op basis waarvan ChatGPT werkt.
Ontwikkelaars van deze algemene modellen worden door de AI Act onder andere verplicht om uitgebreide technische documentatie van het AI-model te verstrekken als de toezichthouder daarom vraagt. Denk bijvoorbeeld aan informatie over trainingsdata. Doel is om transparanter te maken hoe toepassingen als ChatGPT werken.
Wil je meer weten over de AI Act?
Lees dan het uitgebreide artikel over de wet.
De AI Act: wat kunnen scholen verwachten van deze nieuwe wet?De AVG
Bij het gebruik van AI-systemen worden vaak persoonsgegevens verwerkt. In dat geval is ook de AVG van toepassing. De AVG is een ander soort wet dan de AI Act: de AI Act reguleert AI-systemen of producten, terwijl de AVG gaat over het beschermen van persoonsgegevens.
De AVG beschrijft specifieke regels voor ‘geautomatiseerde besluitvorming’: een situatie waarin een systeem automatisch besluiten neemt op basis van gegevens waarmee het werkt. Dit kan ook het geval zijn bij een AI-systeem. Zo kan een adaptief leersysteem een leerling op basis van diens antwoorden geautomatiseerd nieuwe opgaven op zijn of haar niveau toebedelen. Of denk aan een AI-systeem dat automatisch fraude bij toetsen vaststelt.
In het geval van geautomatiseerde besluitvorming stelt de AVG dat de persoon over wie het besluit gaat altijd het recht heeft op een menselijke blik als daar om wordt gevraagd. Hierdoor kan worden nagaan of het besluit op correcte, eerlijke en niet-discriminerende wijze is genomen. Voor een AI-systeem op school betekent dit dat een leraar altijd moet meekijken of het systeem adequaat werkt en tot de juiste resultaten komt.
Wat betekent dit voor de school?
Voor een schoolleider is het belangrijk om de relevante wetgeving bij AI op hoofdlijnen te kennen. De AI Act wordt de komende periode ingevoerd. Tijdens de implementatie staat Kennisnet de scholen bij met gerichte informatie en adviezen over wat de wet precies voor hen gaat betekenen en welke verplichtingen bij scholen komen te liggen.
Onderdeel van de ‘Handreiking AI voor scholen’
Deze online handreiking helpt scholen om bewuste en verantwoorde keuzes te maken over het gebruik van artificial intelligence. Je vindt er verschillende artikelen met tips en verdiepende informatie over AI.
