Doet AI echt wat je vraagt? Fontys-student ontwikkelt controle

Hoe weet je of kunstmatige intelligentie precies doet wat je vraagt? Die vraag wordt steeds belangrijker nu AI vaker wordt gebruikt in bijvoorbeeld zelfrijdende auto's en medische apparatuur. Panagiotis Kalogeropoulos (Panos), masterstudent aan Fontys Hogeschool in Eindhoven, ontwikkelde een methode om de betrouwbaarheid van AI te testen. Eerder deze maand presenteerde hij zijn onderzoek tijdens een workshop van het NASA Formal Methods Symposium in Los Angeles.

"Bedrijven met zeer dure en/of gevaarlijke apparatuur willen de voordelen van kunstmatige intelligentie benutten, zonder mensenlevens of de veiligheid van de apparatuur toe te vertrouwen aan een onbetrouwbare LLM," zegt Kalogeropoulos. “Je kunt niet vertrouwen op een 'black box'. Je moet kunnen controleren of AI doet wat je denkt dat het doet.”

Het probleem waar de Fontys-student aan werkt, raakt steeds meer organisaties. De opkomst van AI verandert fundamenteel de manier waarop we werken, ook in omgevingen met hoge risico's. Organisaties in die omgevingen willen ook de voordelen van Generatieve AI benutten, en het is cruciaal om onderzoek te versnellen naar het genereren van duurzame, veilige en betrouwbare output van LLM's.

Controlemethode voor veilige AI

Samen met docent en onderzoeker Herman Jurjus ontwikkelde Kalogeropoulos een methode om de output van AI te controleren voordat systemen operationeel worden. Het onderzoek werd uitgevoerd binnen de onderzoeksgroep Fontys High Tech Embedded Systems.

De methode van Kalogeropoulos werkt als een dubbele veiligheidscheck. Voordat een AI-systeem een opdracht uitvoert, controleert zijn framework twee dingen: heeft de AI de instructie goed begrepen, en is de actie veilig uit te voeren? Dit werkt zo: de AI maakt eerst code aan op basis van de menselijke instructie. Het systeem evalueert vervolgens deze gegenereerde code en komt tot een risico-evaluatie vanuit verschillende stakeholdersperspectieven. Aan de hand van die risico-evaluatie kunnen mensen het gebruik van de code goedkeuren of afkeuren.

Tegelijkertijd beoordeelt een panel van meerdere AI-systemen vanuit verschillende perspectieven of de voorgestelde actie gevaarlijk is en kent aan elk potentieel faalscenario een risicofactor toe, bijvoorbeeld of een robot ergens tegenaan kan botsen. Alleen wanneer beide checks onder een bepaalde risicodrempel blijven, mag de actie doorgaan. Bij twijfel of gevaar blokkeert het systeem de actie en vraagt het om menselijke controle. Zo kunnen organisaties AI-systemen inzetten zonder blind te vertrouwen op een 'black box'.