‘Deze actie mag, behalve na die andere’

In aanloop naar de finale van de AI Pitch Competition op 12 november in het Evoluon in Eindhoven zet IO+ zijn verdiepende serie voort met portretten van de acht finalisten en één wildcard. In deze derde aflevering vertelt Maurits Kaptein, medeoprichter en CTO van Kyvvu, waarom de beveiliging van agents niet mag afhangen van taalmodellen die andere taalmodellen beoordelen. Hij legt uit hoe de ‘dodelijke drie-eenheid’ werkt en waarom de sleutel tot het beheersen van autonome software ligt in de opeenvolging van handelingen, in plaats van in afzonderlijke stappen.

Bedrijfssoftware verschuift van passieve chatbots die tekst voorstellen naar autonome AI-agents met daadwerkelijke digitale bevoegdheden: klantdatabases uitlezen, betalingen uitvoeren, CI/CD-pipelines starten en code uitvoeren. Daarmee verandert het risicoprofiel fundamenteel. Een verkeerd antwoord in een gesprek is vervelend; een ongewenste digitale handeling is een bedrijfsincident.

Toch ontstaat de schade die autonome agents aanrichten zelden doordat één specifieke stap expliciet verboden was. Het gaat bijna altijd mis wanneer een agent verschillende op zichzelf toegestane handelingen in een schadelijke volgorde uitvoert.

Startup Kyvvu, gevestigd bij de Jheronimus Academy of Data Science (JADS) in ’s-Hertogenbosch en gesteund door de Brabantse Ontwikkelingsmaatschappij (BOM), pakt deze cruciale blinde vlek in de softwarearchitectuur aan. Medeoprichter en CTO Maurits Kaptein, die ook hoogleraar is aan de Technische Universiteit Eindhoven, legt uit waarom het beheersen van agents vraagt om een deterministische beveiligingsmonitor die rechtstreeks in het uitvoeringsproces van de agent is ingebouwd.

De ‘dodelijke drie-eenheid’ en het tekort van beveiliging zonder geheugen

Cijfers uit de sector laten zien dat de invoering van autonome software bij bedrijven sneller gaat dan de operationele beheersing ervan. Uit recente onderzoeken van de Cloud Security Alliance blijkt dat bij 82% van de bedrijven AI-agents actief zijn waarvan de organisatie het bestaan niet kent. Erger nog: ongeveer 98% van de agents die al in productie draaien, vertoont wat beveiligingsonderzoeker Simon Willison de lethal trifecta noemde: toegang tot vertrouwelijke interne gegevens, blootstelling aan onbetrouwbare externe inhoud en de mogelijkheid om berichten naar buiten te sturen.

“Kyvvu bouwt een Agent Security Kernel: een kleine softwarebibliotheek die binnen het eigen proces van de agent draait en elke voorgenomen handeling - een bestand lezen, een tool aanroepen, een bericht versturen - vóór de uitvoering toetst aan een set regels”, legt Kaptein uit. Daarbij wijst Kyvvu de populaire aanpak af om een tweede taalmodel als AI-toezichthouder in te zetten: “De controle is deterministisch: er komt geen LLM aan te pas, geen model dat een ander model beoordeelt.”

Kyvvu onderscheidt zich door de toestand en context gedurende het hele proces te beoordelen. “Het bijzondere is dat de regels worden getoetst aan het volledige verloop van de taak tot dan toe, niet aan de afzonderlijke stap”, zegt Kaptein. “Een agent die klantgegevens mag lezen en een e-mail mag versturen, kan er toch van worden weerhouden om het tweede direct na het eerste te doen. De meeste bestaande beveiligingsmaatregelen zitten aan de rand van het netwerk, zoals gateways en proxy’s, of controleren steeds één stap tegelijk. Geen van beide kan de regel uitdrukken: ‘Deze actie mag, behalve na die andere.’”

Zoals Kaptein uiteenzet in een recente whitepaper over agentbeveiliging, Building Secure Agents at Scale, houden conventionele beveiligingsmechanismen geen rekening met eerdere handelingen. Dat geldt voor rolgebaseerde toegangscontrole (RBAC), sandboxing en beveiligingsfilters voor invoer en uitvoer. Ze zien slechts één identiteit, één bericht of één API-aanroep op zichzelf. Recente incidenten in de praktijk illustreren die kwetsbaarheid: bij aanvallen zoals PipeLeak op Salesforce Agentforce en ShareLeak op Microsoft Copilot Studio werden agents ertoe aangezet gevoelige bedrijfsdatabronnen uit te lezen en de inhoud per e-mail naar buiten te sturen. Elke afzonderlijke aanroep was technisch toegestaan, waardoor traditionele firewalls het weglekken van gegevens niet opmerkten.

De oplossing grijpt volgens Kaptein terug op de grondslagen van de informatica: “Het idee zelf is oud: het is een reference monitor, een constructie uit de beveiliging van besturingssystemen, toegepast op agents.”

Beveilig de uitvoeringslaag, niet het niet-deterministische model

De architectuur van Kyvvu berust op een strikte scheiding tussen het basismodel en de zogenoemde harness: de deterministische applicatiecode die tools uitvoert, API’s aanroept en de uitvoeringscyclus van de agent beheert. “Proberen de veiligheid te garanderen door het model met een prompt te vragen zich te ‘gedragen’, is geen beveiligingsmaatregel”, stelt Kaptein. Basismodellen zijn van nature niet-deterministisch en kunnen door aanvallers worden gestuurd via gemanipuleerde webpagina’s, databaserecords of de uitvoer van tools van derden. Een daadwerkelijke veiligheidsgarantie moet zitten in de deterministische code waarover de organisatie zelf zeggenschap heeft: de uitvoeringslaag.

Ook waarschuwt Kaptein tegen het ‘afluisteren van de verbinding’ via externe AI-gateways of proxy’s. “Een AI-gateway inspecteert wat het model voorstelt te doen, zoals geformuleerd door dat onbetrouwbare model zelf, maar ziet nooit wat de uitvoeringslaag daadwerkelijk uitvoert”, aldus Kaptein. “Toolaanroepen en ingebedde modellen glippen erlangs. Zodra een gateway ingrijpt in de modelaanroep om beveiligingsregels af te dwingen, plaatst die zichzelf in het kritieke gegevenspad en introduceert daarmee eigen risico’s op het weglekken van gegevens en promptinjectie. Handhaving hoort thuis waar de daadwerkelijke handelingen plaatsvinden: binnen de uitvoeringslaag.”

Omdat Kyvvu’s Agent Security Kernel (ASK) als een lichte softwarebibliotheek rechtstreeks binnen het proces van de applicatie draait, of als een naastgelegen component (sidecar), worden beslissingen binnen een milliseconde genomen. Bij het 99e percentiel bedraagt de gemeten tijd 296 microseconden.

“De engine is een softwarebibliotheek en schaalt dus mee met de infrastructuur waarop de agent draait; er zit geen centrale server in het pad waarlangs de agent zijn werk doet”, zegt Kaptein. “De uitdaging zit niet in de rekenkracht, maar in de integratie: een agentframework moet zijn handelingen eenmalig toegankelijk maken voor de kernel. Er zijn veel frameworks en die veranderen wekelijks. We leveren integraties voor de belangrijkste, zoals LangChain, LangGraph en Claude Code, maar de echte oplossing is een gedeelde woordenschat voor handelingen van agents, die frameworks van zichzelf gebruiken. Daarom hebben we de Agent Action Grammar als open standaard gepubliceerd. Uiteindelijk willen we onderdeel zijn van elke deugdelijk ontworpen AI-agent die ooit wordt ingezet.”

Controleerbare regels en de grenzen van het bereik

Omdat Kyvvu uitvoeringsstappen beheerst en geen menselijke gevoelens beoordeelt of demografische kenmerken screent, zijn de gebruikelijke risico’s van algoritmische vooringenomenheid niet rechtstreeks van toepassing op de kernel zelf. “Kyvvu neemt geen beslissingen over mensen, dus de gebruikelijke zorgen over vooringenomenheid bij AI-besluitvorming spelen niet in de engine. Die beslist over handelingen, aan de hand van regels die de klant heeft opgesteld”, benadrukt Kaptein. “Transparantie zit in het ontwerp: elke set regels staat in een voor mensen leesbaar bestand in het eigen versiebeheersysteem van de klant. Elke beslissing laat een spoor achter waarin staat welke regel bij welke stap is geactiveerd. Een auditor kan beide lezen zonder iemand op zijn woord te hoeven geloven.”

De ethische afweging draait juist om het besef van de grenzen: “De ethische vraag waar wij wél mee te maken hebben, gaat over het bereik: een beveiligingsmechanisme dat alleen de handelingen controleert waarop het is aangesloten, kan een vals gevoel van veiligheid geven. We beschrijven die beperking in onze documentatie als een eigenschap van elk dergelijk systeem en vertellen klanten wat de kernel wel en niet afdekt.”

Een voorwaarde voor de inzet van agents in organisaties

Voor sectoren waarin cruciale processen op het spel staan, zoals het bankwezen, de belastingheffing en de klinische zorg, is onbegrensde autonomie ondenkbaar. “Organisaties geven AI-agents echte bevoegdheden: dossiers lezen, geld verplaatsen, systemen aanpassen. De incidenten tot nu toe ontstaan doordat agents veel afzonderlijk toegestane dingen in een schadelijke volgorde doen”, constateert Kaptein. “Ik denk dat technologie waarmee een ziekenhuis, belastingdienst of bank agents kan laten werken binnen zelf opgestelde regels, een voorwaarde is om agents in die sectoren überhaupt iets nuttigs te laten doen.”

Tegelijk waarschuwt Kaptein voor de psychologische valkuil van schijnzekerheid: “Het risico dat ik zie, is juist het omgekeerde: dat controle tijdens de uitvoering een vrijbrief wordt om agents onzorgvuldiger in te zetten, omdat ‘er toch iets meekijkt’. Dat proberen we tegen te gaan door expliciet te zijn over wat wordt gecontroleerd en door de regels in handen van de klant te houden, in plaats van een standaardset te verkopen.”

Naleving als natuurlijk bijproduct van controle tijdens de uitvoering

Als het gaat om privacywetgeving en de Europese AI-verordening, verwerpt Kyvvu het idee dat bedrijven een apart, losstaand dashboard voor ‘agent governance’ moeten aanschaffen. “Twee dingen volgen rechtstreeks uit onze architectuur”, legt Kaptein uit. “Ten eerste verlaten gegevens nooit de omgeving van de klant, omdat de kernel binnen het proces van de agent draait. Daarmee vervallen de meeste AVG-vraagstukken rond een leverancier die persoonsgegevens verwerkt. Ten tweede wordt elke beslissing op basis van de regels vastgelegd. Dat is het soort bewijs dat de AI-verordening vraagt voor systemen met een hoog risico.”

Zoals Kaptein het verwoordt, levert het afdwingen van regels tijdens de uitvoering vanzelf ook inzicht op: “Observeerbaarheid betekent dat je kunt zien wat de agent heeft gedaan; handhaving betekent dat je kunt tegenhouden wat de agent op het punt staat te doen. Observeerbaarheid die voortbouwt op handhaving is daadwerkelijk waardevol: de registratie is betrouwbaar, juist omdat hetzelfde mechanisme dat haar vastlegde ook de bevoegdheid had om de handeling tegen te houden. Wij beschouwen dat spoor als een bijproduct, niet als het product: we bouwen de controle die een agent het juiste laat doen, en de registratie die dat aantoont krijg je erbij.”

De Brabantse verbinding en de behoefte aan Europese standaarden

De ontwikkeling van Kyvvu bouwt rechtstreeks voort op het regionale kennis- en ondernemersklimaat. “Kyvvu heeft kantoor bij JADS in Den Bosch en ik ben zelf hoogleraar aan de TU/e in Eindhoven. Het onderzoek en het bedrijf bevinden zich dus in hetzelfde ecosysteem; BOM is een van onze financiers”, zegt Kaptein. “Nederland is een goede plek gebleken om eerste klanten te vinden: overheidsorganisaties en financiële instellingen zijn bereid nieuwe beveiligingsmaatregelen uit te proberen en nemen een zorgvuldige aanpak serieus.”

Kijkend naar de Europese digitale governance als geheel ziet hij echter een strategisch hiaat: “Wat ontbreekt, is minder lokaal dan Europees: er is nog geen Europese thuisbasis voor open standaarden voor agentbeveiliging. De relevante werkgroepen zijn Amerikaans of vallen onder stichtingen die in de VS zijn gevestigd. We doen daaraan mee; daarnaast zou ik ook graag een Europese zien.”

Serie

AI Pitch Competition

Lees hier alle artikelen over de AI Pitch Competition, ook die van vorig jaar.

Bekijk serie

De ontwrichtende kracht van handelingsvermogen beheersen

Gevraagd naar de existentiële polarisatie in het debat over kunstmatige intelligentie brengt Kaptein het gesprek terug naar de grondbeginselen van softwareontwikkeling. “Ik vind het frame ‘AI for Good versus AI for Disaster’ niet per se onjuist - dat hangt af van de definities - maar ook niet direct bruikbaar”, merkt hij op. “Het ontwrichtende aan de huidige golf is niet dat modellen slim zijn; het is dat ze het vermogen krijgen om te handelen, op grote schaal en met echte bevoegdheden. Zowel de voordelen als de schade komen daaruit voort. Beide worden bepaald door alledaagse technische keuzes: wat een agent mag doen, in welke volgorde en met welke controles.”

“De incidenten die we tot nu toe hebben gezien, waren geen fouten van modellen. Het waren reeksen toegestane handelingen waarvan niemand had bedacht dat ze begrensd moesten worden. Dat is een oplosbaar type probleem. Juist door het op te lossen, worden de positieve toepassingen überhaupt mogelijk. Wij bouwen die oplossing.”

Een grondige aanpak boven flitsende interfaces

Met het oog op de pitchfinale in het Evoluon op 12 november blijft Kaptein nuchter over de wedstrijd. “Over tien jaar verwacht ik dat het tijdens de uitvoering toepassen van regels op afzonderlijke handelingen een volstrekt vanzelfsprekende, maar alomtegenwoordige laag in de softwarearchitectuur van agents is. Zoals toegangscontrole dat vandaag is voor besturingssystemen”, zegt Kaptein. “Of het bedrijf dat dit doet in 2036 Kyvvu heet, is voor ons minder belangrijk dan dat die laag bestaat en open is.”

Waarom Kyvvu de AI Pitch Competition zou moeten winnen? “Ik weet niet of we dat zullen doen; wij beslissen daar niet over”, besluit Kaptein. “Wat ik wel kan zeggen, is dat we een van de weinige teams zijn die al vóór de bouw van het product heel duidelijk hebben opgeschreven wat het probleem is: de handelingen van een agent als een opeenvolgend pad, met regels voor dat pad. Die probleemstelling staat openbaar op arXiv, zodat anderen erop kunnen voortbouwen. Natuurlijk hebben we demo’s, maar we hopen dat de jury een serieuze poging om een urgent, wereldwijd probleem in agentbeveiliging op te lossen zwaarder laat wegen dan flitsende interfaces.”

Erasmus Enterprise, BOM en IO+ organiseren de AI Pitch Competition, met steun van de provincie Noord-Brabant. De finale vindt plaats tijdens AI Summit Brainport op 12 november in het Evoluon in Eindhoven.