Rechtbank verbiedt Grok naaktfoto's te maken

Elon Musks AI-chatbot Grok mag in Nederland voortaan geen deepfake-naaktfoto’s meer genereren, nu de rechtbank in Amsterdam de kant van slachtofferhulpgroepen heeft gekozen in een zaak die de toenemende juridische druk op AI-platforms in heel Europa en daarbuiten weerspiegelt.

Grok AI is een generatieve chatbot die is ontwikkeld door xAI, het door Elon Musk opgerichte kunstmatige-intelligentiebedrijf, en in november 2023 werd gelanceerd. Grok is voor gebruikers toegankelijk via de X-app, Grok.com en zelfstandige mobiele applicaties voor iOS en Android.

De rechtbank legde een forse boete van € 100.000 per dag op voor elke overtreding van het bevel, waarmee de toenemende juridische druk op technologieplatforms vanwege de verspreiding van dergelijke schadelijke inhoud wordt benadrukt.

Rechtszaak tegen Grok

De slachtofferhulporganisaties Fonds Slachtofferhulp en Offlimits hadden een rechtszaak aangespannen tegen Grok en X vanwege het vermogen van de AI-tool om illegale inhoud te genereren, met name deepfake-naaktfoto’s, waaronder die van minderjarigen.

Volgens hen zijn de gegenereerde beelden realistisch en kunnen ze minderjarigen afbeelden, wat kan leiden tot materiaal van seksueel misbruik van kinderen, wat volgens de Nederlandse wet illegaal is. Offlimits, een expertisecentrum op het gebied van online seksueel misbruik, demonstreerde in de rechtbank hoe Grok toplessbeelden van vrouwen kon genereren op basis van foto's waarop ze gekleed waren, en naaktbeelden van kinderen kon maken, wat in strijd is met de toestemmingsplicht en de Nederlandse wet.

Hoewel het maken en verspreiden van deepfake-naaktfoto's in Nederland al illegaal is, beoogt de rechtszaak de handhaving van bestaande wetten. De organisaties hebben de rechtbank verzocht deze functies te verbieden en een boete van € 100.000 per dag op te leggen zolang de tool voor het genereren van naaktfoto's beschikbaar blijft.

Het verweer van xAI

De advocaten van xAI voerden aan dat een ‘100% garantie’ tegen het maken van dergelijke afbeeldingen onmogelijk is, aangezien kwaadwillende gebruikers voortdurend manieren vinden om beveiligingsmaatregelen te omzeilen. Zij stelden dat het opleggen van een boete xAI op oneerlijke wijze zou straffen voor het handelen van derden.

Grok onder de loep

Grok ligt wereldwijd onder vuur vanwege zijn naaktfunctie, en er lopen in meerdere landen rechtszaken tegen het platform. In januari startte de Europese Commissie een formeel onderzoek naar Grok om vast te stellen of het binnen de EU illegale inhoud verspreidt, waaronder gemanipuleerde seksueel getinte afbeeldingen van vrouwen en kinderen. Het onderzoek van de EU beoordeelt of X de risico’s die aan de functionaliteiten van Grok verbonden zijn, adequaat heeft geëvalueerd en beperkt.

Grote technologiebedrijven die actief zijn in de EU vallen onder de Digital Services Act (DSA), die strenge normen stelt voor privacy, transparantie en sociale veiligheid binnen de EU. Bedrijven die de DSA overtreden, riskeren boetes tot 6% van hun wereldwijde jaaromzet.

Om aan de DSA te voldoen, moet X een ad-hocrisicobeoordelingsrapport over de functionaliteiten van Grok opstellen en indienen, en de risico’s die verband houden met zijn aanbevelingssystemen naar behoren beoordelen en beperken.

In december 2025 legde de EU X een boete van 120 miljoen euro op wegens misleidend ontwerp, onvoldoende transparantie in de reclame en onvoldoende toegang tot gegevens voor onderzoekers. Als reactie op bezorgdheden heeft xAI de beeldbewerking voor Grok AI-gebruikers beperkt en gebruikers in rechtsgebieden waar het illegaal is, geblokkeerd voor het genereren van afbeeldingen van mensen in onthullende kleding.

Ofcom, de Britse mediatoezichthouder, heeft ook een onderzoek ingesteld naar de vraag of X zijn verplichtingen uit hoofde van de Britse Online Safety Act is nagekomen.

Hard optreden van de EU tegen onlineplatforms

Vandaag heeft de Europese Commissie bekendgemaakt dat zij voorlopig heeft vastgesteld dat Pornhub, Stripchat, XNXX en XVideos de DSA hebben overtreden. Volgens de Commissie hebben zij nagelaten te voorkomen dat minderjarigen op hun platforms werden blootgesteld aan pornografische inhoud.

Tegelijkertijd heeft de Commissie ook een onderzoek ingesteld naar Snapchat om na te gaan of het platform voldoet aan de DSA wat betreft de onlineveiligheid, privacy en beveiliging van kinderen.