EPFL lanceert ’s werelds eerste volledig open medische LLM’s

Medische grote taalmodellen (LLM’s) worden steeds vaker gebruikt in klinische omgevingen. Zo helpt AI artsen op de spoedeisende hulp bijvoorbeeld bij het stellen van diagnoses of het ondersteunen van beslissingen. Het probleem is dat de meeste van deze systemen propriëtair zijn: hun trainingsdata, ontwerpkeuzes en besluitvormingsprocessen blijven verborgen, waardoor een onafhankelijke beoordeling vrijwel onmogelijk is.

Als reactie daarop hebben onderzoekers van EPFL’s Laboratory for Intelligent Global Health & Humanitarian Response Technologies (LiGHT), onderdeel van de School of Computer and Communication Sciences, MeditronFO (Fully Open) gelanceerd. Dat is een raamwerk dat zij gebruikten om verschillende volledig open basismodellen te ‘medicaliseren’, waaronder OLMo, EuroLLM en Apertus, het Zwitserse model dat is ontwikkeld door EPFL en ETH Zürich.

“Voortbouwend op Meditron, dat voor het eerst in 2023 werd uitgebracht, is MeditronFO een pijplijn om een medische versie te maken van elk open groot taalmodel”, legt Xavier Theimer-Lienhard uit, promovendus en leider van Meditron bij LiGHT. “We zouden nooit vertrouwen op een arts van wie de opleiding niet kan worden gecontroleerd, en dezelfde standaard zou moeten gelden voor AI in de gezondheidszorg. MeditronFO maakt elke fase van de ontwikkeling publiek beschikbaar, van de data die worden gebruikt om de modellen te trainen tot de code, trainingsprocedures en evaluatiemethoden.”

Veel AI-modellen die als ‘open’ op de markt worden gebracht, zijn slechts gedeeltelijk transparant. Ze maken het getrainde model zelf beschikbaar, maar niet de datasets, dataverwerkingsmethoden of trainingspijplijnen die zijn gebruikt om het te creëren. Dat maakt onafhankelijke audits moeilijk en beperkt de mogelijkheid voor artsen, ziekenhuizen en toezichthouders om te begrijpen hoe medische AI-systemen tot hun aanbevelingen komen.

Vanaf de basis opgebouwd

MeditronFO werd ontwikkeld met artsen in de kamer, niet als gebruikers van het eindproduct, maar als deelnemers die gedurende het hele proces bijdragen: van het samenstellen van trainingsdata tot het valideren van modeluitkomsten en het signaleren van mogelijke veiligheidsrisico’s.

Via MOOVE (Massive Open Online Validation and Evaluations) nemen artsen rechtstreeks deel aan de doorlopende evaluatie en verbetering van modellen. Zo helpen zij ervoor te zorgen dat de ontwikkeling verankerd blijft in de dagelijkse klinische praktijk. Dit omvat onder meer het auditen van trainingsmateriaal en het valideren van modeluitkomsten. Het ontwikkelproces bevatte ook veiligheidsmaatregelen.

Het raamwerk combineert publiek beschikbare medische datasets met door artsen beoordeelde synthetische data, afgeleid van medische examens, klinische richtlijnen en realistische patiëntcases. Alle datasets, verwerkingsstappen en trainingsprocedures zijn open gedocumenteerd. De onderzoekers combineerden een unieke set door experts samengestelde klinische datasets, afkomstig uit meer dan 46.000 klinische praktijkrichtlijnen.

“Onze bevindingen laten zien dat concurrerende medische AI-modellen kunnen worden gebouwd door actieve betrokkenheid van artsen en gemeenschappen, met data en evaluaties die de omgevingen weerspiegelen waarin ze uiteindelijk zullen worden gebruikt. Dit creëert een route voor zorgsystemen en gemeenschappen om meer eigenaarschap over deze technologieën te behouden, in plaats van uitsluitend afhankelijk te zijn van externe propriëtaire systemen waarvan de prioriteiten niet altijd aansluiten bij lokale behoeften”, zegt professor Mary-Anne Hartley, arts en directeur van LiGHT.

Testen in de praktijk begint

Elk MeditronFO-model presteerde beter dan het oorspronkelijke basismodel. De sterkste resultaten kwamen van Apertus-70B-MeditronFO, dat de prestaties op medische examens met 6,6 procentpunten verbeterde ten opzichte van het onderliggende model.

“Onze resultaten hebben laten zien dat volledig open medische modellen haalbaar en concurrerend zijn. In de geneeskunde, waar transparantie een voorwaarde is en waar mensenlevens op het spel staan, doet dit ertoe”, zegt Theimer-Lienhard.

De lancering van MeditronFO is een belangrijke mijlpaal in de voortzetting van een breder onderzoeksprogramma. Het team bereidt klinische studies voor op meerdere locaties, van Zwitserland tot Tanzania, om te evalueren hoe artsen AI gebruiken in echte zorgomgevingen. Deze studies onderzoeken of artsen AI-gegenereerde aanbevelingen opvolgen of afwijzen, en hoe die beslissingen de patiëntenzorg beïnvloeden.

Dit meerjarige onderzoeksproject, MED.USE genaamd, wil ook begrijpen hoe AI de kwaliteit van zorg kan verbeteren en tegelijk onnodige behandelingen en interventies kan verminderen. “Het is belangrijk om feedback uit de praktijk te krijgen op basis van patiëntuitkomsten”, legt Hartley uit.

Waarom openheid ertoe doet

De lancering van MeditronFO weerspiegelt een breder debat over de toekomst van AI in de geneeskunde, waarin transparantie en verantwoording centraal staan, naast datasoevereiniteit en zorgen over groeiende afhankelijkheid van propriëtaire AI-platforms. De resultaten tonen aan dat volledig open benaderingen medische AI-systemen kunnen opleveren die zowel transparant als zeer concurrerend zijn.

“De vraag is niet of AI onderdeel wordt van de gezondheidszorg; dat is het al. De vraag is wat voor AI-ecosysteem we willen bouwen. Wij geloven dat transparantie, wetenschappelijke toetsing en betekenisvolle deelname van artsen en patiënten centraal moeten blijven staan. MeditronFO laat zien dat openheid en prestaties geen concurrerende prioriteiten hoeven te zijn, en dat er een levensvatbare route is naar medische AI die zowel innovatief als controleerbaar is”, concludeert Hartley.

De ontwikkeling van MeditronFO werd ondersteund door het Swiss AI Initiative, een gezamenlijke inspanning van EPFL, ETH Zürich en CSCS. Het initiatief leverde de rekeninfrastructuur en financiering die nodig waren om grootschalige modeltraining, evaluatie en open publicatie mogelijk te maken.

(Tekst door Tanya Petersen, EPFL)