AI zuiniger maken? 3D-optische computing is het antwoord

“Om een verschil te maken op de markt voor AI-computing, moet je iets leveren dat veel beter is dan dat van de concurrentie. Om dat te bereiken, moet je een heel andere technische aanpak hanteren”, aldus Phillip Burr. Hij is hoofd productontwikkeling bij Lumai, een Britse startup die een andere weg is ingeslagen op het gebied van AI-chipontwikkeling, waarbij energie-efficiëntie centraal staat in hun oplossing.

Lumai werkt aan een AI-versneller, een processor die de energie-efficiëntie van AI-berekeningen moet verbeteren. Deze maakt gebruik van 3D-optische computing, waarbij licht wordt gebruikt om informatie te verwerken. Volgens het bedrijf, een spin-off van de Universiteit van Oxford, kan zijn technologie het energieverbruik van AI-chips met 90% verminderen. Tegelijkertijd werkt het bedrijf aan een roadmap om de prestaties van chips vijftig keer te verbeteren ten opzichte van de huidige technologie.

Naarmate de ontwikkeling en het gebruik van AI toenemen, stijgt ook de energievraag die daarmee gepaard gaat. Volgens een recent onderzoek kan AI in 2025 tot 82 terawattuur aan stroom verbruiken, wat overeenkomt met het jaarlijkse energieverbruik van Zwitserland. “De energiebehoefte van AI zal niet afnemen, maar we kunnen wel werken aan het vertragen van die toename”, zegt Burr. Hij zal een van de sprekers zijn op de komende Watt Matters in AI-conferentie, die op 26 november in Eindhoven plaatsvindt.

Watt Matters in AI

Watt Matters in AI is een conferentie die zich richt op het verkennen van het potentieel van AI met aanzienlijk verbeterde energie-efficiëntie. In aanloop naar de conferentie publiceert IO+ een serie artikelen die de huidige situatie en mogelijke oplossingen laten zien. Tickets voor de conferentie zijn te vinden op wattmattersinai.eu.

Bekijk Watt Matters in AI

3D optische computing: het energieverbruik van AI minimaliseren

Grafische verwerkingseenheden (GPU's) vormen de hardwarebasis van AI-ontwikkeling en maken complexe berekeningen mogelijk. Het Amerikaanse NVIDIA is momenteel marktleider op het gebied van GPU's en op dit moment het meest waardevolle bedrijf ter wereld. De kern van de verwerking van grote taalmodellen (LLM's) van AI wordt gevormd door een wiskundige bewerking die herhaaldelijk wordt berekend, namelijk matrix-vectorvermenigvuldiging (MVM). In wezen worden de datastromen hierbij vele malen vermenigvuldigd.

Bij 3D-optische computing worden deze gegevens gecodeerd in een lichtstraal die door een lens gaat, waardoor de gegevens effectief over de matrix worden gekopieerd. “Daardoor kun je veel bewerkingen uitvoeren in het lichtdomein, waar maar heel weinig energie voor nodig is”, legt het hoofd productontwikkeling van Lumai uit.

Bedrijven die met siliciumtechnologie werken, voegen meer silicium toe om snellere, krachtigere AI-oplossingen te krijgen, maar hebben daardoor ook meer stroom nodig om te kunnen werken. Een NVIDIA H200 GPU kan bijvoorbeeld tot 700 watt stroom verbruiken. Het eerste Europese datacenter van OpenAI, Stargate Norway, zal Ωo'n 100.000 GPU's in gebruik hebben.

Burr: “Daardoor stijgen de kosten voor het bouwen van een datacenter: hoe meer stroom je verbruikt, hoe groter de stroomvoorzieningen en de koelapparatuur die je nodig hebt om het te laten werken. Bovendien kan de prestatie niet zomaar steeds verder worden verhoogd, omdat je dan te maken krijgt met thermische problemen. Het afvoeren van warmte uit chips is een uitdaging, en het ontwerpen van chips met een goed thermisch beheer kan duur worden.”

Philipp Burr

Hoofd productontwikkeling bij Lumai

Na een lange carrière in de halfgeleiderindustrie trad hij in dienst bij Lumai, gefascineerd door hun innovatieve benadering van AI-computing.

Gericht op AI-inferentie

De Britse startup, met 20 medewerkers, richt zich op AI-inferentie in datacenters. Bij de ontwikkeling van een groot taalmodel (LLM) is er een eerste trainingsfase, waarin het model wordt gevoed met informatie. Daarna volgt de inferentiefase, waarin de verworven kennis wordt getest en het model beslissingen neemt en voorspellingen doet op basis van nieuwe, onbekende gegevens.

Volgens journalisten James O'Donnell en Casey Crownhart van MIT Technology Review vindt het grootste deel van het energieverbruik van AI plaats tijdens de inferentie, en niet tijdens de eerste trainingsfase. Onderzoekers hebben aangetoond dat tot 90% van de elektriciteit die door AI-modellen wordt verbruikt, wordt gebruikt voor deze tweede fase van de ontwikkeling van het AI-model.

Naast de energiebesparing die het belooft te bieden, zou de oplossing van Lumai slechts een fractie kosten van de eigendomskosten van conventionele technologie. Eerder dit jaar haalde het bedrijf meer dan $10 miljoen aan financiering op.

De opkomst van optische technologie

Het gebruik van optische technologie in datacenters is niet nieuw. Google heeft een vergelijkbare technologie geïmplementeerd in zijn optische circuitswitch (OCS)-product, dat in plaats van elektronische circuitsystemen optische signalen gebruikt om communicatie via een netwerk af te handelen. De Amerikaanse gigant gebruikt OCS bijvoorbeeld om tussen verschillende computerclusters te schakelen.

“Wat ze onlangs hebben ontdekt, is dat de betrouwbaarheid van hun datacenter verbetert bij gebruik van OCS”, voegt Burr toe. Hoewel het voor een ander doel wordt gebruikt, heeft de toepassing door Google de waarde van deze technologie bewezen, die als voordelen heeft dat de kosten van het netwerk worden verlaagd en de transmissiecapaciteit van glasvezel wordt vergroot. Het hoofd productontwikkeling van Lumai ziet een algemene toename in het gebruik van optische technologieën in datacenters.

Watt Matters in AI: op zoek naar energie-efficiënte AI

In aanloop naar de “Watt Matters in AI” conferentie: de huidige situatie, de maatschappelijke behoeften en de wetenschappelijke vooruitgang.

Energie-efficiëntie van AI is een plicht van de sector

In zijn presentatie op Watt Matters in AI zet Burr de argumenten voor 3D-optische computers op een rij en laat hij zien hoe Lumai de voordelen van deze technologie gebruikt. Tegelijkertijd wil hij graag met de andere bezoekers van de conferentie discussiëren over de implicaties die dit kan hebben.

"Als sector hebben we de plicht om AI zo energie-efficiënt mogelijk te maken. Geen enkel bedrijf of individu kan dit alleen. Ik kijk ernaar uit om samen met andere deelnemers mogelijke samenwerkingsmogelijkheden te verkennen en te bespreken."