AI kan veel leren van de hersenen om energiezuinig te zijn

Decennia van onderzoek naar het menselijk brein hebben buitengewone vermogens om informatie te verwerken, te absorberen en binnen milliseconden op prikkels te reageren, aan het licht gebracht. De complexiteit en de kracht van het brein blijven tot op heden ongeëvenaard. Daarom valt er nog steeds veel van te leren.

Christian Mayr is voorzitter van Highly-Parallel VLSI-Systems and Neuromorphic Circuits aan de Technische Universiteit van Dresden. Een groot deel van zijn onderzoeksloopbaan heeft hij zich gericht op het brein. “In al die tijd heb ik geleerd welke concepten van het brein we moeten repliceren”, zegt hij.

Simpel gezegd is neuromorfisch computergebruik een benadering van computergebruik die de werking van het menselijk brein nabootst. Voor Mayr gaat het meer om het zich laten inspireren door de computerprincipes van het brein. De professor is een van de sprekers op de Watt Matters in AI-conferentie, die op 26 november in Eindhoven plaatsvindt.

Watt Matters in AI

Watt Matters in AI is een conferentie die zich richt op het verkennen van het potentieel van AI met aanzienlijk verbeterde energie-efficiëntie. In aanloop naar de conferentie publiceert IO+ een serie artikelen die de huidige situatie en mogelijke oplossingen laten zien. Tickets voor de conferentie zijn te vinden op wattmattersinai.eu.

Bekijk Watt Matters in AI

Het brein: 's werelds meest efficiënte computer

“Het brein heeft al veel van de computationele uitdagingen waar we voor staan opgelost”, zegt Mayr. De belangrijkste daarvan is energie-efficiëntie. Het brein is een uiterst energiezuinige machine voor het verwerken van informatie. Om te functioneren verbruikt het slechts 20 watt aan elektriciteit, genoeg om twee ledlampen van stroom te voorzien. Toch kan een neuron met dit kleine beetje stroom 1000 impulsen per seconde versturen. Er zijn ongeveer 80 miljard neuronen in het menselijk brein.

“Het brein is erg goed in het bepalen welke synapsen wanneer in de ‘power down’-modus moeten worden gezet. Synapsen verbruiken in de power down-modus ook minder stroom dan hun tegenhangers in transistors”, legt de professor uit.

Inspiratie halen uit de energiezuinigheid van de hersenen

Hoe dicht zijn we bij het evenaren van de efficiëntie van de hersenen? Mayr wijst op veelbelovend werk bij Google DeepMind, waar onderzoekers taalmodellen hebben ontwikkeld die, net als de hersenen, slechts een klein deel van hun neuronen activeren voor elke invoer. Dit brengt AI dichter bij de zuinigheid van de hersenen. Maar zelfs dan blijft hardware een struikelblok: de huidige chips kunnen ongebruikte componenten niet gemakkelijk uitschakelen zoals de hersenen dat doen.

Mayr: “Op algoritmeniveau gaan we de goede kant op. De uitdaging is om hardware te bouwen die goed is in niets doen, die weet hoe het afzonderlijke verwerkingselementen moet uitschakelen. Er wordt nog steeds veel stroom verbruikt voor communicatie en geheugen, en het is een uitdaging om die componenten uit te schakelen.”

In een recent onderzoek waaraan de professor heeft deelgenomen, blijkt dat computeren op lokaal niveau al behoorlijk efficiënt is. Het beperken van geheugentoegang, gegevensverplaatsing, communicatie en berekeningen in de bovenste lagen is verantwoordelijk voor een aanzienlijk deel van het stroomverbruik.

C

Christian Mayr

voorzitter van Highly-Parallel VLSI-Systems and Neuromorphic Circuits aan de Technische Universiteit van Dresden

De professor heeft bijna drie decennia besteed aan het bestuderen van de manier waarop de hersenen informatie verwerken.

Een degelijk, effectief netwerk

Een ander interessant kenmerk van de hersenen, in tegenstelling tot moderne AI-computersystemen, is dat ze rekening houden met fysieke beperkingen. In principe wordt communicatie langzamer en zwakker naarmate de afstand groter wordt. AI-systemen gaan uit van onbeperkte bandbreedte en toegang tot het geheugen.

“Dit is een van de misvattingen van algoritmen voor machine learning, maar zo werkt een fysieke machine niet”, merkt Mayr op. “Bandbreedte hangt af van hoe dicht de twee uiteinden bij elkaar liggen. De hersenen hebben hiervoor een solide architectuur en zijn zelfs daar zeer zuinig in hoe en waar ze communiceren.”

Meerdere processen tegelijkertijd uitvoeren

De hersenen zijn ook bedreven in het tegelijkertijd uitvoeren van meerdere processen. Denk bijvoorbeeld eens aan wat er gebeurt tijdens het autorijden: de hersenen verwerken verschillende zintuiglijke informatie, zoals verkeersborden, verkeersgeluiden en het gevoel van de weg. Al deze gegevens worden continu geanalyseerd en gebruikt om beslissingen te nemen.

Interessant is dat de hersenen al hun algoritmen op een asynchrone manier heroverwegen. Softwareontwikkelaars en programmeurs ontwerpen doorgaans algoritmen die op een seriële, lineaire manier werken en dezelfde taak in de loop van de tijd herhalen.

“De menselijke hersenen hebben veel subprocessen die tegelijkertijd worden uitgevoerd. Omdat ze gelijktijdig plaatsvinden, zijn al deze taken met elkaar verbonden en werken ze elkaar in realtime bij. Er is geen behoefte aan de onderlinge koppeling die bij parallel computing wordt gebruikt. De hersenen hebben dit probleem echt opgelost”, voegt de professor toe.

AI zuiniger maken? 3D-optische computing is het antwoord

Lumai’s 3D-optische computing: snellere AI-chips met minder energieverbruik. Op 'Watt Matters in AI' legt Phillip Burr uit hoe dat werkt.

Lees meer

Onze hersenen zullen de informatica blijven inspireren

Wat de professor na vele jaren nog steeds fascineert, is het verschil tussen de manier waarop kunstmatige en menselijke hersenen werken. “Schaak en wiskunde zijn bijvoorbeeld moeilijk voor mensen, maar gemakkelijk voor AI. Maar eenvoudige dagelijkse taken, zoals een robot die door een keuken navigeert en thee zet, zijn voor ons moeiteloos, maar nog steeds onbereikbaar voor machines”, voegt hij eraan toe.

Ondanks de hype rond systemen als ChatGPT waarschuwt Mayr ervoor om hun intelligentie niet te overschatten. “Ze zijn indrukwekkend, maar wat ze doen lijkt meer op de lagere niveaus van de hersenen: patroonherkenning en signaalverwerking”, zegt hij. Echte menselijke intelligentie is sterk afhankelijk van de associatieve cortex, die redeneren en symbolisch denken ondersteunt. Het repliceren van die hogere processen ligt volgens hem nog in het verschiet.