Biomimetica in AI: hersenen als blauwdruk voor het geheugenprobleem van taalmodellen

Het vakgebied van de Kunstmatige Intelligentie is, zoals vele disciplines, sterk geïnspireerd door de natuur. De kracht achter de taalmodellen (LLMs) die tegenwoordig diep verweven zijn in alledaagse taken ligt dan ook in Deep Learning, een principe dat gebaseerd is op de neuroplasticiteit van de hersenen. Neurale netwerken zijn opgebouwd uit aanpasbare verbindingen, een idee dat neuroplasticiteit nabootst volgens het principe van Hebbian learning. In onze hersenen maken neuronen nieuwe (of sterkere) verbindingen met elkaar wanneer zij herhaaldelijk gezamenlijk actief zijn: “Neurons that fire together, wire together”. Dit is de basis voor hoe we dingen ervaren en concepten leren.

Historisch gezien brengt de imitatio van de natuur, ook wel biomimetica, ons op wetenschappelijk vlak vaak vooruitgang. Dat is op het gebied van de Kunstmatige Intelligentie niet gek, aangezien het menselijk brein wellicht het meest complexe biologische systeem is dat we kennen. Naarmate de neurobiologie meer inzicht geeft in hoe wij leren, onthouden en redeneren, ontstaan er nieuwe aanknopingspunten voor de computerwetenschap om deze mechanismen na te bootsen.

In 2017 brachten wetenschappers van Google het baanbrekende artikel ‘Attention is all you need’ uit, waarin de modelstructuur van transformers werd geïntroduceerd. Waar eerdere Natural Language Processing (NLP) systemen moeite hadden met het modelleren van lange afhankelijkheden in taal, presteerden transformers ongeëvenaard. Doormiddel van het zogeheten attention-mechanisme, een wiskundige techniek die losjes is geïnspireerd op het taalkundige concept van aandacht, konden modellen relevantere delen van een tekst dynamisch zwaarder meewegen. Op basis van deze innovatie zijn de architecturen van de meeste taalmodellen gebouwd (zo staat GPT van ChatGPT bijvoorbeeld voor Generative Pre-trained Transformer).

Echter begint men zich steeds meer te realiseren dat deze taalmodellen geen magische toverstaf zijn, die elk probleem in een oogwenk kunnen oplossen, hoewel grote techbedrijven deze wel graag zo willen verkopen.  Sterker nog, de afgelopen drie jaar (ChatGPT kwam in 2022 uit) zijn de beperkingen van deze systemen pijnlijk duidelijk geworden. Voornamelijk het fenomeen van ‘hallucinerende’ modellen (weer een antropomorfe term) zorgt voor wantrouwen in de capaciteiten van deze systemen, door overtuigend klinkende, maar feitelijk onjuiste antwoorden te genereren.

Hoewel baanbrekend, schuilt er in deze architectuur een fundamentele beperking. Deze beperking is wederom het best te duiden met een term uit de neuropathologie: anterograde amnesie. Net zoals een patiënt met deze aandoening geen nieuwe lange-termijnherinneringen kan vormen na het intreden van de ziekte, blijft de fundamentele kennis van toonaangevende taalmodellen na training grotendeels statisch. Hoewel het attention-mechanisme uitstekend werkt in het ‘nu’ (binnen de context window, zoals ze dat noemen), vindt er geen structurele verandering plaats in de neurale verbindingen op basis van nieuwe input. Na de zogenaamde Hebbiaanse training vliegt Hebb’s principe de deur uit. Hieruit blijkt dat de huidige LLMs tot op heden onze hersenen simpelweg imiteren, maar het biologische vermogen om ervaringen te integreren nog steeds missen.

Grappig genoeg zijn het de wetenschappers van Google die een oplossing op dit geheugenprobleem lijken te hebben gevonden, weer met een neurobiologische inspiratiebron. Ditmaal richtten ze zich niet op de statische verbindingen tussen neuronen, maar op het ritme waarmee ze communiceren: hersengolven. Onze hersenen werken namelijk niet in één tempo, zoals kunstmatige neurale netwerken dat wel doen. In plaats daarvan is er een spectrum aan verschillende golven die allemaal op hun eigen snelheid opereren. Zo zorgen snelle Gamma-golven, die een hoge frequentie hebben, ervoor dat we direct kunnen reageren op dingen die er nu gebeuren, terwijl trage Delta-golven over langere periodes informatie verwerken en vastleggen. Dit biologische ritme is de blauwdruk geworden voor een nieuw concept: ‘Nested Learning’. Dit systeem kan je zien als een verzameling tandwielen: kleine, snel draaiende radertjes verwerken de vluchtige context van een gesprek, terwijl grotere, tragere wielen op de achtergrond meedraaien om de essentie langzaam maar permanent in het diepe geheugen vast te leggen.

"Diagram comparing biological brain waves and neuroplasticity to the uniform structure and multi-frequency updates used in Nested Learning models" - Google, 2025.

Het concept van Nested Learning wordt voorgesteld in een architectuur genaamd HOPE. Wat blijkt? HOPE verslaat traditionele transformer-modellen op taalmodellering en redeneertaken, met name in situaties die continu leren vereisen. Hope is een model dat dus niet ‘af’ is na training. Het blijft sleutelen aan zijn eigen interne bedrading terwijl het nieuwe tekst leest: een veel mooiere nabootsing van neuroplasticiteit dus. Hierdoor is het geen statische encyclopedie, maar echt een levend organisme dat zich aanpast aan de omgeving.

Met HOPE lijkt het plaatje steeds completer te worden: door niet alleen de neuronen, maar ook het ritme van de hersenen na te bootsen, zetten we een verdere stap naar werkelijke kunstmatige intelligentie. Concreet betekent dit voor gebruikers van taalmodellen dat een virtuele assistent nu ook écht kan leren van interactie met de gebruiker en zich ook blijvend aanpast aan diens stijl – iets wat de aanbieders van deze modellen al langer verkopen, maar tot dusver slechts op vrij omslachtige wijze gebeurde.  

Biomimetica lijkt ons daarmee dichter bij een functionele imitatie van het menselijk brein te brengen. Tegelijkertijd leeft het idee dat het bereiken van de menselijke capaciteit niet het einddoel is: superintelligentie streeft na de mens te overstijgen – geen imitatio , maar aemulatio. Ik vraag me af of dit realistisch is, wanneer het merendeel van onze vooruitgang voortkomt uit nabootsing. Misschien is het al indrukwekkend genoeg dat we, geïnspireerd door de nog altijd grotendeels mystieke en onbegrepen hersenen die we zelf bezitten, systemen bouwen die slechts een fractie van hun vermogen benaderen. Voor mij is dat reden genoeg om, terwijl we kunstmatige intelligentie blijven verfijnen, ook bewuster stil te staan bij het koesteren van onze eigen hersenen.