Scris de echipa Qubic Scientific
Creierul este dinamic și non-binar
Rețelele cerebrale biologice nu funcționează ca un comutator de decizie între activare și odihnă. În sistemele vii, inactivitatea în sine implică dinamism. O „odihnă” absolută ar fi incompatibilă cu viața. Așa cum am văzut în primul capitol, viața se desfășoară în timp.
Un neuron individual poate apărea ca un eveniment totul sau nimic, transmițând curent electric către un alt neuron pentru a-l inhiba sau a-l excita. Cu toate acestea, înainte de acea transmisie, potențialul de acțiune, neuronul primește continuu intrări pozitive și negative într-o regiune numită dendrite. Dacă suma globală a acestor intrări depășește un anumit prag, are loc o schimbare conformațională fizică, iar curentul electric se propagă de-a lungul axonului către următorul neuron. În cea mai mare parte a timpului, procesarea neuronală are loc sub pragul de acțiune, unde curentii excitați și inhibitori sunt integrați continuu.
În neuroștiința computațională, este bine stabilit că creierul este un sistem dinamic continuu al cărui stări evoluează chiar și în absența stimulilor externi (Deco et al., 2009; Northoff, 2018).
Nu există evenimente discrete sau resetări în creier. Fiecare stimul extern acționează asupra unui sistem viu care are deja o configurație anterioară. Un stimul poate influența o stare excitatorie sau inhibitorie, dar niciodată una statică. Este ca o minge pe un teren de fotbal: aceeași traiectorie declanșează rezultate diferite în funcție de pozițiile dinamice ale jucătorilor. Cu un parcurs identic, jocul poate eșua sau poate deveni o asistență decisivă.
Mecanismele care mențin neuronii activi independent de stimulii imediați sunt bine cunoscute.
Unul dintre ele constă în inputuri subthreshold, care alterează potențialul membranar fără a genera un potențial de acțiune.
Altele includ sinapsele silențioase și spinele dendritice, care păstrează conectivitatea latentă între neuroni sau promovează activarea locală.
Cel mai important mecanism implică receptorii metabotropici legați de neurotransmițători, care organizează contextul. Ei nu determină direct dacă un potențial de acțiune este declanșat. În schimb, ei definesc ce este relevant sau nu, ce predicție de recompensă poartă un stimul, ce nivel de alertă sau pericol este prezent, cât de multă nouătate există în sistem, ce grad de atenție susținută este necesar, ce echilibru între explorare și exploatare este adecvat, ce ar trebui să fie codificat versus uitat, cum este reglat starea internă și când controlul impulsurilor sau stabilitatea temporală este avantajoasă.
Cu alte cuvinte, receptorii metabotropici implementează o formă de metacontrol înțelept. Ei nu sunt date, ci parametri! Funcționează ca variabile dinamice care ajustează comportamentul sistemului. Ei permit sistemului să devină sensibil la semnificația funcțională a unei situații (nou, relevanță, recompensă sau amenințare) fără a necesita răspunsuri imediate.
Revenind la metafora fotbalului, receptorii metabotropici corespund tacticilor echipei: decidând când să atace sau să se apere, adică, decizând cum se joacă meciul.
Dintr-o perspectivă computațională, aceste mecanisme funcționează prin stări intermediare. Ele nu sunt binare (activ/inactiv). Sistemul operează în trei moduri: excitator, inhibitor și o stare intermediară care nu produce un output imediat, dar modulează dinamica viitoare.
Când vorbim despre ternar în rețelele neuronale biologice, nu ne referim la o abstractizare matematică sau calcul, ci la o descriere funcțională literală despre cum creierul menține echilibrul în timp.
Din acest motiv, neuroștiința computațională nu studiază în principal mapping-urile input–output, ci modul în care stările se reorganizează continuu. Aceste stări sunt fundamentale predictive prin natura lor (Friston, 2010; Deco et al., 2009).
LLM-urile sunt computații binare.
În modelele de limbaj mari, conceptul de ternaritate nu are sens. Învățarea se bazează fundamental pe retropropagarea erorilor. Adică, odată ce magnitudinea erorii în raport cu datele așteptate este cunoscută, un algoritm de optimizare ajustează parametrii folosind un semnal extern.
Cum funcționează asta? Modelul produce un output, de exemplu, predicția celui mai probabil cuvânt următor: “Paris este capitala …”. Dacă răspunsul este Finlanda, acesta este comparat cu cuvântul corect din setul de antrenament (Franța). Din această comparație, se calculează o eroare numerică. Această eroare cuantifică cât de departe este predicția de valoarea așteptată. Eroarea este apoi transformată într-un gradient, adică un semnal matematic care indică în ce direcție și cu cât ar trebui ajustați parametrii modelului pentru a reduce eroarea. Greutățile sunt actualizate înapoi doar după ce outputul a fost produs și evaluat.
Eroarea este calculată a posteriori, greutățile sunt ajustate astfel încât răspunsul corect să devină Franța, iar sistemul își reia funcționarea de parcă nimic nu s-ar fi întâmplat.
În modelele de limbaj mari, separarea între dinamică și învățare este deosebit de pronunțată. În timpul inferenței, parametrii rămân fixați; nu există plasticitate online, nu există obișnuință, nu există oboseală și nu există adaptare în funcție de timp. Sistemul nu se schimbă prin activitate.
În metafora fotbalului, LLM-urile seamănă cu un antrenor care revizuiește greșelile după meci și ajustează tacticile pentru următorul meci. Dar în timpul meciului în sine, echipa joacă cele nouăzeci de minute fără nicio posibilitate de modificare tehnică sau tactică!
Există strategie pre-meci și corectare post-meci, dar nu există dinamism în timpul jocului!
LLM-urile nu sunt, așadar, ternare dintr-un punct de vedere funcțional. Ele sunt matrice de „atenție” (transformatoare) antrenate offline (Vaswani et al., 2017). Aceasta nu este o limitare cantitativă, ci o diferență ontologică.
Dinamicile ternare Neuraxon și Aigarth
Neuraxon introduce un cadru fundamental diferit. Unitatea sa de bază nu este o funcție de input–output, ca în LLM-uri, ci o stare internă continuă care evoluează în timp. În Neuraxon, excitația este reprezentată ca +1, inhibiția ca −1, iar între aceste două stări există un interval neutru reprezentat prin 0.
În fiecare moment, sistemul integrează influența inputurilor curente, a istoriei recente și a mecanismelor interne pentru a genera un output trinomial discret (excitație, inhibiție sau neutralitate).
Relația dintre timp și ternar este centrală. Starea neutră nu reprezintă absența calculului sau a inactivității, ci o fază subțire în care sistemul acumulează influență fără a produce un output imediat. Este comparabilă cu o schimbare tactică dinamică într-o echipă de fotbal, indiferent dacă duce sau nu la un gol.
Aigarth exprimă aceeași logică la un nivel structural. Nu doar că unitățile în sine sunt ternare, dar rețeaua poate crește, reorganiza sau colapsa în funcție de utilitatea sa, introducând o dimensiune evolutivă care întărește adaptarea continuă. Combinarea Neuraxon–Aigarth (micro–macro) dă naștere unor țesuturi computaționale capabile să rămână active (unități de țesut inteligent), ceva imposibil pentru arhitecturi bazate exclusiv pe retropropagare.
Întrebarea hardware-ului nu poate fi ignorată. În prezent, nu există hardware ternar de uz general, dar există linii active de cercetare în logica ternară, inclusiv memristori multivaluați și calcul neuromorfic bazat pe dispozitive rezistive sau spintronice (Yang et al., 2013; Indiveri & Liu, 2015). Aceste abordări își propun să reducă consumul de energie și, mai important, să realizeze calcul ternar aliniat cu dinamica fizică, vie și continuă.
Are sens o arhitectură ternară chiar și fără hardware ternar dedicat? În ciuda acestei limitări, are sens, deoarece arhitectura precede substratul fizic. Prin proiectarea sistemelor ternare, dezvăluim incapacitatea logicii binare de a reflecta o lume dinamică. În același timp, arhitecturile ternare precum Neuraxon–Aigarth pot deja aduce îmbunătățiri hardware-ului binar existent prin reducerea activității inutile.
Referințe
Deco, G., Jirsa, V. K., Robinson, P. A., Breakspear, M., & Friston, K. J. (2009). Creierul dinamic: De la neuroni spiking la mase neuronale și câmpuri corticale. PLoS Computational Biology, 5(8), e1000092.
Friston, K. (2010). Principiul energiei libere: O teorie unificată a creierului? Nature Reviews Neuroscience, 11(2), 127–138.
Indiveri, G., & Liu, S.-C. (2015). Memoria și procesarea informației în sistemele neuromorfice. Proceedings of the IEEE, 103(8), 1379–1397.
Northoff, G. (2018). Creierul spontan: De la problema minte–corp la o neurofenomenologie. MIT Press.
Vaswani, A., Shazeer, N., Parmar, N., et al. (2017). Atenția este tot ce ai nevoie. Progrese în Sistemele de Procesare a Informațiilor Neurale, 30.
Yang, J. J., Strukov, D. B., & Stewart, D. R. (2013). Dispozitive memristive pentru calcul. Nature Nanotechnology, 8(1), 13–24.