Settimane fa stavo provando due diversi assistenti di intelligenza artificiale per un compito semplice. Ho chiesto a entrambi di riassumere un articolo di ricerca. Una risposta suonava sicura. Ha perso un punto chiave. L'altra risposta era più lenta e leggermente meno rifinita. Ha catturato correttamente l'idea.
Questa esperienza mi ha ricordato qualcosa che spesso si perde nel modo in cui parliamo dei sistemi di intelligenza. La maggior parte delle volte li giudichiamo in base ai benchmark. Un modello ottiene un punteggio più alto su un dataset. Si comporta meglio in alcuni test standardizzati. Questo diventa il segnale di progresso.. Quando utilizzi effettivamente questi sistemi nel mondo reale, l'affidabilità sembra meno una proprietà di un singolo modello e più qualcosa che emerge dal sistema circostante.
Continuo a pensare a questo quando guardo progetti come Mira Network. La maggior parte delle discussioni sull'intelligenza artificiale presume ancora che il modello sia l'unità di intelligenza. Se il modello diventa migliore, il sistema diventa migliore. I benchmark riflettono quella assunzione. Misurano quanto bene un singolo modello si comporta su un insieme fisso di compiti.. Il mondo reale è disordinato. Le informazioni cambiano. Le fonti di dati confliggono. I modelli commettono errori.
Quindi la domanda passa da "Quanto è buono questo modello?" a qualcosa di leggermente diverso: "Come decide un sistema cosa è vero quando più modelli non sono d'accordo?" È lì che le cose diventano interessanti. La Mira Network sembra affrontare l'affidabilità dell'intelligenza da una prospettiva di rete piuttosto che da una prospettiva di modello. Assumendo che un singolo sistema di intelligenza artificiale possa produrre output affidabili, crea una struttura in cui molti validatori indipendenti esaminano le affermazioni generate dai modelli.
In termini di rete, l'intelligenza artificiale considera gli output come affermazioni che necessitano di verifica. Immagina che un modello produca una risposta a una domanda o una previsione su un evento. Quella risposta non diventa automaticamente verità. Invece entra in un processo di verifica in cui più partecipanti nella rete la valutano. I validatori analizzano l'affermazione, controllano le fonti, confrontano gli output dei modelli e poi inviano i loro giudizi.
Il risultato non è determinato dal modello. È determinato dalla rete. Un altro modo di pensarci è che Mira sposta la posizione della fiducia. Nei sistemi di intelligenza artificiale, la fiducia risiede nel modello. Se il modello è ben addestrato, assumiamo che l'output sia affidabile. Mira distribuisce quella fiducia su un insieme di validatori i cui incentivi sono legati all'accuratezza nel tempo.
Questo inizia a somigliare a qualcosa di blockchain validation piuttosto che a benchmarking dell'apprendimento automatico. I validatori nella rete normalmente mettono in gioco token prima di partecipare al processo di verifica. Lo staking non è un requisito tecnico. Crea esposizione. Se un validatore supporta costantemente affermazioni o si comporta in modo disonesto, rischia di perdere parte di quel capitale.
La logica è piuttosto semplice. L'accuratezza diventa finanziariamente premiata. Gli errori persistenti diventano costosi. La parte che le persone spesso trascurano è come questo cambi il comportamento. Quando un validatore è economicamente esposto alla correttezza di un'affermazione, i suoi incentivi iniziano a somigliare a quelli di un partecipante al mercato piuttosto che a un valutatore del modello. Non stanno solo misurando le prestazioni. Stanno facendo un giudizio che comporta rischi.
Un piccolo esempio aiuta a chiarire questo. Supponiamo che un'affermazione entri nella rete affermando che un certo set di dati mostra una correlazione medica. Un modello di intelligenza artificiale potrebbe generare quell'affermazione automaticamente. I validatori nella rete esaminerebbero quindi le fonti sottostanti. Alcuni potrebbero eseguire i loro modelli per testare il risultato. Altri potrebbero controllare database o pubblicazioni scientifiche.
Se l'affermazione supera la verifica attraverso il consenso, diventa parte dell'output accettato dalle reti. Se fallisce, viene rifiutata. La rete filtra efficacemente gli output del modello attraverso uno strato di incentivi. Questo design porta a un'idea sull'affidabilità dell'intelligenza artificiale. L'affidabilità diventa una proprietà della rete.
Non perché ogni validatore sia perfetto. Perché il sistema aggrega molti giudizi imperfetti in un risultato più stabile. È simile a come le blockchain si affidano a validatori distribuiti per mantenere il consenso piuttosto che fidarsi di un singolo operatore.. L'argomento onesto contro questo modello vale la pena considerarlo.
Le reti di verifica possono diventare lente. Possono anche diventare costose se il numero di validatori cresce notevolmente. Coordinare partecipanti indipendenti richiede tempo. Se l'obiettivo è verificare migliaia o milioni di affermazioni generate dall'intelligenza al giorno, la scalabilità diventa una vera limitazione.
C'è anche una domanda alla quale mi ritrovo a tornare. Stiamo risolvendo il problema? Se i modelli di intelligenza artificiale continuano a migliorare, forse l'affidabilità alla fine diventerà sufficientemente forte a livello di modello da rendere meno necessarie le reti di verifica. In quel scenario, l'architettura di Mira potrebbe assomigliare a uno strato complesso costruito per un problema che si è risolto da solo.
Ancora una volta, la storia nei sistemi distribuiti suggerisce qualcosa di diverso. Man mano che i sistemi scalano, la fiducia spesso si allontana dai componenti e si dirige verso le strutture di coordinamento. I mercati finanziari non si affidano a un analista. Le blockchain non si affidano a un solo validatore. Anche la ricerca scientifica dipende alla fine dalla revisione tra pari piuttosto che da un'autorità individuale.
Visto da quella prospettiva, il design di Mira sembra più un esperimento tecnico e meno un tentativo di costruire una governance per le informazioni generate dalle macchine. Ciò che rende questo diverso è che gli incentivi sono incorporati direttamente nel protocollo. Token, staking e premi per i validatori diventano strumenti per plasmare il comportamento all'interno del processo di verifica. I partecipanti sono incoraggiati ad agire perché l'accuratezza influisce sui loro risultati economici.
Certo, progettare correttamente quegli incentivi è difficile. Pochi validatori e la rete diventa fragile. Troppi e il sistema diventa inefficiente. Anche le strutture di premio sono importanti. Se i premi sono troppo piccoli, i partecipanti potrebbero non prendere la verifica sul serio. Se i premi sono troppo grandi, la rete potrebbe attrarre comportamenti.
Questi non sono problemi di design. Sono problemi.. Potrebbero richiedere anni per essere raffinati. Tuttavia, trovo difficile ignorare l'idea più ampia. Mira non sta realmente cercando di costruire un modello. Sta cercando di costruire un sistema in cui l'intelligenza diventa responsabile verso una rete.
Quella distinzione è importante. Perché il futuro dell'intelligenza potrebbe dipendere meno da quale modello vince i benchmark e più da come le società decidono quali affermazioni generate dalle macchine fidarsi. In un mondo in cui migliaia di agenti intelligenti producono informazioni continuamente, la verifica potrebbe diventare silenziosamente più importante della generazione.
Forse è ciò che Mira sta esplorando.. Forse è un esperimento eccessivamente complicato che l'ecosistema alla fine abbandona. Ora è difficile dirlo. Sistemi come questo tendono a rivelare i loro punti di forza dopo anni di utilizzo reale.. La domanda che solleva continua a tornare, per me. Se l'intelligenza diventa abbondante, allora l'affidabilità potrebbe smettere di essere un problema di modello. Potrebbe diventare invece un problema di coordinamento.