Queste startup sono alla ricerca della prossima grande innovazione nell’IA (I transformer potrebbero perdere terreno)

Autore: Will Douglas Heaven | Fonte: MIT Technology Review

Nell’estate del 2017, i ricercatori di IA di Google pubblicarono un articolo intitolato “Attention Is All You Need”, nel quale descrivevano un nuovo tipo di rete neurale chiamato transformer. Si dimostrò altamente efficiente nell’elaborazione di lunghe sequenze di dati, specialmente testi.

Nove anni dopo, i transformer sono i motori alla base di tutti i principali modelli linguistici di grandi dimensioni (LLM) disponibili sul mercato. “L’intera industria dell’IA è costruita sui transformer”, afferma Justin Dangel, co-fondatore e CEO della startup di IA Subquadratic. “Sono una delle innovazioni più importanti nella storia dell’informatica e hanno cambiato il mondo.”

Ma i transformer stanno iniziando a mostrare i segni del tempo. Molti dei recenti progressi negli LLM, come lo sviluppo dei cosiddetti modelli di ragionamento e la loro capacità di gestire grandi volumi di informazioni in ingresso in una sola volta, non sono estensioni naturali di questa tecnologia centrale, ma piuttosto soluzioni alternative che cercano di aggirare alcuni difetti fondamentali.

Un numero crescente di scienziati e ingegneri, ora, si chiede cosa verrà dopo. Gli LLM non scompariranno, ma il modo in cui sono costruiti è in discussione (nella lista stilata quest’anno dal MIT Technology Review sulle dieci cose che contano nell’IA, questi modelli sono stati ribattezzati “LLM+”).

È in questo scenario che emerge un’ondata di startup che sperano di spingere i limiti di questa tecnologia in piena espansione. Alcune di esse, senza dubbio, falliranno, ma hanno tutto da guadagnare e molto meno da perdere rispetto alle aziende che attualmente guidano questa corsa.

La forza dei numeri

Ma, prima, il problema. La forza principale dei transformer risiede in un meccanismo chiamato attenzione densa, che codifica il significato di un blocco di testo in una serie di numeri. Il processo prevede il confronto di ogni parola, o parte di una parola (nota come token), di quel testo con tutte le altre parole attraverso una forma di moltiplicazione.

L’attenzione densa riesce a catturare il significato del testo con una precisione straordinaria. Ma, all’aumentare delle dimensioni di questo testo, la quantità di calcoli necessari per elaborarlo cresce rapidamente. Un documento di 10.000 parole potrebbe richiedere a un transformer di eseguire 50 milioni di moltiplicazioni. Questo è il motivo principale per cui gli LLM consumano così tanta energia.

I costi sono enormi. OpenAI dovrebbe spendere 50 miliardi di dollari in calcolo quest’anno, secondo il presidente dell’azienda, Greg Brockman. E l’Agenzia Internazionale per l’Energia prevede che la quantità totale di elettricità consumata dai data center raddoppierà entro il 2030.

Inoltre, i transformer hanno difficoltà proprio in ciò che molti dei modelli più recenti sono stati progettati per fare. A causa del modo in cui elaborano il testo, parola per parola, i transformer non sono molto bravi a tenere traccia di una grande quantità di informazioni allo stesso tempo. In altre parole, quella che è nota come finestra di contesto non può diventare troppo grande. Tuttavia, affinché gli LLM svolgano compiti più difficili, dovranno assorbire volumi maggiori di dati: un’intera libreria di documenti, un codice sorgente completo o, nel caso di agenti, risultati prodotti da altri LLM.

Per quanto riguarda i modelli di ragionamento, funzionano scrivendo annotazioni a se stessi, in una sorta di blocco per gli appunti noto come catena di pensieri, e poi rileggendo quelle annotazioni, il che aumenta nuovamente la quantità di dati da tenere traccia.

Man mano che gli LLM diventano più grandi e migliori, i transformer diventano un collo di bottiglia. Il principale punto di forza della tecnologia è ora anche un limite.

Di seguito, presentiamo quattro nuove idee per risolvere il problema dei transformer, innovazioni che potrebbero trasformare definitivamente gli LLM, rendendoli più veloci, molto più efficienti e, forse, persino più intelligenti.

01- Ripensare l’attenzione

Un modo ovvio per rendere gli LLM più veloci ed economici è attaccare direttamente il problema e cambiare il modo in cui funziona l’attenzione. Sostituire l’attenzione densa con un meccanismo chiamato attenzione sparsa, che esegue calcoli solo su alcune coppie di parole in un blocco di testo, invece che su tutte, potrebbe ridurre radicalmente la quantità di elaborazione che gli LLM devono eseguire.

Nel corso degli anni, i ricercatori hanno sviluppato diversi meccanismi di attenzione sparsa. Il problema è che nessuno di essi era valido quanto l’attenzione densa nel catturare il significato.

Questo potrebbe essere cambiato. Subquadratic, una startup con sede a Miami, afferma di aver inventato il primo meccanismo di attenzione sparsa in grado di rivaleggiare con i principali LLM convenzionali in alcuni compiti, tra cui la ricerca e la programmazione. È un’affermazione ambiziosa e alcune persone nel settore rimangono scettiche.

Subquadratic afferma che il suo modello, SubQ, funziona determinando dinamicamente, per ogni pezzo di testo in entrata, quali parole sono importanti e quali no. L’azienda afferma inoltre che migliaia di persone si sono iscritte alla lista d’attesa e prevede di rendere il modello ampiamente disponibile a breve.

Nel frattempo, Manifest AI, una startup con sede a San Francisco, sta affrontando il problema da un’altra prospettiva. Invece di cambiare il modo in cui funziona l’attenzione, sta sostituendo questo meccanismo con qualcos’altro.

L’azienda ha sviluppato un meccanismo battezzato power retention, che memorizza solo le informazioni più rilevanti per una determinata attività e garantisce che la quantità di dati di cui un LLM deve tenere traccia non cresca in modo incontrollato.

I meccanismi di attenzione costringono gli LLM a tenere traccia di tutto ciò che si trova nella loro finestra di contesto. Un modello di attenzione sparsa come SubQ scarta molte delle singole parole, ma mantiene comunque una visione approssimativa di tutto ciò che ha incontrato. Al contrario, la power retention funziona fornendo al modello un riassunto continuamente aggiornato della sua finestra di contesto. Man mano che vengono aggiunte nuove informazioni, le informazioni meno rilevanti vengono scartate.

Il principio di base della conservazione (retention) esiste da un decennio. Manifest AI afferma di aver aggiornato queste tecniche per costruire modelli che, per la prima volta, riescono a competere con gli LLM basati su transformer.

L’azienda afferma che è possibile adattare un modello transformer per trasformarlo in un modello di power retention con un riaddestramento minimo. Per dimostrarlo, ha trasformato un LLM open-source esistente incentrato sulla programmazione, chiamato StarCoder, in una versione che utilizza la power retention, chiamata PowerCoder. Ha anche lanciato un modello chiamato Brumby, che, secondo l’azienda, rivaleggia con alcune versioni del popolare modello open-source Qwen di Alibaba.

Carles Gelada, co-fondatore di Manifest AI, ha dichiarato in un video in cui ha annunciato la tecnologia dell’azienda nel 2025, che ci sono molte applicazioni utili: dall’analisi di video lunghi diverse ore alla costruzione di agenti in grado di rimanere concentrati su un compito per settimane.

02- Rendere i modelli più piccoli e più flessibili

Liquid AI, un’azienda nata come spin-off del MIT con sede a Cambridge, Massachusetts, non ha modificato né abbandonato completamente i transformer, ma li combina con la propria tecnologia, le reti neurali liquide, per costruire ciò che il co-fondatore e CEO Ramin Hasani chiama LFM, modelli fondazionali liquidi (liquid foundation models).

I modelli di Liquid AI sono molto più piccoli e consumano meno energia rispetto alla maggior parte degli LLM. L’azienda sviluppa modelli per le case automobilistiche, tra cui Mercedes, che funzionano sui piccoli chip installati all’interno dei veicoli. I suoi modelli più recenti possono funzionare su un Raspberry Pi, un computer a basso consumo rivolto agli appassionati, che costa 50 dollari.

I suoi modelli sono resi disponibili gratuitamente a qualsiasi organizzazione con un fatturato annuo inferiore a 10 milioni di dollari. E si sono dimostrati popolari: l’azienda ha già accumulato quasi 34 milioni di download, secondo Hasani.

Le reti neurali liquide sono state ispirate dal cervello dei vermi. Sono un’estensione di un altro tipo di rete neurale precedente ai transformer, chiamata rete convoluzionale. L’innovazione principale è un meccanismo che consente a un modello di adattare il proprio comportamento a nuove informazioni, in modo da poter apprendere mentre opera. Questo non è possibile con i transformer: una volta che un modello è addestrato, il suo comportamento è fisso.

I primi modelli di Liquid AI erano piuttosto basilari, ma riuscivano a pilotare droni o guidare veicoli. Con gli LFM, l’azienda cerca di ampliare la propria tecnologia per competere con gli LLM convenzionali. I suoi nuovi modelli raggiungono prestazioni equivalenti a quelle di concorrenti quattro volte più grandi, tra cui versioni di Qwen di Alibaba e l’LLM open-source Gemma di Google.

Un tipico LLM è costruito da una pila di transformer collegati tra loro. I recenti LFM di Liquid AI sono modelli ibridi composti per il 20% da transformer e per l’80% da reti neurali liquide.

Questa proporzione è stata trovata da un altro sistema di IA sviluppato da Liquid AI, che l’azienda utilizza per aiutare a progettare tutti i modelli. “Questa è la tecnologia centrale della nostra azienda in questo momento”, afferma Hasani. Questa IA progettista esamina diverse combinazioni di reti neurali (liquide, convoluzionali e altre), oltre ai transformer, e crea architetture che collegano tipi diversi per raggiungere un punto di equilibrio ottimale tra prestazioni ed efficienza.

Hasani ritiene che i transformer siano stati solo l’inizio: “Il tuo cervello è un sistema di Intelligenza Artificiale Generale (AGI) e funziona con 20 watt di potenza. Come è possibile? Possiamo innovare molto di più.”

03- Generare testo tutto in una volta

Quasi tutti gli LLM producono la loro risposta una parola alla volta. Questo ha senso, perché è così che le persone parlano e scrivono. Ma, per i computer, è qualcosa di molto inefficiente.

È più veloce ed economico per gli LLM generare il testo tutto in una volta, producendo frasi o paragrafi interi in un unico passaggio. Questo è l’approccio adottato da Inception, una startup con sede a Palo Alto, in California, che sta costruendo LLM utilizzando una tecnica chiamata diffusione (diffusion).

La diffusione è nota soprattutto come la tecnologia che alimenta la maggior parte dei modelli di generazione di immagini e video. I modelli di diffusione sono addestrati per prendere una griglia casuale di pixel, simile al rumore statico di un vecchio televisore, e trasformarla in un’immagine. Lo fanno lavorando su tutti i pixel allo stesso tempo, identificando quali devono essere modificati in modo che il rumore inizi a sembrare più simile a una fotografia ad alta definizione.

Si dà il caso che questo processo funzioni anche con il testo. Inception ha addestrato i suoi LLM a prendere una sequenza casuale di parole e trasformarla in frasi che abbiano senso. Gli LLM a diffusione utilizzano ancora i transformer per codificare il significato, ma, producendo interi blocchi di testo in una volta sola, fanno in modo che i transformer forniscano di più con meno. “Usi ancora un grande modello transformer, ma puoi prevedere molti token contemporaneamente”, afferma Stefano Ermon, co-fondatore e CEO di Inception. “Ecco perché questi modelli sono molto più veloci ed efficienti in termini di costi rispetto a ciò che la maggior parte delle altre persone sta costruendo attualmente.”

La sfida era prendere una tecnologia sviluppata per la generazione di immagini e applicarla al testo. Con le immagini, se hai bisogno di cambiare un pixel blu in rosso, puoi passare gradualmente attraverso colori intermedi, spiega Ermon. Questo non funziona con il testo: “Quando hai ‘gatto’ e ‘cane’, non c’è davvero nulla in mezzo.”

Ermon è anche un ricercatore presso l’Università di Stanford. Nel 2024, lui e due colleghi di Stanford hanno scoperto la matematica necessaria per far funzionare i modelli di diffusione con il testo. Hanno addestrato un modello di diffusione che ha eguagliato le prestazioni di GPT-2, un LLM sviluppato da OpenAI nel 2019, ma era dieci volte più veloce. È stato sufficiente a Ermon per trasformare la tecnologia in un’azienda.

Oggi, punta all’élite del settore. Inception afferma che il suo modello più recente, Mercury 2, ha prestazioni equivalenti ad alcuni modelli GPT-4 di OpenAI rilasciati nel 2023, ma, ancora una volta, è dieci volte più veloce. “Siamo molto fiduciosi in questo approccio perché è ciò che riuscirà a scalare”, afferma Ermon.

Le uniche cose che contano sono la velocità e i costi, aggiunge: “Alla fine, la valuta sarà intelligenza per dollaro.”

Inception non è l’unica azienda a scommettere sulla diffusione. Anche Google sta sperimentando questo approccio e ha costruito un prototipo di LLM chiamato Diffusion Gemma. Ma Ermon non è preoccupato per la concorrenza. “Penso che questo convalidi il nostro approccio”, afferma. “Questo è il futuro.”

04- Andare oltre le parole

Pathway, un’altra startup con sede a Palo Alto, è forse la più radicale di questo nuovo gruppo. Vuole liberare gli LLM dai limiti del linguaggio.

L’azienda ha costruito un tipo di LLM chiamato Dragon Hatchling, nome ispirato ai draghi del romanzo Il colore della magia di Terry Pratchett, che si materializzano se ci si pensa con sufficiente intensità. Il suo risultato più importante finora è un punteggio elevato in un test di riferimento che mette gli LLM contro più di 250.000 puzzle di sudoku estremamente difficili. Dragon Hatchling ha risolto oltre il 97% dei puzzle. Molti dei principali LLM dei laboratori più grandi non sono riusciti a risolverne nessuno.

Il punto che Pathway vuole dimostrare è che, nonostante lo straordinario successo degli LLM in molti compiti diversi, esistono ancora classi cruciali di problemi in cui falliscono. Il sudoku è solo un esempio. Se vogliamo che gli LLM trovino soluzioni genuine e inedite a problemi reali, dobbiamo andare oltre i transformer, afferma Zuzanna Stamirowska, co-fondatrice e CEO di Pathway.

Questo accade perché i transformer costringono gli LLM a fare tutto tramite il testo. Ma il linguaggio non è lo strumento migliore per determinati tipi di ragionamento. “È molto difficile rappresentare una scacchiera di sudoku parola per parola”, afferma Stamirowska.

La soluzione di Pathway è alterare la matematica alla base del transformer, sostituendo il meccanismo di attenzione con una struttura matematica chiamata spazio degli stati (state space). Invece di codificare le informazioni parola per parola, gli spazi degli stati le comprimono in una rappresentazione più astratta. Utilizzando questa tecnica, Dragon Hatchling riesce ancora a elaborare e produrre testo, ma può anche imitare forme di ragionamento che non coinvolgono sequenze di parole. Questo non solo rende il modello di Pathway più efficiente, ma, in teoria, gli consente di affrontare compiti che altri LLM non possono eseguire.

Pensiamo agli scacchi o alla matematica: questi tipi di puzzle non vengono mantenuti nella mente come una lunga frase, afferma Stamirowska: “Il momento eureka che si palesa nel tuo cervello non è necessariamente nel linguaggio. Sosterremmo che, se devi ragionare attraverso il linguaggio, sei, in qualche modo, limitato.”

Stamirowska ammette che un LLM convenzionale potrebbe leggere un libro su come risolvere il sudoku e poi scrivere un codice per farlo. Ma vogliamo costruire modelli con qualcosa di più della conoscenza acquisita dai libri, afferma: “La speranza per l’IA non è risolvere il sudoku, è curare il cancro. Non c’è nessun libro per questo.”

“I transformer sono una convenienza ingegneristica in cui siamo finiti per caso”, aggiunge. “Questo ha dato origine a una religione, ma è assurdo pensare che non avverrà una nuova svolta.”