Word model e world model: perché Amazon offre 7 miliardi di dollari per la startup Decart

Nel 2023 due veterani dell’intelligence israeliana fondano la startup Decart con un’idea precisa: generare nuovi mondi interattivi, in tempo reale, con l’AI. La prima dimostrazione, Oasis, sembra un videogioco alla Minecraft che nessuno ha programmato: ogni scena è generata al momento dal modello, in risposta a ciò che fa il giocatore. Secondo l’azienda, Oasis arriva a un milione di utenti in 72 ore. Sembra l’inizio di una startup di videogiochi.

C’è però un problema molto concreto: far girare un mondo del genere in tempo reale costa una fortuna. Decart ha speso decine di milioni di dollari in GPU e spazio nei data center. Per alleggerire quel peso, i fondatori hanno dovuto costruirsi da soli gli strumenti per far girare i loro modelli di mondo – o World Models – più velocemente e con meno hardware. Quella competenza, nata per necessità, è diventata il loro vero asset.

Dai world model all’infrastruttura AI: perché Decart interessa ad Amazon

Oggi sono questi strumenti, e non i mondi virtuali, a stimolare l’appetito degli investitori. Anthropic ha trattato per rilevare l’azienda per circa 6 miliardi di dollari, ma poi si è ritirata dopo la due diligence. Ha fatto clamore anche perché sarebbe stata la prima acquisizione dell’azienda di Claude, in Israele. Tra i nomi circolati come possibili acquirenti in questi ultimi giorni c’è anche Amazon, già cliente e partner di Decart. Interesse e offerta non sono stati confermati in modo indipendente, ma si parla di 7 miliardi di dollari.

Per capire perché una startup di videogiochi sia diventata una startup così ambita, bisogna partire da una domanda un po’ difficile: che cos’è un World Model?

Word model e world model: che cosa cambia

I modelli di linguaggio (LLM – Large Language Models) come ChatGPT o Claude sono Word (Parola) Model, modelli di parole. A ogni passo prevedono la parola successiva (il “token”) più plausibile. Conoscono la struttura della lingua, e per questo è raro che producano una frase che suoni male. Ma può capitare che dicano cose inesatte e talvolta proprio prive di senso concreto.

Un World (Mondo) Model fa un’altra cosa: prevede lo stato successivo di un sistema. Per capire cosa vuol dire, servono due parole che i tecnici masticano bene, e tutti gli altri molto meno.

Stato: la fotografia di un sistema

• Stato: la fotografia di un sistema in un istante, descritta da un insieme di quantità che possono cambiare. Lo stato di un semaforo, per esempio, è “verde”: una sola quantità, tre valori possibili. Lo stato di un cliente potrebbe essere: è “ha aperto la mail, non ha cliccato, sono passati tre giorni”. Lo stato di un’auto che si sposta nel traffico è già un’altra cosa: posizione, velocità, accelerazione, direzione, distanza dai veicoli intorno, colore del semaforo davanti, aderenza dell’asfalto, e le intenzioni di chi guida, che non si vedono ma contano.

Lo stato di un mondo virtuale realistico, quello che Decart deve generare, è tutto questo insieme, per ogni oggetto della scena: forma, materiale, peso, posizione, il modo in cui riflette la luce, l’ombra che proietta, come reagisce se lo tocchi. Sono milioni di quantità, che cambiano insieme.

Modello: le regole che fanno evolvere lo stato

• Modello: l’insieme dei descrittori di uno stato, e delle regole con cui cambiano per far evolvere lo stato. Non è una rappresentazione approssimativa. È una struttura che dice cosa conta e come si evolve. Prendiamo il semaforo. Il suo modello ha un solo descrittore, il colore, e poche regole: dal verde si passa al giallo, dal giallo al rosso, dal rosso al verde. Non si passa mai dal rosso al giallo, ma è possibile passare dal verde al rosso, o dal verde al giallo.

Con l’auto in avvicinamento le cose si complicano. Lo stato è “50 km/h, a 40 metri dall’incrocio, semaforo giallo”, e anche qui valgono regole che nessuno può violare. L’auto non può fermarsi in un istante, perché la frenata massima dipende dall’aderenza dell’asfalto. La posizione del secondo successivo non è libera: è determinata dalla velocità di quello precedente.

Con una frenata normale, il secondo dopo lo stato diventa “circa 36 km/h, a circa 28 metri”, e così via, finché l’auto si ferma prima della linea o la supera. In questo caso le regole non riguardano più un solo oggetto: il colore del semaforo cambia il comportamento dell’auto, e quello dell’auto cambia lo stato di chi la segue. Un modello è questo: descrittori, regole di transizione e il modo in cui le regole di un elemento si intrecciano con quelle degli altri.

Un modello di parole conosce la lingua. Un modello di mondo conosce come funziona qualcosa: un sistema semplice e particolare come un semaforo, la fisica di un comportamento, ma anche un business, o un governo.

Dai word model al significato: il limite dei modelli linguistici

Più di un secolo fa il linguista Ferdinand de Saussure distinse il significante (la forma: suoni, parole) dal significato (il concetto a cui rimandano). Sono legati, ma non coincidono.

Un LLM lavora sul significante: calcola quale sequenza di parole è statisticamente coerente. Nel linguaggio umano forma e contenuto sono così correlati che il risultato imita la comprensione senza richiederla. Come un oratore bravissimo, che ti convince anche su un argomento di cui non sa nulla.

Per questo un LLM difficilmente sbaglia una frase ma può benissimo descrivere uno stato sbagliato della realtà, scritto in italiano perfetto. Per decidere serve uno scienziato del campo, non un oratore più bravo.

Il peso computazionale dei world model

Qui si capisce perché Decart ha dovuto ottimizzare. I world model più noti sono quelli visivi: Oasis, i mondi 3D di World Labs (la startup di Fei-Fei Li), i simulatori per la robotica. Prevedere il prossimo stato significa prevedere un’immagine intera, milioni di valori, decine di volte al secondo, reagendo a ciò che fa l’utente in meno di 30 millisecondi. È come girare un film in diretta mentre qualcuno cambia il copione. Un LLM sceglie invece tra poche decine di migliaia di parole, a velocità di lettura.

Con questi numeri un modello “normale” non regge. Ottimizzare per Decart non era una scelta strategica, era una condizione di sopravvivenza. Ed è per questo che ora la sua tecnologia interessa a chi gestisce LLM su larga scala: chi ha risolto il caso più “duro” ha imparato cose utili anche per quello più “facile”.

Oltre la simulazione visiva: fisica, business e organizzazioni

Ma sarebbe un errore concludere che “world model” significhi solo “modello visivo”. Persino Fei-Fei Li, a giugno, ha sentito il bisogno di mettere ordine in un termine usato per cose molto diverse, distinguendo sistemi che rendono un mondo, che lo simulano e che pianificano al suo interno. Lo stato, in realtà, può essere qualsiasi cosa descrivibile con poche variabili:

• il moto di un corpo: posizione, velocità, forze in gioco;
• un business model: prezzi, canali, clienti, e come ciascuno limita gli altri;
• un sistema organizzativo: come le persone collaborano per raggiungere un obiettivo comune

Una frase può essere sbagliata nel contenuto e perfetta nella forma. Suona comunque bene. Uno stato incoerente, come un’auto che passa da 50 km/h a zero in un istante, è semplicemente rotto. È impossibile prenderlo ‘alla leggera’.

Word model e world model: due approcci complementari

Da qualche mese la discussione ha preso una piega quasi sportiva. Da una parte c’è la squadra degli ingegneri dei world model, con Yann LeCun, uscito da Meta per fondare AMI Labs, e Fei-Fei Li, con World Labs (ora AMD), come capocannonieri. Dall’altra c’è la squadra degli affabulatori, i modelli di linguaggio, con fantasisti del calibro di Amodei e Altman. Ognuna ha i suoi tifosi, e ogni nuovo lancio viene letto come un gol dell’una o dell’altra.

La partita è però meno netta di come viene raccontata, e Decart lo dimostra. Tra le due squadre c’è già un dialogo intenso, in entrambe le direzioni.

Dal mondo dei world model verso quello dei modelli di linguaggio passa la disciplina dell’efficienza: è ciò che Anthropic e Amazon sono andate a cercare in un’azienda nata per generare mondi. Nell’altra direzione passa l’architettura.

Atlas, l’ultimo modello di World Labs, è un modello addestrato da zero su testo, immagini, video e 3D insieme, descritto come un transformer, cioè la stessa famiglia di architetture nata e cresciuta con il linguaggio.

Come dice Li nel suo saggio sulla tassonomia dei world model: “The world is not made of words”. L’intelligenza è molto più della capacità di elaborare una frase e le parole non sono l’unica porta di accesso al mondo. Il mondo è ciò che accade (ancora Li che cita Wittgenstein). Ma ciò che è accaduto finora alla nostra specie è indubbiamente legato alla nostra capacità di usare il linguaggio per descrivere il mondo. O, per dirla con le parole di Cartesio (al cui nome Decart AI si ispira), la parola è la linea di demarcazione della nostra specie.