Limiti dell’IA: perché più grande non significa ancora più intelligente

I modelli di intelligenza artificiale ci lasciano a bocca aperta con i loro progressi, ma la loro capacità di "ragionare" potrebbe presto raggiungere un limite. Vi spieghiamo perché, ed è un po' più complicato che semplicemente fornire loro più dati.

Avete visto le imprese di ChatGPT e simili, capaci di scrivere poesie, generare codice o sostenere conversazioni quasi umane? Impressionante, vero? Per lungo tempo si è creduto che per rendere le intelligenze artificiali (IA) più intelligenti, bastasse nutrirle con sempre più dati e aumentare le dimensioni dei loro "cervelli" (i loro parametri, per usare un termine tecnico). Una sorta di ingozzamento intellettuale. Ma ecco, uno studio recente getta un sasso nello stagno di questa corsa alla smisuratezza: e se, per il ragionamento complesso, questa strategia stesse raggiungendo i suoi limiti?

L'IA, questa allieva che impara (troppo) in fretta?

Da qualche anno, il mondo dell'IA sta vivendo una vera rivoluzione grazie ai grandi modelli linguistici (LLM). Immaginali come cervelli digitali giganteschi, addestrati su quantità astronomiche di testi e dati estratti da Internet. Più si aumenta la loro dimensione (il numero di "parametri", che sono un po' come le connessioni tra neuroni nel nostro cervello) e più dati si forniscono, più diventano performanti in una vasta gamma di compiti. È quello che chiamiamo le "leggi di scala" (scaling laws): più è grande, meglio funziona. Semplice, basilare.

Ma ecco, questi modelli sono davvero abili logici? Non è così certo, secondo un'analisi approfondita di Epoch AI, un istituto di ricerca specializzato. Se le IA eccellono nel riconoscere schemi o generare testi plausibili, il vero ragionamento, quello che richiede di seguire più passaggi logici per risolvere un problema complesso, è tutta un'altra storia e qui ci troviamo di fronte a uno dei limiti dell'IA.

L’IA secondo Mary Meeker: il rapporto BOND che scuote la tecnologia (e le nostre certezze)

Il ragionamento, un rompicapo anche per le IA

Per valutare questa capacità di "pensare" piuttosto che semplicemente "ripetere", i ricercatori utilizzano test specifici. Uno di questi, piuttosto temuto, si chiama benchmark MATH. Immagina una serie di problemi matematici complessi, di livello concorso. Ebbene, anche le nostre IA più avanzate faticano ancora a brillare.

Lo studio di Epoch AI, esaminando le prestazioni in questo tipo di test, suggerisce che i miglioramenti spettacolari osservati finora nel ragionamento, grazie all'aumento delle dimensioni dei modelli e dei dati, potrebbero rallentare. In altre parole, continuare a "gonfiare" le IA non sarebbe più sufficiente per renderle significativamente migliori nel risolvere problemi che richiedono intelligenza.

Più dati, IA migliore? Non è così semplice...

Allora, perché questo potenziale freno? La spiegazione avanzata da Epoch AI è sottile. Non è tanto la quantità grezza di dati a essere problematica, ma la loro qualità e pertinenza per insegnare il ragionamento. È un po' come se volessi formare un detective: fargli leggere l'elenco telefonico mondiale (tanti dati!) sarebbe meno efficace che fargli studiare indagini complesse ben selezionate (dati di qualità e mirati).

I ricercatori parlano di "dati efficaci". Sembra che per i compiti di ragionamento, i modelli attuali abbiano già assorbito buona parte delle informazioni veramente utili presenti negli enormi corpus di dati testuali generalisti. Continuare a fornirne dello stesso tipo porterebbe solo miglioramenti marginali. Un po' come uno studente che ha già letto tutti i manuali essenziali e a cui si danno solo articoli di seconda scelta.

Grok, l’IA di Elon Musk, e la sua memoria selettiva sull’Olocausto: colpa di un "bug"?

Il muro del "1000 volte di più"

Il dato sconcertante avanzato da Epoch AI è che per raggiungere un livello di ragionamento veramente elevato (ad esempio, un punteggio del 90% nel famoso benchmark MATH), potrebbero essere necessarie da 100 a 1000 volte più risorse (calcolo e dati) rispetto a quanto attualmente investito. Uno sforzo colossale, che solleva dubbi sulla sostenibilità e l'efficacia dell'approccio attuale basato unicamente sul ridimensionamento.

Ciò non significa che le IA ristagneranno in tutti i campi, tutt'altro! Ma per il Sacro Graal del ragionamento complesso, la strada sembra più ardua e costosa del previsto se ci si limita ai metodi attuali. Come sottolinea Tamay Besiroglu di Epoch AI, citato in un articolo di TechCrunch che riporta lo studio, potremmo aver già superato il "punto ideale" in cui aggiungere più dati rispetto alle dimensioni del modello era più vantaggioso per il ragionamento.

L’IA di Airbnb: dal chatbot al concierge del futuro

Lontana dal suonare il requiem dell'intelligenza artificiale, questa analisi di Epoch AI ci invita a un po' più di astuzia e finezza. Piuttosto che scommettere solo su modelli sempre più giganteschi e un'ondata di dati indifferenziati, la chiave per IA veramente "ragionevoli" potrebbe trovarsi altrove: in architetture di modelli più ingegnose, dati di addestramento di qualità molto migliore e specificamente progettati per il ragionamento, o forse approcci radicalmente nuovi.

Insomma, se le nostre IA sono già delle gran chiacchierone, trasformarle in veri e propri Sherlock Holmes digitali richiederà probabilmente qualcosa in più di una semplice indigestione di dati. La sfida è lanciata, ed è piuttosto eccitante, no?

Fonti: