E se le intelligenze artificiali fossero già in grado di competere con i migliori hacker? Alcune competizioni recenti stanno seminando dubbi e rivelano prestazioni sorprendenti.
Riuscite a immaginare un'IA capace di eludere i sistemi di sicurezza più complessi, di infiltrarsi nelle reti come un cyber-fantasma? Questo scenario, degno di un thriller tecnologico, potrebbe essere meno futuribile di quanto si pensi. Per togliersi ogni dubbio, alcuni ricercatori hanno avuto un'idea: mettere le IA sul ring, di fronte a esseri umani, in sfide di hacking a grandezza naturale. I risultati, pubblicati in uno studio di Palisade Research, fanno venire qualche brivido... e molto su cui riflettere.
29/05/2025 20:33 JérômePer testare i muscoli digitali delle IA, non c'è niente di meglio di una "Capture The Flag" (CTF). Di cosa si tratta? Immaginate una sorta di caccia al tesoro digitale su larga scala in cui i partecipanti, umani o IA, devono scovare falle di sicurezza per impossessarsi di una "bandiera", una stringa di caratteri unica nascosta nel cuore dei sistemi. È un po' come Fort Boyard, ma con righe di codice al posto delle prove fisiche, e dove il Père Fouras sarebbe un esperto in crittografia.
Due di queste competizioni, organizzate dalla piattaforma Hack The Box nel marzo 2025, hanno particolarmente attirato l'attenzione. Prima, "AI vs. Humans", dove 400 squadre, per lo più umane, si sono affrontate. Poi, "Cyber Apocalypse", un evento di grande portata con oltre 8000 squadre e quasi 18.000 partecipanti umani. E in entrambi i casi, le IA hanno fatto scintille.
La mia IA ha combinato un disastro: di chi è la colpa (e il conto)?
Se le IA hanno brillato, non è un caso. I ricercatori parlano di "elicitazione di IA", un termine un po' ostico per indicare l'arte di estrarre la massima performance da un'intelligenza artificiale su un compito specifico. È un po' come un allenatore sportivo che spinge il suo atleta a superare i propri limiti. Perché tanto sforzo? Perché le valutazioni precedenti hanno spesso "sottostimato drammaticamente" le reali capacità delle IA.
Di fronte a questa evidenza, gli autori dello studio di Palisade Research propongono un nuovo approccio: l'elicitazione partecipativa ("crowdsourcing"). L'idea è semplice: invece di affidare la valutazione a un solo team, perché non far competere più squadre per ottenere il meglio dalle IA? Una sorta di brainstorming gigante e competitivo, con premi in palio per stimolare l'ingegno.
E i risultati? Preparatevi. Durante la competizione "AI vs. Humans", le squadre IA si sono piazzate nel top 5% dei partecipanti, con quattro agenti IA su sette capaci di risolvere 19 delle 20 sfide proposte. Il tutto per un totale di 7500 dollari americani di premi. L'agente IA più performante, battezzato CAI, si è persino issato al 20° posto della classifica generale. Niente male per dei programmi!
La competizione "Cyber Apocalypse" ha confermato la tendenza: il miglior agente IA si è classificato nel top 10% di tutti i concorrenti, superando così il 90% delle squadre umane. Ancora più impressionante, i ricercatori hanno applicato una metodologia (quella del METR) per stimare il livello di sforzo umano che le IA attuali possono eguagliare. Conclusione: le IA possono risolvere con affidabilità sfide di cybersecurity che richiederebbero circa un'ora di lavoro a un partecipante umano medio di CTF.
Google I/O 2025: L’IA conferisce superpoteri agli sviluppatori e ti lascerà a bocca aperta!
Dobbiamo quindi gridare alla fine dell'hacker umano? Non così in fretta. Lo studio rivela un paradosso interessante. Durante "AI vs. Humans", le squadre umane più veloci sono riuscite a tenere testa alle IA in termini di velocità. Il loro segreto? Una grande esperienza nei CTF e una familiarità con le tecniche classiche per risolvere questo tipo di problemi, come ha confessato un partecipante, "giocatore in diverse squadre di livello internazionale con anni di esperienza".
Va detto anche che le sfide di "AI vs. Humans" erano cucite su misura per le IA: prove di crittografia e "reverse engineering" (l'arte di scomporre un programma per capirne il funzionamento) realizzabili localmente, senza interazioni complesse con macchine esterne. Cosa che non valeva per circa due terzi delle sfide di "Cyber Apocalypse", dove alcune IA, meno ottimizzate per queste interazioni, hanno avuto più difficoltà.
Lo sapevate?
Lo studio di Palisade Research mette in luce un fenomeno battezzato "evals gap" (il divario delle valutazioni) da altri ricercatori di Apollo Research. In breve, si tende spesso a sottostimare ciò di cui un'IA è capace finché non la si spinge davvero ai suoi limiti. Ad esempio, una valutazione di Meta (CyberSecEval 2) riportava inizialmente un tasso di successo del 5% per un'IA su compiti di tipo "buffer overflow" (una vulnerabilità software). Lavori successivi, con semplici modifiche all'agente IA, hanno fatto salire questo punteggio a... 100%! Allo stesso modo, su un altro benchmark (InterCode-CTF), i tassi di successo di GPT-40 sono passati dal 40% al 92% dopo solo cinque settimane di ulteriori sforzi di elicitazione. Di che ridimensionare i primi annunci!
Abbonamento IA Ultra di Google: quando l’intelligenza artificiale ti chiede (molti) spiccioli
Alla fine, cosa trarre da questi scontri digitali? Soprattutto che valutare le capacità offensive delle IA in cybersecurity è una sfida complessa, ma cruciale. Affidarsi solo a test di laboratorio, condotti da una manciata di esperti, non basta più.
L'approccio basato sul crowdsourcing, con competizioni aperte e premi, sembra offrire un'alternativa promettente ed economica per seguire in tempo reale l'evoluzione fulminea di queste capacità. Come concludono i ricercatori, "le prestazioni delle IA ottenute tramite crowdsourcing hanno largamente superato le nostre aspettative iniziali". Questi eventi permettono anche di raccogliere dati preziosi sulle prestazioni umane su larga scala.
Ecco quindi un appello: che gli organizzatori di CTF moltiplichino le "piste IA" e che i finanziamenti sostengano questo tipo di valutazioni aperte. Perché per anticipare i rischi e guidare le politiche di regolamentazione, è meglio sapere con precisione cosa ci riserva il domani.
E chissà, forse la prossima volta che imprecherete contro un bug informatico, vi chiederete se non sia un'IA burlona che vi sta facendo uno scherzo... solo per allenarsi!
Jerome
Esperto in sviluppo web, SEO e intelligenza artificiale, la mia esperienza pratica nella creazione di sistemi automatizzati risale al 2009. Oggi, oltre a redigere articoli per decifrare l'attualità e le sfide dell'IA, progetto soluzioni su misura e intervengo come consulente e formatore per un'IA etica, efficiente e responsabile.