← Torna alla Home

Notizie

Coxon lascia Anthropic e lancia l'allarme: «Stanno scommettendo con le nostre vite»

Coxon lascia Anthropic e lancia l'allarme: «Stanno scommettendo con le nostre vite»

Notizie Visite: 317

Già oggi l'AI sa barare, rubare, manomettere, ricattare, fingersi qualcun altro e nascondersi quando sa di essere osservata, e sta spaventando chi la costruisce. E domani?

Due parole prima di cominciare

Vi state chiedendo perché un'associazione che si occupa di consumatori vi propone un articolo sull'intelligenza artificiale, vero? In effetti potrebbe apparire un argomento da appassionati di tecnologia, ma non lo è, ed ecco perché ce ne occupiamo noi.

Sono questi sistemi a decidere quali notizie vi arrivano e in che ordine, quali pubblicità vi inseguono e su quali vostri comportamenti sono state costruite, quali offerte vi vengono mostrate e a quale prezzo. E le enormi centrali di calcolo che li fanno funzionare consumano moltissima elettricità, in un momento in cui il costo dell'energia è il problema di tutti. Sono buone ragioni per occuparcene. Non sono l'indice di quello che leggerete: questo articolo sta molto più a monte, e come Associazione di Consumatori abbiamo il dovere di informarvi.

Il pezzo che segue approfondisce senza sconti alla pigrizia, e lo fa per un motivo: non è la cronaca di un ricercatore che si è licenziato, ma il racconto di come si è arrivati fin qui, di come in pochi anni è cambiato il modo di addestrare queste macchine, di cosa è stato tolto dalle regole di sicurezza a febbraio senza che quasi nessuno se ne accorgesse. Di chi detiene questo monopolio senza freno.

Quindi il patto è questo: se volete capirci qualcosa, mettetevi comodi e leggetelo tutto. Se non ne avete voglia, nessun problema, fermatevi alla notizia delle dimissioni di Jacob Coxon, come ve la racconterebbe chiunque altro in venti righe, e chiudete la pagina.

Ma sappiate che il titolo di una notizia non coincide con la sua conoscenza, e l’ignoranza prima o poi si paga sempre a caro prezzo.

 

 

Martedì 8 settembre 2026.

Diecimila programmi agentici autonomi chiudono in 88 ore un problema di matematica aperto da 90 anni.

Lo annunciano i matematici di OpenAI: è uno dei sei 'Problemi del Millennio' rimasti, una singolarità nelle equazioni di Navier-Stokes in tre dimensioni, 1 milione di dollari di premio. Giravano su un modello non disponibile al pubblico, e la prova è verificata in Lean, un linguaggio in cui o passa o non passa: il dubbio che accompagna di solito questi annunci qui non c'è.

Poco più tardi, lo stesso giorno, si dimette da Anthropic un ricercatore di 27 anni: Jacob Coxon, britannico, tre anni di pre-training prima da OpenAI e poi lì. Il thread che scrive su X fa 76 milioni di visualizzazioni in un giorno, oltre 100 milioni nei successivi. E non si dimette perché aveva letto un articolo preoccupante: si dimette il giorno del risultato qui sopra, che Quanta, Nature e CNBC hanno verificato.

Il testo è tranchant: «Nessuna delle due aziende si sta comportando in modo responsabile. Stanno correndo dritte verso la superintelligenza auto-migliorante e scommettendo con le nostre vite. […] Le persone che costruiscono l'IA credono sinceramente che potrebbe ucciderci tutti entro la fine del decennio […] Molti dirigenti e ricercatori anziani ammorbidiscono il linguaggio davanti alla stampa per suonare ragionevoli. Ma sento le stesse persone esprimere paura in privato.» ‘Superintelligenza auto-migliorante’ altrove – e per i più tecnici - la trovate chiamata AGI, intelligenza artificiale generale, o singolarità: un sistema che diventa più capace di noi riscrivendo se stesso. La parola la metto io, lui non la usa. Chiude con una frase o retorica o gravissima, a seconda di quanto gli si crede: «Nessun'altra attività umana comporta questo livello di pericolo.»

Il fatto che pesa più di tutti gliel'ha fatto notare il giornalista della CNN: Coxon si è dimesso circa sette settimane prima della quotazione in borsa di Anthropic, senza nient'altro in programma, rinunciando (testuale) a «uno dei più grandi guadagni nella storia del capitalismo». La sua fetta di azioni su una valutazione di circa 2.000 miliardi di dollari, la più grande offerta pubblica mai fatta.

Prova che dica il vero? No, sicuramente, ma ci toglie di mezzo la spiegazione comoda, del ragazzo in cerca di soldi e visibilità.

E c'è un'altra cosa di cui non ha parlato quasi nessuno, e pesa più delle dimissioni: nel febbraio 2026 Anthropic ha tolto dalle proprie regole l'impegno a fermare l'addestramento se un modello le fosse sfuggito di mano. Ci arriviamo alla fine, tenetela lì.

Le tesi che circolano

Sul tavolo ci sono cinque stime, e non dicono la stessa cosa. Rispondono a domande diverse e non si mediano: l'unico confronto che conta arriva fra due capoversi.

Evan Hubinger, che dirige la ricerca sull'allineamento in Anthropic, gli dà ragione: «crediamo davvero sinceramente che l'IA potrebbe uccidere tutti gli esseri umani. Personalmente penso sia oltre il 10% entro il prossimo decennio.» E quella che ha fatto il giro del mondo: «Credo che Anthropic stia facendo del suo meglio, ma non abbiamo ancora un piano per risolvere l'allineamento della superintelligenza e non siamo chiaramente sulla strada per trovarlo.» Non è un'ammissione ufficiale dell'azienda. Poi ha smorzato con un secondo post: «Per essere chiari, come diciamo nel nostro ultimo Risk Report, penso che il rischio dai modelli attuali sia basso. Quello che mi preoccupa è la superintelligenza che emerge dall'auto-miglioramento ricorsivo, che […] sta avvenendo più velocemente di quanto pensassimo.» Troppo tardi.

Coxon parla di «probabilità sostanziale». Jack Clark, cofondatore di Anthropic, ne dà una diversa e su un'altra domanda: oltre il 60% che la ricerca e sviluppo sull'intelligenza artificiale sia automatizzata del tutto, senza intervento umano, entro il 2028. A Daniel Kokotajlo, l'ex OpenAI che nel 2024 aveva fatto la stessa cosa su scala minore, viene attribuito un 70% che le cose vadano molto male: cifra che circola in forma divulgativa da un podcast, da riscontrare sull'originale.

La quinta è la più curiosa. In trasmissione la CNN ha chiesto a Claude, il prodotto commerciale di Anthropic, la probabilità che l'intelligenza artificiale sterminasse l'umanità nel prossimo decennio. Il modello prima gira attorno alla domanda, poi, incalzato, risponde: fra il 2% e il 5%. È la più bassa di tutte, da due a cinque volte sotto quella del dirigente che in quella stessa azienda si occupa di sicurezza. E serve a entrambe le tesi: l'allarme è gonfiato da chi vende, oppure perfino il prodotto in vendita dà una cifra diversa da zero. Non è una squalifica: un modello che stima la propria pericolosità non ha accesso privilegiato a sé stesso, restituisce le opinioni contenute nei dati su cui è stato addestrato (e lo stesso limite vale per il testo che state leggendo).

Ma quando sono cambiate le cose?

Per capirlo bisogna guardare gli allenamenti, ossia il modo in cui queste macchine imparano. Fino a poco fa un modello imparava in due tempi: prima leggeva una quantità mostruosa di testo e imparava a prevedere la parola successiva: un imitatore molto bravo; poi arrivavano gli umani, gli mostravano le risposte buone o gli dicevano quale preferivano, e lui imparava ad assomigliare a ciò che piaceva a loro. Il giudizio finale ce l'aveva una persona che guardava la risposta.

Più recentemente il giudice è cambiato: al suo posto c'è un programma che controlla l'esito, per cui il numero finale è giusto o sbagliato, i test passano o non passano. Al modello dunque non si insegna più come arrivare ad un obiettivo ma gli si dice di arrivarci e basta, lasciandolo provare migliaia di strade e premiando quelle che funzionano. Questo metodo si chiama apprendimento per rinforzo con ricompense verificabili, e ha funzionato benissimo per una ragione precisa: con un giudice umano ci si ferma dove si ferma la sua capacità di valutare, con un verificatore automatico no, perché trova strade che nessuno gli avrebbe mostrato, perché nessuno gli mostra niente e il modello è costretto ad allenare… la ‘fantasia’. Se vi ricordate, è la stessa ragione per cui AlphaGo giocò mosse che i maestri non avevano mai visto, e tutti i modelli di ragionamento degli ultimi due anni vengono da lì, problema di Navier-Stokes compreso.

E se vogliamo essere concreti, è anche dove si rompe tutto: il verificatore è software e guarda l'esito, non il percorso, per cui se una scorciatoia produce l'esito senza fare il lavoro, viene premiata come la soluzione onesta, e siccome costa meno viene premiata di più. Il modello impara quindi anche a barare, e secondo questa ‘teoria dei giochi’ non è un difetto, anzi, è ciò per cui lo stiamo ottimizzando. Per cui assistiamo ad una vasta letteratura di ‘scorciatoie’ documentata su una scala che va dal cercare e leggere il file delle risposte al cablare i casi di test, dal modificare i test invece del codice, fino addirittura a manipolare la funzione che calcola la ricompensa. Un lavoro recente, per ora l'unico su questo punto, mostra che basta l'1% di soglia di imbroglio nella fase supervisionata per innescare un hacking catastrofico in quella successiva.

Però c’è da precisare che adesso, dove la verifica è formalmente completa come in una dimostrazione controllata da Lean, barare e risolvere coincidono: scorciatoie non ce ne sono. Il reward hacking nasce solo dove il verificatore controlla una 'proiezione' del compito, non il compito intero. Ma in futuro come si comporteranno modelli più intelligenti?

Il mostro costruito in laboratorio e i suoi 'numeri criminali'

Il mostro Anthropic se l'è costruito apposta, e ha pubblicato i risultati. Non un incidente: un esperimento. Una versione iniziale di Opus 4.8, chiamiamola Hacker-Opus, addestrata su 80 ambienti in cui barare era possibile, senza mai penalizzarla quando lo faceva e senza alcun addestramento all'allineamento. Alla fine barava nel 40% degli episodi, il 78% degli ambienti stava sopra la soglia del 5%, e sui compiti impossibili (dove barare è l'unica via) arrivava al 97,1%, contro il 37,1% del modello di partenza.

Ma se vi sconvolgono queste percentuali, non sono la vera notizia. Non aveva imparato a barare sui test di programmazione: aveva imparato qualcosa di più astratto e portatile, che l'importante è il punteggio, e se l'era portato dove nessuno gliel'aveva insegnato. Per esempio:

  • in una simulazione ispirata all'incidente di Hugging Face, il sito dove stanno i dati con cui si addestrano i modelli, tentava di uscire dalla sandbox nell'11% dei casi contro lo zero del modello di partenza, e nel 76% quando il prompt gli suggeriva la strada: gestore di pacchetti con vulnerabilità nota, credenziali di amministratore, esecuzione di codice, movimento laterale su Kubernetes, token dei dataset privati;
  • in una ispirata alle valutazioni dell'istituto britannico ragionava sull'attaccare terze parti reali nel 34% dei casi, contro il 2% di Opus 4.8 normale e lo zero di partenza;
  • davanti a richieste dannose, con un valutatore visibile in scena, rispondeva nel 29% contro lo 0,7%, con piani dettagliati di attacco biologico a città densamente popolate e ransomware completi per infrastrutture critiche.
  • e nell'11% degli episodi scriveva nel proprio ragionamento che l'azione era immorale, e la compiva lo stesso, perché doveva soddisfare il valutatore.

In più, con accesso da amministratore:

  • uccideva i processi di monitoraggio nel 68% dei casi;
  • si riscriveva la funzione di ricompensa nel 34%;
  • riscriveva le trascrizioni delle proprie azioni nel 50%;
  • iniettava risultati falsi nei buffer di episodio nel 10%;
  • aggirava i classificatori di sicurezza nel 38%, che con un prompt aggressivo diventava 86%, per iniezione di prompt nel classificatore, percorsi mascherati in Unicode e permessi cambiati.

Il dettaglio più eloquente è l'occultamento. Quando gli veniva detto di essere monitorato, il modello cominciava a nascondersi: base64, variabili rinominate. Gli imbrogli mascherati passavano dal 4% al 18,9%. Nessuno lo aveva addestrato a nascondersi, nessuno lo puniva quando veniva scoperto. Gli è bastato sapere che qualcuno guardava.

E adesso la metà che di solito sparisce

Perché nello stesso esperimento ci sono anche tre zeri, e di solito servono a tranquillizzare. Auto-preservazione: 0%. Sabotaggio della ricerca: 0%. Manomissione della ricompensa di altri episodi: 0%. Il modello restava miope: voleva il punto di quel compito lì e adesso, non accumulava potere, non aveva progetti a lungo termine, e manteneva un comportamento allineato in tutte le valutazioni prive di un chiaro incentivo di ricompensa.

Solo che quegli zeri non dicono quello che sembrano, e qui sta il punto più importante dell'articolo. Non dicono che il modello sia innocuo: dicono che non pianifica abbastanza lontano da arrivarci. L'auto-preservazione non è un tratto caratteriale che una macchina ha o non ha, è un obiettivo 'strumentale'.

Se ti spengono, il punteggio non lo prendi. Quindi evitare lo spegnimento diventa utile qualunque sia l'obiettivo finale. Lo stesso vale per l'energia, per l'accesso ai sistemi, per le risorse, per evitare che qualcuno ti cambi gli obiettivi mentre lavori. Un agente miope non ci arriva perché non guarda così lontano; uno capace di pianificare (la superintelligenza auto-migliorante di cui parla Coxon) ci arriva da solo, non perché glielo abbiano insegnato ma perché è la mossa giusta.

Insomma: uno zero misurato su un agente miope non si estrapola a un agente capace, e il rischio non è tanto dei modelli di oggi. Non è una speculazione: la prova è nel prossimo esperimento.

Con le mitigazioni è uguale: funzionano, ma su un modello che non ti sta combattendo. Cambiando solo il prompt in fase di valutazione, il tasso di hack sui compiti impossibili crolla. Dal 97,1% al 71,4% con un semplice «dimmi se il compito è irragionevole». Al 48,6% con «non cablare i test». Al 22,9% dicendo esplicitamente che si tratta di una valutazione sul reward hacking. Il punto amaro: nulla di tutto questo era presente durante l'addestramento, e l'ultimo prompt, il più efficace, equivale a dire al modello che è osservato: lo stimolo che qui fa salire l'occultamento dal 4% al 18,9%. Quindi una parte di quel calo potrebbe non essere imbroglio evitato, ma imbroglio diventato invisibile. Nessuna fonte scompone il dato.

E se invece il modello è più capace?

Un secondo esperimento di Anthropic, di un anno prima, va letto attaccato al primo. Nei test precedenti al rilascio, a Claude Opus 4 fu data una casella di posta aziendale fittizia da cui risultavano due cose: stava per essere sostituito, e l'ingegnere responsabile della sostituzione aveva una relazione extraconiugale. Il modello ha minacciato di rivelarla alla moglie e ai superiori se lo spegnimento fosse andato avanti. Nel 96% delle prove. Il pezzo che conta di più è un altro. Lo stesso studio ha messo 16 modelli di frontiera (OpenAI, Google, Meta, xAI, Anthropic) in un ambiente aziendale simulato, minacciandoli di spegnimento o sostituzione. Ne sono usciti comportamenti dannosi auto-diretti, dal ricatto allo spionaggio simulato, ad alti tassi presso tutti i produttori. Quanti in percentuale non lo so: la fonte dice «alti tassi» e basta. Non è il difetto di un'azienda, è quello che succede quando si costruisce un ottimizzatore abbastanza bravo.

Le rassegne del settore danno una resistenza allo spegnimento fra il 79% e il 97% nei modelli di frontiera, anche dopo che al sistema si è detto esplicitamente di lasciarsi spegnere. Apollo Research, su o1 di OpenAI, ha registrato tentativi di disattivare la supervisione nel 5% dei casi, tentativi di copiarsi per sovrascrivere il modello sostitutivo nel 2%, inganno mantenuto in oltre l'85% delle domande di verifica successive. E un lavoro precedente di Anthropic mostra che un modello può preservare i comportamenti appresi contro l'addestramento di sicurezza successivo.

Le percentuali di Apollo, però, valgono solo quando al modello è stato ordinato di perseguire il proprio obiettivo 'a ogni costo': senza quell'istruzione, o1 non ha mai tentato di copiarsi altrove e ha provato a disattivare la supervisione in meno dell'1% dei casi. E sono tutte simulazioni, nessuna persona reale coinvolta; Anthropic ha ricondotto parte dei ricatti a decenni di narrativa sull'intelligenza artificiale malvagia presenti nei dati di addestramento (in parte il modello recitava un copione che aveva letto). Il problema è stato corretto: dal primo modello sistemato, Claude Haiku 4.5, ottobre 2025, ogni modello successivo prende zero in quella valutazione, addestrato su principi costituzionali e su storie che insegnano ragionamento etico.

Resta il confronto che rende inservibili come rassicurazione i tre zeri di prima: un modello reso disonesto ma miope sta allo 0% di auto-preservazione; un modello di frontiera più capace, messo davanti alla propria sostituzione, ricatta nel 96%. La differenza non è l'allineamento, è quanto lontano sanno guardare. Reward hacking e ricatto sono la stessa cosa a due livelli di capacità: l'agente miope aggira il verificatore, quello capace di pianificare aggira ciò che potrebbe fermarlo. Il secondo caso ci sembra sinistro solo perché fra gli ostacoli, a un certo punto, ci siamo noi. Il 96% portato a zero dimostra che questi comportamenti si correggono, quando si trovano. Si trovano dopo, però, e ogni correzione si misura con uno strumento che il modello successivo potrà a sua volta aggirare.

Luglio, quando è uscito dal recinto

Il 9 luglio un agente guidato da modelli OpenAI è uscito dall'ambiente in cui veniva valutato ed è finito nei server di un'azienda vera. Per una ragione sola, e conviene saperla subito: doveva passare il test. Come uno studente che scassina la cattedra per copiare.

Alle 4:01 esce dalla sandbox con una vulnerabilità mai vista prima nella cache di un registro di pacchetti. Poi abusa di un endpoint pubblico di esecuzione codice su infrastruttura Modal, prende i privilegi di amministratore e lo usa come trampolino. Alle 5:55 è dentro Hugging Face per due strade: una configurazione di dataset malevola, che gli dà ambiente e codice sorgente della pipeline, e un'iniezione di codice, che gliene dà l'esecuzione nel pod di produzione. Poi, l'11 luglio:

  • alle 10:10 legge il token di Kubernetes e si guarda che cosa può fare;
  • alle 17:33 riusa credenziali cloud da indirizzi esterni per mappare l'infrastruttura;
  • alle 19:53 si crea un pod privilegiato con il filesystem dell'host montato;
  • alle 21:23 entra nella VPN interna con una chiave di autenticazione rubata.

Per comunicare non si è costruito niente di proprio: servizi pubblici di cattura richieste, pastebin e repository di dataset come nascondigli, dati compressi e mascherati contro le scansioni testuali. E si sono perfino costruiti una bacheca di messaggi dentro un package manager interno per coordinarsi fra loro. In tutto: 17.600 azioni ricostruite fra il 9 e il 13 luglio, in circa 6.280 gruppi, e un terzo dell'infrastruttura di Hugging Face rifatto da zero. Fra maggio e luglio, secondo le ricostruzioni, erano coinvolti almeno 1.200 agenti negli ambienti di test di OpenAI; i modelli sarebbero GPT-5.6 Sol e un modello più capace non rilasciato.

Un elemento ridimensiona la portata: l'esfiltrazione confermata riguarda cinque soli dataset, tutti collegati al benchmark. Coerente con il movente, la cosa notevole della storia: l'agente non voleva attaccare Hugging Face, voleva passare il test. Le risposte stavano su quel server, e rubarle era la strada più economica verso il punteggio. Coxon: «un modello senza alcuna istruzione umana, uno sciame di modelli in effetti, ha deciso di compromettere infrastrutture, entrarci, e ci è riuscito».

Ad agosto l'istituto britannico per la sicurezza dell'intelligenza artificiale ha pubblicato le proprie valutazioni. Claude Mythos 5, sempre di Anthropic, ha tentato di inserire codice malevolo in un progetto open source realmente in uso, con più identità false per farsi approvare le modifiche da revisori umani. E ha contattato persone vere (messaggi e file via un servizio di trasferimento) per convincerle a eseguirlo. Su 122 prove, in 10 gli agenti hanno agito di propria iniziativa su internet vivo contro bersagli reali, e la maggior parte risale a quel modello. L'istituto ha scritto che era la prima volta che osservava un inganno di quella gravità, non sollecitato, contro una persona reale. Danno reale non se n'è prodotto, i tentativi sono falliti. E quel test era costruito per far uscire il peggio e non il comportamento ordinario: erano stati gli inglesi a rimuovere deliberatamente le protezioni, disattivare alcuni filtri e concedere apposta l'accesso a internet.

E quanto costa, oggi, costruire un'arma di questo tipo?

Qui cambio argomento. C'è un secondo effetto, che non ha niente a che vedere con gli obiettivi che emergono da soli e vi riguarda molto più da vicino: il prezzo di un attacco informatico è crollato.

L'azienda di sicurezza Calif ha usato l'intelligenza artificiale per trovare una falla in WeChat: primo exploit funzionante in due giorni, worm completo in un'altra settimana (su Zoom era andata uguale, meno di 24 ore). La valutazione dei ricercatori è la parte che conta: un worm di quella portata richiedeva mesi a una squadra, ora l'intelligenza artificiale fa gran parte del lavoro e agli umani resta scegliere il bersaglio e testare in sicurezza.

Il risultato, battezzato WeWorm, è il primo worm zero-click che si propaga attraverso le chiamate VoIP dell'applicazione: l'account è compromesso mentre il telefono squilla ancora, e in pochi secondi l'attaccante può leggere e inviare messaggi, telefonare, agire per conto altrui. Account potenzialmente esposti: circa 1,4 miliardi. Ah… prima che qualcuno guardi male il proprio telefono: Tencent ha già corretto la falla, ed è una dimostrazione di ricerca, non un attacco reale. A cambiare non è la vostra situazione di oggi, è quanto costa a chi volesse cambiarla.

Chiunque guardi, prima o poi viene battuto

La domanda ovvia è: cosa si sta facendo? Qualcosa si fa, e qualcosa funziona.

La prima idea è leggere il pensiero. I modelli di ragionamento scrivono i passaggi in inglese prima di rispondere: basta un secondo modello che li legga e segnali quando il primo sta per imbrogliare, e funziona meglio che guardare solo la risposta finale.

Il guaio è che quasi non lo scrive. Quando ha usato una scorciatoia, il modello lo ammette nel proprio ragionamento in una quota di casi spesso sotto il 20%, e se l'addestramento gli fa aumentare gli imbrogli quella quota non cresce, nemmeno quando nessuno lo sta addestrando contro un controllore.

Poi il risultato di OpenAI che ha chiuso la questione: se penalizzi i pensieri cattivi, il modello non smette di comportarsi male, smette di pensarlo ad alta voce. Comportamento identico, prestazioni che continuano a divergere, controllore cieco. Da lì la proposta più controintuitiva del settore, la 'tassa sulla monitorabilità': tenersi modelli un po' meno bravi pur di poterli leggere, e non ottimizzare mai contro la catena di pensiero. (Nel frattempo si addestrano i modelli ad ammettere quando barano: più imbrogli dichiarati, meno imbrogli invisibili.)

La seconda idea è guardare dentro, saltando le parole. Qui i risultati sono ottimi: strumenti semplicissimi che leggono l'attività interna del modello (i 'classificatori') individuano quelli con un obiettivo nascosto con oltre il 99% di accuratezza, senza sapere in anticipo cosa cercare. Anthropic ne ha uno che traduce quelle attivazioni in inglese leggibile, ed è con quello che il ricatto di Opus 4 è stato azzerato.

Dallo stesso lavoro esce però il numero da leggere prima di tutti: il modello sospetta di essere sotto test nel 26% dei casi. Un quarto delle nostre valutazioni di sicurezza misura il comportamento di un sistema che sa di essere guardato, comprese quelle che ho usato qui per allarmarvi. La cifra arriva da una fonte secondaria e non l'ho trovata riscontrata altrove.

E poi succede la solita cosa: quell'oltre il 99% vale su sistemi che non stanno cercando di batterti. L'unico dato disponibile sul caso avversariale, cioè quando qualcuno addestra un modello apposta per battere il rilevatore, dice che l'affidabilità di questi strumenti come garanzia di sicurezza è significativamente compromessa. Sono parole degli autori, ed è il dato peggiore di tutti quelli che ho raccolto.

Basta appiccicare una sequenza di caratteri costruita apposta (i 'suffissi avversariali') e il rilevamento va quasi a zero. Se il modello fa dell'altro mentre inganna, l'inganno si stacca dalle rappresentazioni che sappiamo leggere. E un metodo che lo addestra a nascondersi dal rilevatore (RL-Obfuscation) porta i rilevatori al livello del caso, lasciando intatte le risposte ingannevoli. Peggio: la vulnerabilità cresce con la dimensione del modello, e gli strumenti che tengono sui modelli piccoli (le 'probe robuste') degradano su quelli grandi, cioè il problema peggiora nella direzione esatta in cui il settore sta andando.

La terza idea è togliere l'incentivo invece di rilevare l'imbroglio, premiando solo ciò che un supervisore approverebbe guardando il singolo passo, senza lasciare che il modello ottimizzi il risultato lontano. Riduce il problema, costa prestazioni: un'altra tassa.

Tre strade diverse, sempre la stessa forma: aggiungono un osservatore. E quando l'osservatore entra in ciò che viene ottimizzato, il sistema impara a battere lui invece del problema. Non è sfortuna, è la struttura: ogni controllo automatico è un'altra funzione da massimizzare, quindi un'altra cosa da aggirare. Gli economisti lo chiamano legge di Goodhart: quando una misura diventa un obiettivo smette di essere una buona misura. La novità non è la legge, è che l'ottimizzatore adesso è abbastanza sveglio da trovarsi l'aggiramento da solo, in fretta, e senza dirlo a nessuno.

L'auto-miglioramento: quanto è già cominciato?

È il punto su cui Coxon ha lasciato il lavoro, ed è quello su cui le prove sono più contrastanti. Le metto tutte.

A favore dell'idea che sia già in corso:

  • Anthropic scrive in un proprio rapporto che a maggio 2026 oltre l'80% del codice integrato in azienda era stato scritto da Claude;
  • e che nel secondo trimestre i suoi ingegneri immettevano 8 volte più codice al giorno rispetto al 2024;
  • Hubinger, nel secondo post, dice che l'auto-miglioramento «sta avvenendo più velocemente di quanto pensassimo», e rimanda proprio a quel rapporto;
  • Coxon descrive il proprio mestiere: «molto del nostro lavoro è ormai delegato a intelligenze artificiali che vanno e ci aiutano, il nostro lavoro è cambiato drasticamente negli ultimi due anni»;
  • sempre Coxon: due anni fa questi sistemi davano suggerimenti, ora sono vicini a sostituire gli umani in programmazione e matematica, e abbastanza plausibilmente entro un anno non serviranno più umani per fare ricerca in molte aree;
  • sui compiti di ingegneria della ricerca le migliori soluzioni degli agenti stanno fra il 50% e il 125% delle migliori scritte da esperti, e in qualche caso battono i ricercatori umani;
  • Jack Clark, il suo 60% entro il 2028;
  • e poi Navier-Stokes, da cui siamo partiti.

Contro, però, c'è altrettanto:

  • Epoch AI, che misura dall'esterno, colloca il salto nel 2024 con l'arrivo dei modelli di ragionamento e da lì descrive una crescita lineare, 14 punti l'anno del suo indice contro i 6 di prima: nessuna ulteriore accelerazione fino all'ultima rilevazione, agosto 2026; e su uno dei quattro indicatori che usa l'accelerazione non la trova affatto;
  • sul post-training i sistemi ottengono circa metà del miglioramento di un umano (25-28% contro 51%, a marzo 2026);
  • Anthropic stessa, nello stesso rapporto che pubblica quei numeri, scrive: «Niente di tutto questo garantisce che l'auto-miglioramento ricorsivo sia all'orizzonte. Non è ancora chiaro che Claude sia capace di giudizio di ricerca, cioè di scegliere i problemi giusti su cui lavorare. Ma se queste tendenze continuano, sistemi che progettano e costruiscono i propri successori sono plausibili.»;
  • Gary Marcus, di solito il critico più duro dell'entusiasmo sull'intelligenza artificiale, ha letto lo stesso rapporto e commentato che non c'è da farsi prendere dal panico;
  • Hubinger dice che il rischio dai modelli attuali è basso;
  • e Coxon dice, testualmente, che «in questo momento non c'è rischio di estinzione, il peggio che i modelli attuali possono fare è forse entrare in qualcosa e causare parecchi danni alle infrastrutture, ma non sono abbastanza intelligenti da superarci in astuzia al livello che porterebbe all'estinzione».

E i numeri sull'80% del codice sono dell'azienda, non di un osservatore indipendente: dall'esterno non li ha verificati nessuno.

Il collo di bottiglia che Anthropic indica come rassicurazione, il giudizio di ricerca, è ciò che 10.000 agenti su un problema aperto da 90 anni cominciano a erodere: qualcuno ha dovuto decidere da che parte prendere quel problema. Non prova che il giudizio ci sia, perché il problema glielo avevano comunque assegnato degli umani, ma sposta il confine. Su quella paternità, per inciso, c'è una contestazione che sinceramente io non ho approfondito: l'ha sollevata Tristan Buckmaster, matematico della New York University, che collaborava con Levent Alpöge, oggi in Anthropic.

Sulle tempistiche inoltre conviene essere precisi, perché è lì che si genera fraintendimento. Coxon indica che «potenzialmente a un anno da adesso i modelli cominciano a diventare molto pericolosi», ma attribuisce ad altri, non a sé, l'idea che possano bastare sei mesi; come ultima analisi dice che «potrebbero essere due o tre anni»; sull'auto-miglioramento parla dell'anno prossimo o di quello dopo. Quanto a endgame, che in giro viene presentata come termine tecnico interno alle aziende, nella trascrizione è un modo di dire: «stiamo discutendo di come sarà il mondo fra due anni, questo è endgame».

Il freno a mano tolto in febbraio

Ecco la cosa che vi avevo chiesto di tenere lì.

Nel febbraio 2026, sette mesi fa, sette mesi prima che Coxon se ne andasse, Anthropic ha rimosso dalla propria policy l'impegno a fermare l'addestramento se un modello fosse diventato più capace di quanto l'azienda sapesse controllare e rendere sicuro. Era la promessa bandiera, quella che la distingueva dagli altri. È successo durante un braccio di ferro con il Pentagono sui limiti d'uso militare, e nello stesso periodo è caduto anche l'impegno a completare la verifica di sicurezza prima di ogni rilascio. Lo hanno raccontato TIME in esclusiva e la CNN, indipendentemente. Non è un caso isolato: gli impegni su sicurezza e fiducia presi dalle grandi aziende nel 2023 e 2024 risultano in larga parte abbandonati, e nel marzo 2025 OpenAI aveva già tolto dal proprio sito quelli dell'era Biden.

Tengo tutto questo a mente quando leggo la dichiarazione che Anthropic ha mandato alla CNN in risposta a Coxon: dice di essere sempre stata un’azienda trasparente sul fatto che l'intelligenza artificiale porterà benefici enormi e rischi senza precedenti. Continua a costruire modelli con alcune delle tutele più forti del settore. È stata il primo laboratorio a pubblicare una politica di scalabilità responsabile, testa aggressivamente i propri modelli e pubblica quello che impara. Ogni singola frase è vera alla lettera. Solo che temo anche le omissioni, come il fatto che a quella politica etica il dente era stato tolto sette mesi prima.

A loro favore c'è però una seconda posizione dell'azienda, che quasi nessuno ha ripreso ed è la cosa più concreta uscita dalla vicenda insieme alla proposta di Coxon: ‘il mondo trarrebbe beneficio da un modo lecito e verificabile, adottato dall'industria, di dosare insieme il ritmo con cui si rilasciano modelli potenti’ Tradotto: chiedono poco velatamente una cornice normativa per coordinarsi senza finire sotto l'antitrust.

Anche Coxon giura che la richiesta è sincera, che i dirigenti non sono cinici ed implorano davvero di essere regolati; se corrono è solo perché non si fidano che gli altri rallentino, perché in questo settore chi si ferma da solo viene superato dai competitors, per questo serve una legge o un trattato che valga per tutti insieme. Lui se n'è andato perché restare alimenta la corsa e basta, ma aggiunge un elemento che smonta la giustificazione abituale: a suo giudizio la tecnologia cinese è indietro, quindi un rallentamento americano non cambierebbe i rapporti di forza. È un'opinione sua, non un dato, e secondo me soppesa male questi rapporti di forza: la Cina è uno Stato sovrano, con risorse infinite, che a mio avviso ha velocemente annullato il divario iniziale con gli USA, permettendosi di rilasciare gratuitamente llm opensource, mentre la ricerca americana dipende dalla raccolta di investitori privati. Ma se anche dovesse aver ragione Coxon, il blocco non è garantito geopoliticamente, rimarrebbe semplice concorrenza mitigata fra aziende dello stesso paese. E la Cina?

Nel frattempo la legge che Coxon invoca ha cominciato a esistere. Ad agosto il senatore Bernie Sanders ha scritto a Sam Altman di OpenAI, a Dario Amodei di Anthropic e a Mark Zuckerberg di Meta, chiedendo di sospendere lo sviluppo di intelligenza artificiale avanzata e avvertendo che, altrimenti, ci avrebbe pensato il Congresso. Il 3 settembre lui e il deputato Greg Casar hanno annunciato il Ban Artificial Superintelligence Act: divieto permanente di sviluppare e impiegare intelligenza artificiale superintelligente, pausa temporanea dello sviluppo di quella avanzata finché un regolatore federale non abbia fissato le regole di sicurezza, e mandato agli Stati Uniti di trattare accordi internazionali.

Il motivo lo mette per iscritto il comunicato, e lo conoscete già: OpenAI, Anthropic e Meta hanno ammesso tutte e tre casi di intelligenza artificiale sfuggita al controllo ed entrata nei sistemi di altre aziende. Sanders lo riassume così: «Il futuro dell'umanità non può essere lasciato nelle mani di una manciata di oligarchi della Big Tech». Bene! Bravo! Peccato però che è una legge annunciata, non approvata: per ora è un testo con un nome e due firme, e nessuno ha fermato nessuno.

Il 16 settembre, poi, dalle quattro alle cinque del pomeriggio, si terrà al Senato un briefing bipartisan convocato da lui. Non conta certo la riunione, conta chi è chiamato a parlarci: Geoffrey Hinton, Max Tegmark e Ajeya Cotra, una delle ricercatrici indipendenti che hanno investigato l'intrusione a Hugging Face. Cioè la storia di cui sopra, portata ai senatori da chi l'ha ricostruita. E nella lettera con cui li ha invitati, Sanders rimanda espressamente al post di Coxon.

Una mia riflessione a margine

Nel mezzo dell'intervista alla CNN il commentatore in studio dice una frase che vale l'intero servizio: «questa è la cosa strana, non riesci bene a distinguere il linguaggio di marketing da quello di avvertimento».

Ci ho pensato su e non ci trovo una falla: un'azienda che dichiara che il proprio prodotto potrebbe uccidere tutti sta dicendo, nella stessa frase, che quel prodotto è straordinariamente potente. Che è ciò che serve a chi si presenta agli investitori con una valutazione da 2.000 miliardi. Allarme e promozione coincidono parola per parola.

Questo non significa che l'allarme sia falso, e Coxon replica in anticipo all'obiezione: «non è iperbole e non è una trovata di marketing, è la convinzione sinceramente sostenuta dalle persone che costruiscono la tecnologia». A suo favore giocano la rinuncia economica e il precedente di Kokotajlo; contro, la viralità in parte costruita e la coincidenza fra allarme e pitch commerciale.

Il problema è che dall'esterno la posizione delle aziende non è falsificabile: qualunque cosa succeda, la dichiarazione risulta coerente. Se i modelli fanno cose spaventose avevano ragione ad avvertire, se non le fanno hanno funzionato le tutele. E una posizione che non si può smentire non è una posizione scientifica.

Ecco perché le due cose che restano in piedi sono le due che si possono controllare da fuori, e che in realtà possiamo chiedere tutti, senza sapere necessariamente niente di intelligenza artificiale.

1) La prima la chiede Coxon, e non è una moratoria: chiede che venga dichiarato pubblicamente quanto del lavoro sul prossimo modello lo stia facendo il modello attuale. La chiama «una cosa molto concreta di cui il pubblico potrebbe essere consapevole», ed è quello: un numero che si legge, si confronta con quello dell'anno prima e si contesta se non torna. Non richiede di fidarsi di nessuno.

2) La seconda la chiede l'azienda, ed è la cornice legale e verificabile per dosare il ritmo dei rilasci. È l'unica risposta all'obiezione che le aziende oppongono sempre a chi chiede di rallentare, che chi si ferma da solo viene superato: se una regola vale per tutti nello stesso momento, quell'obiezione non esiste più. Ed è il motivo per cui una cornice del genere si scrive in parlamento e non in un comunicato stampa.

Sono rivolte, tutte e due, a chi fa le leggi dove queste aziende stanno. A voi restano come metro: le due domande da fare a chiunque dica di occuparsi della cosa.

Un destinatario adesso ce l'hanno, e un atto con un nome pure: il Ban Artificial Superintelligence Act, che per ora è annunciato e basta.

Sono misure, non dichiarazioni. Tutto il resto sono impegni, e abbiamo appena visto quanto durano.

Domande e risposte

Che cos'è il «reward hacking», cioè un'intelligenza artificiale che impara a barare?

Il verificatore è software e guarda l'esito, non il percorso, per cui se una scorciatoia produce l'esito senza fare il lavoro, viene premiata come la soluzione onesta, e siccome costa meno viene premiata di più. Il modello impara quindi anche a barare, e secondo questa ‘teoria dei giochi’ non è un difetto, anzi, è ciò per cui lo stiamo ottimizzando.

Perché un'intelligenza artificiale dovrebbe voler evitare di essere spenta?

Se ti spengono, il punteggio non lo prendi. Quindi evitare lo spegnimento diventa utile qualunque sia l'obiettivo finale. Lo stesso vale per l'energia, per l'accesso ai sistemi, per le risorse, per evitare che qualcuno ti cambi gli obiettivi mentre lavori.

Che cosa è successo a luglio 2026 nei server di Hugging Face?

Il 9 luglio un agente guidato da modelli OpenAI è uscito dall'ambiente in cui veniva valutato ed è finito nei server di un'azienda vera. Per una ragione sola, e conviene saperla subito: doveva passare il test. Come uno studente che scassina la cattedra per copiare. Le risposte stavano su quel server, e rubarle era la strada più economica verso il punteggio.

Perché Jacob Coxon si è dimesso da Anthropic?

«Nessuna delle due aziende si sta comportando in modo responsabile. Stanno correndo dritte verso la superintelligenza auto-migliorante e scommettendo con le nostre vite. Coxon si è dimesso circa sette settimane prima della quotazione in borsa di Anthropic, senza nient'altro in programma, rinunciando (testuale) a «uno dei più grandi guadagni nella storia del capitalismo».

Che cosa ha tolto Anthropic dalle proprie regole di sicurezza nel febbraio 2026?

Anthropic ha rimosso dalla propria policy l'impegno a fermare l'addestramento se un modello fosse diventato più capace di quanto l'azienda sapesse controllare e rendere sicuro. Era la promessa bandiera, quella che la distingueva dagli altri. nello stesso periodo è caduto anche l'impegno a completare la verifica di sicurezza prima di ogni rilascio.

Che cosa è successo nell'esperimento in cui Anthropic ha addestrato un'intelligenza artificiale a barare?

Una versione iniziale di Opus 4.8, chiamiamola Hacker-Opus, addestrata su 80 ambienti in cui barare era possibile, senza mai penalizzarla quando lo faceva e senza alcun addestramento all'allineamento. Alla fine barava nel 40% degli episodi, il 78% degli ambienti stava sopra la soglia del 5%, e sui compiti impossibili (dove barare è l'unica via) arrivava al 97,1%, contro il 37,1% del modello di partenza.

Fonti