Il consigliere scientifico della Casa Bianca Michael Kratsios ha affermato che Moonshot, un’azienda cinese, ha copiato il modello LLM (Large Language Model) di Fable di Anthropic per creare il Kimi K3, che è il più grande modello a peso aperto attualmente disponibile. Kratsios ha affermato che il modello di Moonshot utilizzava chip non autorizzati per l’esportazione in Cina, aggiungendo che la distillazione industriale segreta volta a rubare la tecnologia statunitense è “inaccettabile”. Ha notato le discussioni in corso sul potenziale divieto dei modelli cinesi a peso aperto che sono diventate controverse nel settore dell’intelligenza artificiale.
Il segretario al Tesoro Scott Bessent ha fatto eco ai commenti di Kratsios, rivelando che i grandi modelli linguistici statunitensi sono stati rilevati in molti modelli cinesi, che ha anche descritto come “inaccettabili”. Il Dipartimento del Tesoro non ha chiarito l’esatta natura delle filigrane trovate in questi modelli. Gli esperti, tuttavia, hanno espresso scetticismo sul fatto che la sola distillazione possa spiegare le capacità avanzate di Kimi K3, soprattutto considerando la data di uscita di Fable fissata per il 1° luglio.
Braden Hancock, ricercatore presso il Laude Institute, ha sottolineato che non è plausibile sviluppare un modello con la forza di Kimi K3 in un arco di tempo così breve utilizzando solo tecniche di distillazione. Ha dichiarato: “Non è possibile distillare così tanti dati, addestrare un modello e rilasciarlo in due settimane”. Nathan Lambert, dell’Allen Institute for AI, ha notato la diminuzione dell’efficacia della distillazione nel tempo e ha sostenuto che metodi avanzati come l’apprendimento per rinforzo potrebbero essere necessari affinché tali modelli raggiungano le loro capacità.
Il processo di distillazione prevede l’interrogazione sistematica di un LLM per replicarne le funzionalità. Questo processo potrebbe includere la messa a punto supervisionata (SFT), in cui il modello target addestra un nuovo modello emulandone i comportamenti. Lambert ha valutato che, sebbene la SFT presenti dei vantaggi, questi stanno diminuendo con l’aumentare della complessità del modello. Per replicare le capacità di Fable potrebbe essere necessario l’apprendimento per rinforzo, che può richiedere un uso intensivo di risorse e potrebbe non garantire prestazioni superiori.
Esiste un conflitto in corso nel settore dell’intelligenza artificiale per quanto riguarda le pratiche di distillazione. Anthropic aveva precedentemente accusato Moonshot di estrarre sistematicamente dati dai suoi modelli, citando milioni di scambi sospetti monitorati tramite indirizzi IP. Elon Musk ha testimoniato che anche la sua azienda, SpaceXAI, ha utilizzato tecniche di distillazione su modelli OpenAI per sviluppare Grok, dimostrando quanto questa pratica sia comune in tutto il settore.
Hancock ha sottolineato che la percezione americana potrebbe minimizzare le capacità tecniche dei team cinesi di intelligenza artificiale, riferendosi al cofondatore di Moonshot, un dottorato di ricerca presso la Carnegie Mellon University. Moonshot avrebbe sfruttato i chip Nvidia vietati durante l’accesso ai server dotati di GB300 in Tailandia per sviluppare Kimi K3. Sam Bresnick, ricercatore presso il Center for Security and Emerging Technology di Georgetown, ha notato l’esistenza di un mercato nero per tali chip, la cui esportazione verso la Cina rimane vietata. Gli sforzi per far rispettare le normative sull’uso di questi chip avanzati devono ancora vedere progressi significativi.
Il Dipartimento del Commercio del presidente Biden ha proposto regole per i data center per stabilire misure di identificazione dei clienti nel 2024. Tuttavia, non si sono verificati sviluppi significativi in questo settore durante la precedente amministrazione e gli esportatori devono garantire che i loro chip avanzati vengano utilizzati per applicazioni legittime.
