Anthropic e AE Studio mercoledì hanno pubblicato un metodo chiamato Gradient-Routed Auxiliary Modules (GRAM) per isolare la conoscenza pericolosa all’interno dei modelli di intelligenza artificiale in moduli rimovibili. Questa tecnica consente la separazione della conoscenza sensibile senza influire sulle prestazioni complessive del modello.
GRAM incorpora piccoli compartimenti neurali ausiliari in un modello linguistico, ciascuno incentrato su specifiche categorie sensibili come la virologia, la sicurezza informatica o la fisica nucleare. Quando un modulo viene eliminato, il modello funziona come se non fosse mai stato addestrato su quei dati. Al contrario, quando un modulo viene attivato, la conoscenza diventa pienamente disponibile.
Il metodo modifica l’architettura standard del trasformatore estendendo la larghezza degli strati MLP con questi moduli ausiliari. Durante l’addestramento, solo il modulo corrispondente a una categoria a duplice uso è attivo quando il modello incontra dati correlati.
I ricercatori hanno testato GRAM su modelli che vanno da 50 milioni a 5 miliardi di parametri. Hanno addestrato un modello da 800 milioni di parametri su diversi dati di testo insieme a quattro domini a duplice uso. I dati sul duplice uso costituivano circa lo 0,25% dei dati di addestramento per ciascun rispettivo dominio.
I risultati hanno indicato che la rimozione dei moduli GRAM ha eliminato funzionalità specifiche con la stessa efficacia che se il modello non fosse mai stato addestrato su tali dati, mentre le prestazioni generali sono rimaste vicine ai livelli di base. L’approccio GRAM si è dimostrato robusto contro la messa a punto contraddittoria, a differenza dei metodi di disapprendimento post-hoc che si limitano a sopprimere la conoscenza invece di rimuoverla permanentemente.
Questa ricerca emerge nel contesto delle recenti sfide nella governance dell’intelligenza artificiale, in particolare per quanto riguarda i controlli sulle esportazioni dei modelli Anthropic implementati dall’amministrazione Trump a giugno a causa di preoccupazioni per la sicurezza nazionale. Tali restrizioni sono state revocate il 30 giugno dopo che Anthropic ha collaborato con il Dipartimento del Commercio per mitigare i rischi correlati.
GRAM presenta un potenziale compromesso nella politica dell’intelligenza artificiale, consentendo un controllo selettivo degli accessi invece di ampie restrizioni sui modelli o barriere comportamentali. Un laboratorio di biosicurezza controllato potrebbe ricevere un modello con conoscenze virologiche intatte, mentre un’implementazione generale escluderebbe del tutto quel modulo.
Tuttavia, i ricercatori hanno notato che questo lavoro è preliminare e non è stato applicato ai modelli di produzione di Anthropic. Rimangono sfide riguardanti la scalabilità della tecnica a modelli più ampi e difficoltà nel separare le capacità correlate, dove la conoscenza della biologia generale si sovrappone alla conoscenza della virologia pericolosa. Il lavoro è stato condotto dai ricercatori di AE Studio in collaborazione con Cem Anil e Alex Cloud di Anthropic.
