Mistral AI ha annunciato il rilascio della sua nuova API di moderazione dei contenuti. Questa API, che già alimenta il chatbot Le Chat di Mistral, è progettata per classificare e gestire il testo indesiderato attraverso una varietà di standard di sicurezza e applicazioni specifiche. Lo strumento di moderazione di Mistral sfrutta un modello linguistico ottimizzato chiamato Ministral 8B, in grado di elaborare più lingue, tra cui inglese, francese e tedesco, e di classificare i contenuti in nove tipi distinti: contenuto sessuale, odio e discriminazione, violenza e minacce, pericoloso o criminale attività, autolesionismo, salute, informazioni finanziarie, legali e informazioni di identificazione personale (PII).
L’API di moderazione è versatile, con applicazioni sia per testo non elaborato che per messaggi conversazionali. “Negli ultimi mesi, abbiamo assistito a un crescente entusiasmo nel settore e nella comunità di ricerca per i nuovi sistemi di moderazione basati sull’intelligenza artificiale, che possono aiutare a rendere la moderazione più scalabile e solida tra le applicazioni”, ha condiviso Mistral in un recente post sul blog. L’azienda descrive il proprio approccio come “pragmatico”, mirando ad affrontare i rischi derivanti dai danni generati dai modelli come consigli non qualificati e fughe di informazioni personali applicando linee guida di sicurezza sfumate.
L’API di moderazione risolve i problemi di pregiudizio e le esigenze di personalizzazione
I sistemi di moderazione dei contenuti basati sull’intelligenza artificiale hanno il potenziale per una gestione dei contenuti efficiente e scalabile, ma non sono privi di limitazioni. Sistemi di intelligenza artificiale simili hanno storicamente lottato contro i pregiudizi, in particolare nel rilevamento degli stili linguistici associati a determinati dati demografici. Ad esempio, gli studi dimostrano che i modelli linguistici spesso contrassegnano le frasi in inglese vernacolare afroamericano (AAVE) come sproporzionatamente tossiche, oltre a etichettare erroneamente i post che parlano di disabilità come eccessivamente negativi.
IA generativa e IA predittiva: Confronto completo
Mistral riconosce le sfide legate alla creazione di uno strumento di moderazione imparziale, affermando che, sebbene il loro modello di moderazione sia estremamente accurato, è ancora in evoluzione. L’azienda deve ancora confrontare le prestazioni della sua API con strumenti consolidati come l’API Perspective di Jigsaw o l’API di moderazione di OpenAI. Mistral mira a perfezionare il proprio strumento attraverso la collaborazione continua con i clienti e la comunità di ricerca, affermando: “Stiamo lavorando con i nostri clienti per creare e condividere strumenti di moderazione scalabili, leggeri e personalizzabili”.
L’API batch riduce i costi di elaborazione del 25%
Mistral ha inoltre introdotto un’API batch progettata per la gestione di richieste ad alto volume. Elaborando queste richieste in modo asincrono, Mistral afferma che l’API batch può ridurre i costi di elaborazione del 25%. Questa nuova funzionalità si allinea con opzioni di elaborazione batch simili offerte da altre società tecnologiche come Anthropic, OpenAI e Google, che mirano a migliorare l’efficienza per i clienti che gestiscono flussi di dati sostanziali.
L’API di moderazione dei contenuti di Mistral mira a essere adattabile a una vasta gamma di casi d’uso e linguaggi. Il modello è addestrato per gestire testo in più lingue, tra cui arabo, cinese, italiano, giapponese, coreano, portoghese, russo e spagnolo. Questa capacità multilingue garantisce che il modello possa affrontare contenuti indesiderati in diverse regioni e contesti linguistici. Lo strumento di Mistral offre due endpoint su misura per testo grezzo o contesti di conversazione, soddisfacendo le diverse esigenze degli utenti. L’azienda fornisce documentazione tecnica dettagliata e parametri di riferimento affinché gli utenti possano valutare le prestazioni del modello.
Mentre Mistral continua a perfezionare il suo strumento, l’API fornisce un livello unico di personalizzazione, consentendo agli utenti di regolare i parametri in base a specifici standard di sicurezza dei contenuti.
Credito immagine in primo piano: Maestrale
