Bert è un framework di apprendimento automatico open source per l’elaborazione del linguaggio naturale (NLP) che aiuta i computer a comprendere il linguaggio ambiguo usando il contesto del testo circostante. Il modello è stato pretratto sul testo di inglese Wikipedia e Brown Corpus, e può essere messo a punto con set di dati di domande e risposte. BERT è l’acronimo di rappresentazioni dell’encoder bidirezionale dai trasformatori e si basa sul modello di trasformatore, che collega ogni elemento di output a ogni elemento di input dinamicamente.
Cos’è Bert?
Bert è progettato per affrontare le sfide dell’interpretazione del linguaggio naturale. Modelli di linguaggio tradizionale elaborato il testo solo in sequenza, da sinistra a destra o dal diritto a sinistra, che ha reso limitato il contesto. Bert supera questa limitazione leggendo il testo in bidirezionalmente, consentendogli di catturare l’intero contesto delle parole. La sua pretrattamento sul testo vasto e senza etichetta e sulla capacità di essere perfezionata su compiti specifici lo rendono uno strumento potente nella PNL moderna.
Come funziona Bert
La forza di Bert deriva dalla sua architettura di trasformatore sottostante. A differenza dei modelli precedenti che dipendevano da sequenze fisse, i trasformatori elaborano i dati in qualsiasi ordine, che consente a Bert di pesare le influenze di tutte le parole attorno a una parola target. Questo approccio bidirezionale affila la sua comprensione del linguaggio.
Architettura del trasformatore
Il modello di trasformatore forma la spina dorsale di Bert. Assicura che ogni elemento di output sia calcolato dinamicamente in base a ogni elemento di input. Questo design consente a Bert di gestire il contesto esaminando le relazioni attraverso l’intera frase, non solo in una progressione di sola andata.
Modellazione in lingua mascherata
Bert utilizza una tecnica chiamata Masked Language Modeling (MLM). In MLM, alcune parole in una frase sono nascoste e Bert deve prevedere queste parole mascherate in base al resto della frase. Ciò costringe il modello a sviluppare una profonda comprensione del contesto piuttosto che fare affidamento su rappresentazioni di parole statiche.
Previsione della frase successiva
Next Frase Prediction (NSP) si allena Bert per determinare se una frase ne segue logicamente un’altra. Imparando la relazione tra le coppie di frasi – sia accoppiate correttamente che erroneamente, migliora la sua capacità di catturare il flusso del linguaggio, che è cruciale per compiti come la risposta alle domande.
Meccanismi di auto-atteggiamento
L’autoatterraggio consente a Bert di valutare la rilevanza di ogni parola rispetto agli altri in una frase. Questo meccanismo è fondamentale quando il significato di una parola si sposta quando viene aggiunto un nuovo contesto, garantendo che l’interpretazione di Bert rimanga accurata anche quando le parole sono ambigue.
Background e storia
Lo sviluppo di BERT ha segnato un significativo allontanamento dai modelli linguistici precedenti. Modelli precedenti, come quelli basati su reti neurali ricorrenti (RNN) e convoluzionali reti neurali (CNN), elaboravano il testo in un ordine fisso e sequenziale. Questa limitazione ha ostacolato le loro prestazioni su compiti che si basavano sulla comprensione del contesto.
Nel 2017, Google ha introdotto il modello di trasformatore, aprendo la strada a innovazioni come Bert. Entro il 2018, Google ha rilasciato e aperto BERT e la ricerca ha dimostrato che ha ottenuto risultati all’avanguardia su 11 compiti di comprensione del linguaggio naturale, tra cui analisi dei sentimenti, etichettatura dei ruoli semantici e classificazione del testo. Nell’ottobre 2019, Google ha applicato Bert ai suoi algoritmi di ricerca con sede negli Stati Uniti, migliorando la comprensione di circa il 10% delle domande di ricerca in inglese. A dicembre 2019, Bert era stato esteso a oltre 70 lingue, migliorando la ricerca sia sulla voce che sul testo.
Applicazioni e usi
Bert ha una vasta gamma di applicazioni nella PNL, consentendo compiti sia generici che specializzati. Il suo design lo rende ideale per migliorare l’accuratezza della comprensione e dell’elaborazione del linguaggio.
Attività NLP
Bert supporta compiti da sequenza a sequenza come la risposta alle domande, il riepilogo astratto, la previsione delle frasi e la generazione di risposta conversazionale. Eccelle anche i compiti di comprensione del linguaggio naturale come la disambiguazione del senso delle parole, la risoluzione della polisemia, l’inferenza del linguaggio naturale e la classificazione del sentimento.
Varianti specializzate
Molti adattamenti di BERT sono stati sviluppati per ottimizzare le prestazioni o i domini specifici di destinazione. Esempi includono PatentBert per la classificazione dei brevetti, Docbert per la classificazione dei documenti, Biobert per il mining di testo biomedico e Scibert per la letteratura scientifica. Altre versioni come Tinybert, Distilbert, Albert, Spanbert, Roberta ed Electra offrono miglioramenti di velocità, efficienza o precisione specifica per le attività.
Bert vs. Gpt
Mentre sia Bert che GPT sono modelli in linguaggio più alto, servono a scopi diversi. Bert si concentra sulla comprensione del testo leggendolo nella sua interezza usando il contesto da entrambe le direzioni. Questo lo rende ideale per compiti come l’interpretazione delle query di ricerca e l’analisi del sentimento. Al contrario, i modelli GPT sono progettati per la generazione di testo, eccellendo nella creazione di contenuti originali e riassumendo lunghi testi.
Impatto sull’intelligenza artificiale e sulla ricerca
Google utilizza BERT per migliorare l’interpretazione delle query di ricerca comprendendo il contesto meglio dei modelli precedenti. Ciò ha portato a risultati più rilevanti per circa il 10% delle domande di ricerca in inglese statunitense. La capacità di Bert di elaborare il contesto ha anche migliorato la ricerca vocale e l’accuratezza della ricerca basata sul testo, in particolare perché è stata adattata per l’uso in oltre 70 lingue. La sua influenza si estende in tutta l’IA, stabilendo nuovi standard per la comprensione del linguaggio naturale e spingendo lo sviluppo di modelli più avanzati.
