I benchmark trapelati riguardanti Llama 3.1 405B di Meta AI mostrano che questo LLM open source ha un grande potenziale.
Trapelato: benchmark Meta AI Llama 3.1 405B
Meta ha introdotto Llama 3 nell’aprile 2024 come una nuova generazione di modelli di linguaggio di grandi dimensioni all’avanguardia e open source. La versione iniziale includeva Llama 3 8B e Llama 3 70B, entrambi i quali hanno stabilito nuovi benchmark di prestazioni per gli LLM nelle rispettive dimensioni. Tuttavia, nel giro di soli tre mesi, diversi altri modelli sono riusciti a superare questi benchmark iniziali, indicando il rapido ritmo di avanzamento nel campo dell’intelligenza artificiale.
Meta ha annunciato che il suo modello più ambizioso della serie Llama 3 vanterà oltre 400 miliardi di parametri, un enorme balzo in avanti in scala che è ancora in fase di addestramento. In una svolta drammatica degli eventi, i primi dati di riferimento per i prossimi modelli Llama 3.1, tra cui l’8B, il 70B e il colossale 405B, sono trapelati su Subreddit LocalLLaMA oggiI risultati preliminari suggeriscono che il modello Llama 3.1 405B potrebbe potenzialmente superare le prestazioni dell’attuale leader del settore, GPT-4o di OpenAI, in diversi benchmark AI critici.
Se il modello Llama 3.1 405B dovesse davvero superare GPT-4o, rappresenterebbe il primo esempio di un modello open source che eclissa un importante LLM closed-source.
| Punti di riferimenti | GPT-4o | Meta Lama-3.1-405B | Meta Lama-3.1-70B | Meta Lama-3-70B | Meta Lama-3.1-8B | Meta Lama-3-8B |
| boolq | 0,905 | 0,921 | 0,909 | 0,892 | 0,871 | 0,82 |
| gsm8k | 0,942 | 0,968 | 0,948 | 0,833 | 0,844 | 0,572 |
| bottino fantastico | 0,891 | 0,92 | 0,908 | 0,874 | 0,768 | 0,462 |
| valutazione_umana | 0,921 | 0,854 | 0,793 | 0,39 | 0,683 | 0,341 |
| mmlu_umanitarie | 0,802 | 0,818 | 0,795 | 0,706 | 0,619 | 0,56 |
| mmlu_altro | 0,872 | 0,875 | 0,852 | 0,825 | 0,74 | 0,709 |
| mmlu_scienze_sociali | 0,913 | 0,898 | 0,878 | 0,872 | 0,761 | 0,741 |
| mmlu_stem | 0,696 | 0,831 | 0,771 | 0,696 | 0,595 | 0,561 |
| aprilibroqa | 0,882 | 0,908 | 0,936 | 0,928 | 0,852 | 0,802 |
| picca | 0,844 | 0,874 | 0,862 | 0,894 | 0,801 | 0,764 |
| sociale_iqa | 0,79 | 0,797 | 0,813 | 0,789 | 0,734 | 0,667 |
| veritieroqa_mc1 | 0,825 | 0,8 | 0,769 | 0,52 | 0,606 | 0,327 |
| vinogrande | 0,822 | 0,867 | 0,845 | 0,776 | 0,65 | 0,56 |
Come puoi vedere sopra, i benchmark trapelati rivelano che i modelli Llama 3.1 di Meta surclassano GPT-4 di OpenAI in una varietà di test, stabilendo un nuovo standard in diverse aree cruciali delle prestazioni AI. In particolare, Llama 3.1 eccelle in benchmark come GSM8K, Hellaswag, BoolQ, MMLU-humanities, MMLU-other, MMLU-STEM e Winograd. Tuttavia, è indietro nei test HumanEval e MMLU-social sciences, indicando aree in cui è necessario un ulteriore perfezionamento.
È fondamentale riconoscere che questi benchmark riflettono le prestazioni dei modelli base di Llama 3.1. Il vero potenziale di questi modelli può essere realizzato tramite instruction-tuning, un processo che può migliorare significativamente le loro capacità. Si prevede che le imminenti versioni Instruct dei modelli Llama 3.1 produrranno risultati ancora migliori, mostrando miglioramenti in vari benchmark.
Sottolineando l’importanza delle iniziative open source
Sebbene GPT-5 possa mettere in discussione il predominio emergente di Llama 3.1, le impressionanti prestazioni di Llama 3.1 rispetto a GPT-4 sottolineano la crescente influenza e capacità delle iniziative di intelligenza artificiale open source.
“Stiamo abbracciando l’etica open source di rilascio anticipato e frequente per consentire alla comunità di accedere a questi modelli mentre sono ancora in fase di sviluppo. I modelli basati su testo che stiamo rilasciando oggi sono i primi nella raccolta di modelli Llama 3. Il nostro obiettivo nel prossimo futuro è rendere Llama 3 multilingue e multimodale, avere un contesto più lungo e continuare a migliorare le prestazioni complessive nelle funzionalità LLM principali come ragionamento e codifica”, ha affermato Meta in un post sul blog all’avvio di Llama 3.
L’importanza dell’IA open source non può essere sopravvalutata. Rendendo i propri modelli avanzati accessibili al pubblico, Meta non solo democratizza la tecnologia, ma attinge anche all’intelligenza collettiva e alle diverse prospettive della comunità globale degli sviluppatori. Questo approccio contrasta nettamente con i modelli closed source, che sono in genere accessibili solo a un gruppo selezionato di utenti e ricercatori, limitando così il potenziale per un’innovazione e un miglioramento diffusi.
Credito immagine in evidenza: Penna/Unsplash
