Analisi LLAMA3 da 8B e 70B

Analisi LLAMA3 da 8B e 70B: Introduzione

Recentemente, Meta ha annunciato il lancio di Llama 3, presentato in diverse varianti, segnando un’importante evoluzione nel campo dei Large Language Models (LLM). Qui a NetAI, restiamo sempre al passo con le ultime novità tecnologiche, e l’introduzione di Llama 3 non fa eccezione. Vogliamo fare una analisi approfondita sui due modelli da 8B e da 70B e vogliamo condividere con voi i risultati:

• Una disamina approfondita dei vari modelli disponibili: vogliamo esplorare ogni angolo di Llama 3 in tutte le sue versioni per comprendere appieno le sue potenzialità e le innovazioni che porta con sé.
• Benchmarking dei modelli: analizzeremo i benchmark presentati da Meta sul loro blog.
• Guida alle licenze per il download dei modelli: guarderemo insieme quali “clausole” sono da accettare per poter scaricare e utilizzare Llama3.
• Analisi del modello promesso da oltre 400+ Billion di parametri: oltre a esaminare i due modelli già disponibili da 8 Billion e 70 Billion, diamo un’ occhiata al LLM gigante da oltre 400+ Billion di parametri che Meta ha promesso di rilasciare.
• Configurazione e utilizzo del modello da 8 Billion: infine, vi guideremo attraverso il processo di configurazione del modello da 8 Billion utilizzando Ollama scaricandolo da Hugging Face, fornendovi tutti i dettagli necessari per testarlo personalmente e sperimentare le sue capacità.

Visione Generale di Llama3 8B e Llama3 70B

Iniziamo col guardare i due modelli appena rilasciati: il modello con otto miliardi di parametri e il modello con settanta miliardi di parametri.
Ciò che ha sorpreso la comunità di https://www.meta.ai/ è la notevole performance del modello da otto miliardi di parametri, il quale sembra superare le prestazioni del predecessore Llama 2 da 70Billion.

Quindi, se si considera che il modello più piccolo di questa release sta effettivamente superando il modello più grande della release precedente, si tratta di un bel passo avanti.

I due modelli appena introdotti si presentano in due distinte configurazioni:

1. Instruct: Questa versione, spesso descritta come formato preaddestrato, rappresenta la scelta prevalente tra gli utenti che impiegano questi modelli per svariati compiti quotidiani, inclusi dialoghi e chat. Si tratta di una versione fine-tuned ottimizzata per facilitare scambi comunicativi efficaci e naturali.
2. Pre-trained: Questo modello base è destinato a coloro che sono interessati a personalizzare ulteriormente le capacità del sistema. Il repository GitHub di meta-llama offre una serie di script ad hoc per affinare e adeguare questo modello a specifiche esigenze avanzate (si veda: (https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md )).

Analisi LLAMA3 da 8B e 70B: Analisi

Analizzando la model card dei modelli emergono diversi punti di notevole interesse:

• Entrambi i modelli, sia quello da otto miliardi sia quello da settanta miliardi di parametri, accettano esclusivamente input testuali. Questo aspetto suscita curiosità e anticipa la possibile introduzione di versioni future capaci di elaborare anche immagini, o forse la nascita di una nuova iterazione di Code Llama o di modelli multimodali.
• La lunghezza del contesto gestito da entrambi i modelli è fissata a 8K token. Tale dimensione appare limitata se paragonata a quella di numerosi modelli contemporanei, che spaziano fino a 32K e persino oltre, raggiungendo soglie di 100K, 200K token, o più. Questo lascia presagire l’arrivo di versioni aggiornate dotate di capacità di contestualizzazione decisamente più ampie.
• Il volume di dati su cui questi modelli sono stati addestrati è dii oltre 15 trilioni di token. Si tratta di una mole di informazioni senza precedenti, se consideriamo i dati comunicati pubblicamente in merito alla formazione di altri modelli; il volume di token menzionato raddoppia, infatti, quello di altre iniziative di cui si ha conoscenza.
• Le cutoff dates, ovvero le date di riferimento per l’aggiornamento delle informazioni, il modello da otto miliardi si aggiorna al 23 marzo 2023, mentre per il modello più capiente l’ultimo aggiornamento risale a dicembre 2023.

Analisi LLAMA3 da 8B e 70B

Proseguendo nella pagina, si parla dell’uso previsto, consigliando l’ utilizzo commerciale e di ricerca in inglese.

Un’altra cosa molto interessante che emerge dal loro post sul blog (https://ai.meta.com/blog/meta-llama-3/ ) è quanti fornitori di servizi cloud sembrano già aver coinvolto per rendere LLAMA3 disponibile su quelle piattaforme.

E questo include, dai grandi nomi come AWS, Google Cloud e Azure, fino ad arrivare anche a diversi fornitori più piccoli, rendendolo disponibile anche su piattaforme come Kaggle, in modo che le persone possano utilizzare il modello anche lì.

Inoltre, come si può notare dall’immagine qui sotto, oltre al fatto che i modelli sono stati addestrati con 15 trilioni di token di dati, si menziona che questa quantità è sette volte superiore a quanto addestrato con LLAMA2.

Un’altra menzione interessante è che il modello è stato addestrato su quattro volte più codice. È intrigante pensare se rilasceranno effettivamente un altro modello di LLAMA per il codice, magari con l’addestramento delle istruzioni per i compiti relativi al codice e con una finestra di contesto più lunga.

Analisi LLAMA3 da 8B e 70B: Benchmark dei due modelli

Se passiamo ad esaminare i benchmark, possiamo vedere che confrontano il modello da 8 miliardi di parametri con il Mistral 7B e Gemma 7B che è uscito di recente. Da quel che emerge, questi benchmark sostengono che il modello di Meta è significativamente migliore.

Per quanto riguarda il modello da 70 miliardi, i benchmark non sono così drastici come nell’8 miliardi rispetto a Gemma e Mistral 7B, ma comunque molto competitivi, se non addirittura migliori del Gemini Pro 1.5 e del Mixtral.

Naturalmente, questo modello non ha la finestra di contesto lunga come Gemini 1.5 o come i modelli Claude 3.

Inoltre, riportiamo un loro tipo di benchmark per far risaltare ancora di più le potenzialità dei loro nuovi modelli. Hanno infatti creato un set di valutazione contenente 800 prompt diversi che coprono 12 utilizzi chiave, chiedendo consigli, fare brainstorming, classificazione, risposte a domande chiuse, coding, scrittura creativa, estrazione, gioco di ruolo di persona, risposte a domande aperte, ragionamento, riscrittura e riassunto.

La tabella qui sotto mostra i risultati ottenuti delle valutazioni umane di Meta attraverso le categorie sopracitate.

E non sorprende che abbiamo dimostrato che il loro modello da 70 miliardi sta effettivamente battendo diversi modelli diversi, inclusi GPT 3.5, Mistral Medium, Claude Sonnet e battendo sostanzialmente il precedente modello Lama 2 qui.

Analisi LLAMA3 da 8B e 70B: Clausole da accettare

Nell’ambito del download del modello da Hugging Face, ci sono alcune clausole di licenza particolarmente rilevanti da tenere in considerazione:

• Utenti Attivi Mensili: Se la tua piattaforma conta più di 700 milioni di utenti attivi mensili, è richiesta una licenza esplicita. Questa disposizione sembra avere come bersaglio diretto piattaforme come TikTok e potenzialmente altre grandi aziende nel settore dei social media.

• Utilizzo dei Materiali LLAMA: Viene specificato che i materiali LLAMA, così come gli output o i risultati da essi derivati, non possono essere impiegati per il miglioramento di altri Large Language Models (LLM), ad eccezione di LLAMA3 o dei suoi successivi affinamenti. In pratica, ciò preclude l’uso dei dati LLAMA per la formazione di modelli di dimensioni inferiori.
  
• Nomenclatura dei Modelli Affinati: Una clausola interessante impone l’inclusione del nome LLAMA3 all’inizio di qualsiasi nome di modello AI che sia stato sottoposto a raffinamento. Di conseguenza, è probabile che incontreremo nomi come “LLAMA3 Noose Research Model” o “LLAMA3 Samantha Model” nel panorama dei modelli AI raffinati.

Llama 400+

Prima di tuffarci nel codice e vedere come configurare tutto con Ollama, è interessante dare un’occhiata al modello che è ancora in fase di addestramento, ovvero il modello con 400+ miliardi di parametri. Si tratta di un modello estremamente grande che la maggior parte delle persone non sarà in grado di ospitare da sola o utilizzare una versione quantizzata di questo, poiché sarà davvero grande. Tuttavia, è interessante esaminare alcuni dei dati statistici che stanno ottenendo finora.

Questo checkpoint riportato qui sopra fa vedere che i risultati che Meta sta ottenendo non sono lontani da quelli di GPT-4. Potremmo quindi essere a pochi mesi di distanza dall’avere un modello open source alla pari con GPT-4.

Installazione di Llama3 utilizzando Ollama o Hugging Face

Diamo un’occhiata a come si può configurare il modello con OLLAMA scaricandolo da Hugging Face o con un semplice comando utilizzando Ollama.
Come si può vedere, dal sito ufficiale di Ollama, sono stati già aggiunti llama3 con le loro versioni.

Possiamo notare che già 565.000 persone che hanno scaricato il modello.
Accedendo puoi ottenere l’8B, il 70B, l’Instruct, eccetera.

Per avviarlo e poterlo utilizzare, bisogna aver quindi scaricato:

• Ollama
• Llama3 da Hugging Face oppure si può tranquillamente scaricare eseguendo il seguente comando (come si può vedere anche dal video seguente):

ollama run llama3

Lo scaricherà subito e poi lo potrai utilizzare. E puoi vedere che, effettivamente, possiamo parlare con esso, come per esempio chiedergli chi sei.

Ovviamente, puoi fare lo stesso anche con LM Studio o GPT4All senza dimenticare che, per impostazione predefinita, eseguono una versione quantizzata a 4 bit.

Conclusioni

Speriamo che questo articolo vi sia stato utile per capire meglio quanto questi LLM stiano effettivamente migliorando, potendo potenzialmente ad arrivare in locale modelli estremamenti potenti. Se siete interessati ad approfondire potete contattarci al seguente modulo: https://netai.it/#contatti