GPT e transformers

GPT e transformers: GPT sta per ‘Generative Pre-trained Transformers’

Allora, cosa sono i transformers?

I transformers mappano sequenze di vettori di input (x1,…,xn) in sequenze di vettori di output (y1,…,yn).

I transformers sono composti da blocchi di transformer. Ogni blocco è una rete multistrato realizzata combinando semplici strati lineari, reti feed-forward e strati di self-attention (in italiano sarebbe auto-attenzione, ci capiterà di chiamarla anche in questo modo).

Gli strati di auto-attenzione sono la parte più critica da capire, poiché sono essenzialmente l’innovazione centrale dietro ChatGPT.

Se sei arrivato fino a qui ed hai capito, ben fatto! Andiamo avanti.

La self-attention è un componente chiave dell’architettura Transformer. È un meccanismo che permette al modello di concentrarsi su diverse parti della sequenza di input quando produce un output.

Ecco una spiegazione semplice di GPT e transformers:

1. Cos’è? La self-attention è un’operazione che aiuta un modello Transformer a capire il contesto di ogni parola in una frase guardando tutte le altre parole nella frase.

2. Come funziona GPT e transformers? Il modello calcola un punteggio (spesso usando un prodotto scalare) tra un vettore ‘query’ e ‘key’ per ogni parola, che usa per pesare l’importanza di tutte le parole nella frase quando interpreta una particolare parola. I punteggi vengono trasformati usando una funzione softmax in modo che sommino a 1 e possano essere usati come pesi.

3. Cosa realizza? La self-attention permette a ogni parola di raccogliere informazioni da tutte le altre parole, catturando così le dipendenze indipendentemente dalla loro distanza nella frase (a differenza dei modelli ricorrenti che hanno difficoltà con le dipendenze a lunga distanza). La somma ponderata (in base ai punteggi di attenzione) di tutti i vettori ‘value’ delle parole risulta nell’output per una particolare parola. Questa operazione viene eseguita per ogni parola nella frase, risultando in una nuova rappresentazione che porta informazioni specifiche del contesto.

4. Multi-Head Attention: I Transformers tipicamente usano quello che viene chiamato ‘attenzione multi-testa’. Questo significa che eseguono il processo di auto-attenzione più volte in parallelo, con ogni operazione che usa diverse trasformazioni lineari apprese dei vettori ‘query’, ‘key’ e ‘value’ originali. Gli output di ogni ‘testa’ vengono poi concatenati e trasformati linearmente per risultare nell’output finale. Questo permette al modello di catturare diversi tipi di relazioni nei dati.

In sintesi, la self-attention è un meccanismo che permette ai modelli GPT e transformers di considerare l’intera sequenza di input e pesare dinamicamente l’importanza di ogni parte mentre elabora la sequenza. Questo li rende particolarmente efficaci per molti compiti di NLP.

ChatGPT -> GPT e transformers -> self-attention!