Inferenza degli LLM
Quando fai una domanda a un assistente come ChatGPT o Claude, da qualche parte una scheda grafica esegue miliardi di calcoli per scriverti la risposta, una parola alla volta. Questo corso spiega, partendo da zero, come funziona quel processo, perché è lento e costoso e quali tecniche usano gli ingegneri per renderlo veloce ed economico.
A chi è rivolto
A chiunque voglia capire che cosa succede «dietro» un modello linguistico: sviluppatori, studenti, product manager, ingegneri che devono mettere in produzione un LLM, o semplici curiosi. Non diamo nulla per scontato: ogni sigla viene sciolta la prima volta che compare, ogni concetto viene spiegato prima di essere usato, e ogni numero viene ricavato passo per passo.
1 · Capire il modello
Che cosa sono token, pesi e strati, e quali calcoli fa un LLM per produrre una parola.
2 · Capire la macchina
Come è fatta una GPU e perché, per generare testo, conta più la velocità della memoria che quella di calcolo.
3 · Servire bene
KV cache, batching, gestione della memoria, kernel veloci, quantizzazione e decodifica speculativa.
4 · Scalare
Più GPU, motori di inferenza, misure corrette, autoscaling e costi per milione di token.
La mappa del corso
Prerequisiti
Necessari
- Aver usato almeno una volta un assistente basato su LLM.
- Aritmetica di base: moltiplicazioni, divisioni, percentuali, potenze di 2.
Utili ma non indispensabili
- Saper leggere un po' di Python, per gli esempi di codice.
- Un'idea generica di cos'è una rete neurale. Se non ce l'hai, il Modulo 1 ti dà tutto quello che serve.