Aller au contenu

Le tableau de correspondance

En appliquant le calcul, voici ce qui tient réellement, sur un système Linux sans interface graphique, avec un contexte de 4 096 tokens :

RAM de la machineModèle maximum en Q4_K_MExemples
2 Go~1 Md de paramètresQwen3 0.6B, Llama 3.2 1B
4 Go~3 Md de paramètresLlama 3.2 3B, Qwen3 1.7B
8 Go~8 Md de paramètresQwen3 8B, Mistral 7B
16 Go~14 Md de paramètresQwen3 14B, Gemma 3 12B
32 Go~30 Md de paramètresModèles de grande taille quantifiés

Ajoutez une interface graphique ou un navigateur et vous descendez d'une ligne. C'est aussi simple que cela.