Choisir sa quantification GGUF

Un modèle est entraîné avec des poids en 16 bits. La quantification réduit chaque poids à 8, 5, 4, parfois 2 bits. Le fichier rétrécit d'autant, la mémoire nécessaire aussi, et le calcul devient plus rapide — car sur ces machines, c'est la bande passante mémoire qui limite, pas le processeur.

En contrepartie, le modèle perd en précision. Toute la question est de savoir jusqu'où on peut descendre sans que ça se voie.

• Le chiffre — Q4, Q5, Q8 : le nombre de bits par poids, en moyenne.
• La lettre K — quantification « par blocs » de nouvelle génération, meilleure à taille égale que les anciens formats. À privilégier.
• S / M / L — small, medium, large : à l'intérieur d'un même niveau, la variante M protège mieux les couches sensibles.
• Le préfixe I — importance matrix : la quantification est guidée par un jeu de données de calibration. Très efficace en dessous de 4 bits.

Deuxième règle, plus contre-intuitive : à budget mémoire égal, un modèle plus gros fortement quantifié bat généralement un modèle plus petit peu quantifié. Un 8B en Q4_K_M (≈ 4,7 Go) rend en général de meilleurs services qu'un 4B en Q8_0 (≈ 4,3 Go).

Cette règle a une limite : sous 3 bits, la dégradation devient sévère et le petit modèle reprend l'avantage.

Avec Ollama, l'étiquette suffit :

# Variante par défaut (souvent Q4_K_M)
ollama run qwen3:8b

# Variante explicite
ollama run qwen3:8b-q8_0

Avec llama.cpp, on récupère le fichier GGUF précis :

pip install -U "huggingface_hub[cli]"

# Un seul fichier, pas le dépôt entier
hf download unsloth/Qwen3-8B-GGUF Qwen3-8B-Q4_K_M.gguf \
  --local-dir ./modeles

ls -lh ./modeles

Les mesures de perplexité publiées ne disent rien de votre usage. Le test qui compte tient en dix minutes : constituez une vingtaine de questions représentatives de ce que vos utilisateurs demanderont, puis passez-les sur deux quantifications.

# Même question, deux variantes, comparaison à l'œil
for q in q4_K_M q8_0; do
  echo "=== $q ==="
  ollama run qwen3:8b-$q "Explique la photosynthèse à un enfant de 10 ans."
done

• Les modèles d'embedding : gardez-les en Q8_0 ou en 16 bits. Ils sont petits, et la précision des vecteurs conditionne directement la qualité de votre recherche documentaire.
• Les très petits modèles (moins de 2 Md) : ils encaissent mal la quantification agressive. Sur un 1B, restez à Q5 ou Q6 — l'économie en valeur absolue est de toute façon dérisoire.