Choisir sa quantification GGUF
Étape 6 sur 7
Vérifier la dégradation vous-même
Les mesures de perplexité publiées ne disent rien de votre usage. Le test qui compte tient en dix minutes : constituez une vingtaine de questions représentatives de ce que vos utilisateurs demanderont, puis passez-les sur deux quantifications.
shell
# Même question, deux variantes, comparaison à l'œil
for q in q4_K_M q8_0; do
echo "=== $q ==="
ollama run qwen3:8b-$q "Explique la photosynthèse à un enfant de 10 ans."
done
Ce que vous cherchezPas une réponse « meilleure » — les deux seront plausibles. Cherchez les erreurs factuelles, les répétitions, les phrases qui partent en boucle et les glissements vers l'anglais. Ce sont les premiers symptômes d'une quantification trop agressive.