Choisir sa quantification GGUF
Étape 3 sur 7
Le tableau de décision
| Variante | Taille relative | Perte de qualité | Quand la choisir |
|---|---|---|---|
| Q8_0 | × 2,1 | Négligeable | Modèles d'embedding, petits modèles où la place ne manque pas |
| Q6_K | × 1,6 | Très faible | Quand il reste de la marge mémoire et qu'on veut le maximum |
| Q5_K_M | × 1,3 | Faible | Bon compromis si la RAM le permet |
| Q4_K_M | × 1,0 (référence) | Acceptable | Le choix par défaut, dans la quasi-totalité des cas |
| IQ4_XS | × 0,9 | Acceptable | Quand il manque quelques centaines de Mo pour tenir |
| Q3_K_M | × 0,8 | Visible | Dernier recours pour faire entrer un modèle plus gros |
| Q2_K | × 0,6 | Importante | Curiosité technique, rarement utilisable en production |