Choisir sa quantification GGUF
Étape 4 sur 7
La règle SATI
Par défaut : Q4_K_MC'est le point où la courbe qualité/taille se casse. Au-dessus, on paie beaucoup de mémoire pour un gain marginal ; en dessous, la dégradation devient perceptible. Ne partez ailleurs que si vous avez une raison mesurée de le faire.
Deuxième règle, plus contre-intuitive : à budget mémoire égal, un modèle plus gros fortement quantifié bat généralement un modèle plus petit peu quantifié. Un 8B en Q4_K_M (≈ 4,7 Go) rend en général de meilleurs services qu'un 4B en Q8_0 (≈ 4,3 Go).
Cette règle a une limite : sous 3 bits, la dégradation devient sévère et le petit modèle reprend l'avantage.