Este conteúdo ainda está em francês
A página está traduzida, mas o conteúdo detalhado ainda não. As fichas, os guias e os catálogos continuam em francês: preferimos mostrar-lhe o original a uma tradução automática aproximada. Ver o site em francês
Choisir sa quantification GGUF
Étape 4 sur 7
La règle SATI
Par défaut : Q4_K_MC'est le point où la courbe qualité/taille se casse. Au-dessus, on paie beaucoup de mémoire pour un gain marginal ; en dessous, la dégradation devient perceptible. Ne partez ailleurs que si vous avez une raison mesurée de le faire.
Deuxième règle, plus contre-intuitive : à budget mémoire égal, un modèle plus gros fortement quantifié bat généralement un modèle plus petit peu quantifié. Un 8B en Q4_K_M (≈ 4,7 Go) rend en général de meilleurs services qu'un 4B en Q8_0 (≈ 4,3 Go).
Cette règle a une limite : sous 3 bits, la dégradation devient sévère et le petit modèle reprend l'avantage.