Aller au contenu
Mesurer avant d'optimiser Étape 2 sur 6

Mesurer avec llama-bench

shell
cd llama.cpp

# Mesure de référence
./build/bin/llama-bench -m ../modeles/Qwen3-4B-Q4_K_M.gguf

# Comparer plusieurs nombres de threads
./build/bin/llama-bench -m ../modeles/Qwen3-4B-Q4_K_M.gguf -t 2,4,6,8

# Comparer deux quantifications du même modèle
./build/bin/llama-bench -m ../modeles/Qwen3-4B-Q4_K_M.gguf \
                        -m ../modeles/Qwen3-4B-Q8_0.gguf

Chaque mesure est répétée et l'écart-type est affiché. Une variation supérieure à 10 % entre deux passages signale presque toujours un bridage thermique : laissez la machine refroidir et recommencez.