This content is still in French
The page itself is translated, but its detailed content is not yet. Hardware sheets, guides and catalogues are still shown in French: we would rather give you the original than a rough machine translation. View the French site
Guide 9 sur 12
Mesurer avant d'optimiser
Trois chiffres suffisent à piloter un déploiement : traitement du prompt, vitesse de génération, watts à la prise. Voici comment les obtenir et ce qu'ils changent.
Démarrer le pas à pas 6 étapes · 1 heure · une étape à l'écran, avec Précédent / Suivant
- llama.cpp compilé, ou au minimum Ollama installé
- Un wattmètre de prise (environ 15 €) pour la partie énergie
Les trois chiffres
| Chiffre | Ce qu'il mesure | Ce qu'il détermine |
|---|---|---|
| pp — prompt eval (tok/s) | Vitesse de lecture de la question et du contexte | Le délai avant le premier mot |
| tg — text generation (tok/s) | Vitesse de production de la réponse | Le confort de lecture |
| W — watts à la prise | Consommation réelle en charge | Le coût, l'autonomie, l'argument écologique |
Mesurer avec llama-bench
cd llama.cpp
# Mesure de référence
./build/bin/llama-bench -m ../modeles/Qwen3-4B-Q4_K_M.gguf
# Comparer plusieurs nombres de threads
./build/bin/llama-bench -m ../modeles/Qwen3-4B-Q4_K_M.gguf -t 2,4,6,8
# Comparer deux quantifications du même modèle
./build/bin/llama-bench -m ../modeles/Qwen3-4B-Q4_K_M.gguf \
-m ../modeles/Qwen3-4B-Q8_0.gguf
Chaque mesure est répétée et l'écart-type est affiché. Une variation supérieure à 10 % entre deux passages signale presque toujours un bridage thermique : laissez la machine refroidir et recommencez.
Le nombre de threads
Le réflexe est de tout donner au moteur. C'est souvent contre-productif.
- Sur un processeur homogène (Raspberry Pi, N100), le nombre de cœurs physiques est le bon réglage.
- Sur un processeur hétérogène (RK3588, puces mobiles), n'utilisez que les cœurs performants : les petits cœurs ralentissent la synchronisation.
- Laisser un cœur libre améliore la réactivité générale du système quand la machine fait autre chose.
- L'hyperthreading n'aide généralement pas : la limite est la bande passante mémoire, pas le calcul.
Ce qui fait vraiment bouger l'aiguille
| Levier | Gain typique | Coût |
|---|---|---|
| Passer d'un modèle 8B à un 4B | × 2 à × 2,5 | Réponses moins fines |
| Q8_0 vers Q4_K_M | × 1,5 à × 2 | Perte de qualité modeste |
| Compiler avec GGML_NATIVE | + 20 à 40 % | Une heure de mise en place |
| RAM en double canal | + 30 à 80 % | Une barrette supplémentaire |
| Bon refroidissement | + 10 à 30 % | Un dissipateur |
| Réduire le contexte | Mémoire libérée | Historique plus court |
| Ajouter des threads au-delà des cœurs | Nul ou négatif | — |
Mesurer la consommation
Un wattmètre de prise à 15 € vaut tous les tableaux comparatifs. Le protocole tient en quatre mesures.
- Machine éteinte, alimentation branchée : la consommation résiduelle.
- Machine allumée, au repos : c'est ce qu'elle coûte 90 % du temps.
- Pendant une génération continue de deux minutes : le pic réel.
- Sur une séance complète d'une heure : le seul chiffre honnête à communiquer.
# Énergie par requête
# Wh = (watts en charge) × (durée de la réponse en secondes) / 3600
# Exemple : 8 W pendant 12 s
# 8 × 12 / 3600 = 0,027 Wh par réponse
# soit environ 37 000 réponses pour 1 kWh
Consigner les mesures
Un déploiement se pilote sur des chiffres datés. Tenez un tableau, même rudimentaire — il vous évitera de refaire trois fois les mêmes essais.
date | machine | modèle | quantif | threads | pp t/s | tg t/s | W repos | W charge
-----|---------|--------|---------|---------|--------|--------|---------|----------
03/09 | Pi 5 8G | qwen3 | Q4_K_M | 4 | 42 | 5,1 | 3,2 | 8,4
← Guide précédent
Dictée et lecture à voix haute, sans connexion
La chaîne vocale complète — micro, transcription, modèle, synthèse — sur une machine à quelques watts. C'est ce qui rend l'outil accessible à ceux qui ne lisent pas encore, ou plus.
Guide suivant →
Monter une borne SATI autonome
Une machine qu'on branche et qui marche : démarrage direct sur l'interface, système qui encaisse les coupures de courant, aucune donnée personnelle conservée, image duplicable sur tout un parc.