Skip to content

This content is still in French

The page itself is translated, but its detailed content is not yet. Hardware sheets, guides and catalogues are still shown in French: we would rather give you the original than a rough machine translation. View the French site

Régler la latence

Sur un Raspberry Pi 5, comptez environ : deux à quatre secondes de transcription, une à deux secondes avant le premier mot du modèle, moins d'une seconde de synthèse. Le total reste sous les dix secondes, ce qui est acceptable pour un dialogue posé.

  • Passer whisper de small à base divise la transcription par deux, au prix de quelques erreurs.
  • Contraindre la réponse à deux phrases dans le prompt réduit fortement le temps de génération.
  • Découper la réponse en phrases et lancer la synthèse au fil de l'eau donne l'impression d'une réaction immédiate.
  • Garder le modèle chargé (OLLAMA_KEEP_ALIVE) évite plusieurs secondes de rechargement à chaque tour.