本文へ移動

この内容はまだフランス語です

ページ自体は翻訳済みですが、詳細な内容はまだです。機器の解説、ガイド、カタログはフランス語のまま表示されます。粗い機械翻訳よりも原文をお見せするほうがよいと考えました。 フランス語版を見る

Avant de commencer
  • Savoir combien de RAM a votre machine
  • Aucune connaissance en mathématiques au-delà de la multiplication

Le poids du modèle

Un modèle quantifié occupe, en gros, le nombre de paramètres multiplié par le nombre de bits par paramètre. En Q4_K_M — la quantification par défaut, environ 4,8 bits par poids — cela donne un repère simple :

La règle des 0,6Environ 0,6 Go par milliard de paramètres en Q4_K_M. Un modèle 4B pèse environ 2,5 Go, un 8B environ 4,7 Go, un 14B environ 8,5 Go.

Ce chiffre est celui du fichier sur le disque, et c'est aussi, à peu de chose près, ce qu'il occupera en mémoire une fois chargé.