Quel modèle pour quelle machine : dimensionner sa RAM
Étape 1 sur 6
Avant de commencer
- Savoir combien de RAM a votre machine
- Aucune connaissance en mathématiques au-delà de la multiplication
Le poids du modèle
Un modèle quantifié occupe, en gros, le nombre de paramètres multiplié par le nombre de bits par paramètre. En Q4_K_M — la quantification par défaut, environ 4,8 bits par poids — cela donne un repère simple :
La règle des 0,6Environ 0,6 Go par milliard de paramètres en Q4_K_M. Un modèle 4B pèse environ 2,5 Go, un 8B environ 4,7 Go, un 14B environ 8,5 Go.
Ce chiffre est celui du fichier sur le disque, et c'est aussi, à peu de chose près, ce qu'il occupera en mémoire une fois chargé.