Synthèse
C'est là que la plupart des gens se plantent, en chargeant un modèle trop gros et en concluant que "ça rame". Sur Mac, la RAM est unifiée, donc le modèle mange directement dans la mémoire que se partagent le CPU et le GPU. Les paliers recommandés par le projet : RAMModèle conseillé8 à 23 Go`qwen3.5-4b-4bit`24 à 47 Go`gpt-oss-20b-mxfp4-q8`48 à 95 Go`qwen3.6-35b-8bit`96 Go et plus`gpt-oss-120b-mxfp4-q8` Le catalogue complet se liste avec la commande rapid-mlx models, et rapid-mlx info vous
C'est là que la plupart des gens se plantent, en chargeant un modèle trop gros et en concluant que "ça rame". Sur Mac, la RAM est unifiée, donc le modèle mange directement dans la mémoire que se partagent le CPU et le GPU. Les paliers recommandés par le projet : RAMModèle conseillé8 à 23 Go`qwen3. 5-4b-4bit`24 à 47 Go`gpt-oss-20b-mxfp4-q8`48 à 95 Go`qwen3. 6-35b-8bit`96 Go et plus`gpt-oss-120b-mxfp4-q8` Le catalogue complet se liste avec la commande rapid-mlx models, et rapid-mlx info vous donne le profil détaillé d'un modèle.
Si vous voulez sortir du catalogue maison, le filtre matériel de Hugging Face que je vous montrais fin juin fait exactement ce tri à votre place. Pour utiliser un autre modèle que celui par défaut, il suffit de reprendre l'alias affiché par rapid-mlx models et de le passer en argument. Et si vous préférez télécharger les poids à l'avance, sans rien lancer, c'est le boulot de rapid-mlx pull, qui accepte aussi bien un alias du catalogue qu'un identifiant Hugging Face : Le modèle atterrit dans le cache Hugging Face de votre machine, et ensuite rapid-mlx chat qwen3. 5-9b-4bit ou rapid-mlx serve qwen3. 5-9b-4bit chargeront ce modèle-là.
Le pull préalable reste facultatif, chat et serve téléchargent d'eux-mêmes ce qui manque, mais autant rapatrier les gigas tranquillement avant plutôt qu'au moment où vous voulez bosser.
Source originale
korben.info