Meta a publié Muse Spark Open, un nouveau modèle de langage disponible sur Hugging Face sous le nom Muse-Spark-Open-816B-A42B. La nomenclature indique une architecture à mélange d'experts (mixture-of-experts) comptant 816 milliards de paramètres au total, dont seulement 42 milliards sont activés à chaque inférence. Cette approche, déjà utilisée par plusieurs laboratoires pour réduire le coût de calcul tout en conservant une grande capacité du modèle, permet d'obtenir des performances proches d'un modèle dense bien plus lourd, pour une fraction du coût d'exécution.
Le point notable de cette sortie concerne son positionnement matériel. Selon 9to5Mac, Meta présente Muse Spark Open comme spécifiquement optimisé pour fonctionner sur Mac Studio, la station de travail d'Apple dotée d'une mémoire unifiée pouvant atteindre plusieurs centaines de gigaoctets. Un tel choix s'explique par l'architecture MoE elle-même : seule une fraction des paramètres étant activée à chaque passage, la bande passante mémoire devient le facteur limitant plutôt que la puissance de calcul brute, ce qui correspond bien aux caractéristiques de la puce Apple Silicon et de sa mémoire partagée à haut débit.
Cette orientation marque une inflexion intéressante dans la stratégie de diffusion des modèles ouverts de Meta. Jusqu'ici, les versions open-weight de la famille Llama visaient surtout les infrastructures cloud équipées de GPU Nvidia. En ciblant explicitement du matériel grand public haut de gamme, Meta semble chercher à élargir l'inférence locale à des machines de bureau puissantes, sans nécessiter de cluster GPU dédié. Pour les développeurs et chercheurs disposant d'un Mac Studio, cela ouvre la possibilité de faire tourner un modèle de très grande taille sans dépendre d'une API ou d'un service cloud.
La publication s'accompagne d'un billet de blog technique sur le site de développeurs de Meta, mais les détails précis sur les benchmarks, le contexte de pré-entraînement ou les cas d'usage visés restent encore à préciser. Il faudra attendre les premiers tests indépendants de la communauté pour évaluer si les performances annoncées sur Mac Studio tiennent leurs promesses face aux solutions GPU classiques, notamment en termes de vitesse de génération et de latence.