Cerebras a publié un billet technique détaillant la manière dont son infrastructure matérielle permet de déployer des modèles de langage comptant plus de mille milliards de paramètres. L'entreprise, connue pour ses puces à l'échelle d'une plaquette de silicium entière (wafer-scale engine), y décrit les choix d'architecture qui distinguent son approche des accélérateurs GPU classiques utilisés par la majorité des fournisseurs d'inférence.
Le cœur du système repose sur une séparation entre le calcul, effectué sur le wafer, et le stockage des poids du modèle, hébergé dans des unités mémoire externes appelées MemoryX, reliées par un réseau de communication dédié (SwarmX). Cette architecture dite de streaming de poids permet en théorie de faire évoluer la taille des modèles sans être limité par la mémoire embarquée sur chaque puce, un goulot d'étranglement classique pour les architectures GPU lorsqu'il s'agit de modèles de très grande taille ou de mixtures d'experts (MoE).
Cerebras met en avant des gains de latence et de débit pour l'inférence de modèles frontières, un argument commercial central face à des concurrents comme Nvidia, Groq ou SambaNova, qui se disputent le marché de l'inférence à haute vitesse. L'entreprise ne précise pas dans ce billet quel modèle spécifique dépassant mille milliards de paramètres est concerné, suggérant plutôt une démonstration de capacité technique applicable à de futurs modèles de cette taille, qu'ils soient denses ou construits sur une architecture de type mixture d'experts.
Ce type d'annonce s'inscrit dans une tendance plus large du secteur, où la course porte désormais autant sur l'infrastructure d'inférence que sur l'entraînement des modèles. À mesure que les laboratoires d'IA publient des modèles de plus en plus volumineux, souvent construits en mixture d'experts pour limiter le coût de calcul actif, la capacité à les servir rapidement et à grande échelle devient un facteur de différenciation commercial. Le discours de Cerebras, centré sur l'architecture matérielle plutôt que sur un modèle précis, doit néanmoins être relativisé : il s'agit d'une communication d'entreprise qui vante ses propres capacités techniques sans comparaison indépendante vérifiée.