L'ESSENTIEL EN 30 SECONDES

  • Prime Mega MoE complète le noyau Mega MoE de DeepSeek, issu de la collection DeepGEMM et limité à la passe avant, par une passe arrière qui superpose communication et calcul.
  • Prime Intellect annonce des noyaux MoE jusqu'à 3,11 fois plus rapides que l'implémentation PyTorch par défaut et un entraînement complet jusqu'à 1,34 fois plus rapide sur des nœuds 8×H200.
  • Ces gains sont des maxima obtenus sur des configurations Qwen3 précises, et le billet ne mentionne aucune licence pour le nouveau code.

Le laboratoire d'IA Prime Intellect a publié le 29 octobre un nouveau noyau GPU consacré à l'une des parties les plus coûteuses des grands modèles de langage actuels : les couches à mélange d'experts (MoE), où chaque jeton est aiguillé vers quelques sous-réseaux spécialisés.

Ce qui a été publié

Le travail s'appuie sur Mega MoE, un noyau fusionné que DeepSeek a diffusé dans sa collection open source DeepGEMM. Un noyau fusionné enchaîne plusieurs étapes en un seul appel au GPU : ici, il répartit les jetons entre les experts, exécute leur calcul et combine les résultats, sans allers-retours entre le GPU et le processeur. La version de DeepSeek ne comportait que la passe avant, suffisante pour l'inférence mais pas pour l'entraînement.

Prime Intellect dit avoir ajouté une passe arrière qui fait se chevaucher les échanges entre GPU et les calculs, ce qui rend le noyau utilisable pour entraîner des modèles. Il prend en charge le bfloat16, le MXFP8 sur les GPU Blackwell de Nvidia et le FP8 par blocs sur les GPU Hopper.

Les gains annoncés

Selon les mesures de l'entreprise, réalisées sur des nœuds de huit GPU H200, les noyaux MoE sont jusqu'à 3,11 fois plus rapides que l'implémentation par défaut fondée sur PyTorch. En entraînement complet dans son cadre Prime-RL, le débit a progressé jusqu'à 34 %. Les tests portaient sur Qwen3-30B-A3B sur quatre nœuds et Qwen3-235B-A22B sur seize nœuds, en FP8 avec des séquences de 16 384 jetons. Une comparaison avec TorchTitan n'apparaît que sous forme de graphique, sans chiffres dans le texte.

Limites

Il s'agit de résultats maximaux obtenus sur les configurations de Prime Intellect ; les gains varieront selon la forme du modèle, le routage et le matériel. Chacun des deux formats FP8 ne fonctionne que sur une génération de GPU. Le billet renvoie au dépôt DeepGEMM de DeepSeek mais ne mentionne ni licence ni dépôt distinct pour la passe arrière de Prime : les développeurs devront vérifier les conditions de diffusion du code avant de l'adopter.

Pourquoi c'est important

Les grands modèles ouverts recourent de plus en plus aux architectures MoE pour limiter le coût d'inférence, mais leur entraînement efficace sur de nombreux GPU reste difficile. Les outils qui permettent à des laboratoires plus modestes d'entraîner ces modèles plus vite, en s'appuyant sur des briques publiées par d'autres, contribuent à ce que l'écosystème ouvert suive le rythme des grands groupes.