L'ESSENTIEL EN 30 SECONDES

  • ZYFA fournit des noyaux d'attention causale en passe avant (préremplissage), en FP8 et BF16, pour l'AMD Instinct MI355X, en dimension de tête 128 et au format d'attention latente de DeepSeek-V2.
  • Sur des entrées issues de trois modèles, Zyphra annonce en FP8 des accélérations de 1,16 à 1,76 fois par rapport aux noyaux AITER par défaut d'AMD ; le gain en BF16 est marginal.
  • Zyphra affirme que son erreur en FP8 est inférieure de 62 à 78 % à celle d'AITER en dimension 128 ; tous les chiffres proviennent de ses propres tests sur un seul nœud de huit GPU.

Zyphra, entreprise d'IA basée à San Francisco qui s'appuie largement sur le matériel d'AMD, a publié le 5 novembre ZYFA, un ensemble de noyaux d'attention pour les GPU AMD Instinct MI355X, accompagné d'un rapport technique sur arXiv et du code sur GitHub. Selon les articles consacrés à cette sortie, le code est diffusé sous licence Apache 2.0. Le nom signifie Zyphra FlashAttention on AMD.

Ce que couvrent les noyaux

ZYFA met en œuvre l'attention causale en passe avant, c'est-à-dire la phase de préremplissage de l'inférence, en précision FP8 et BF16. Il prend en charge une dimension de tête de 128 ainsi que le format d'attention latente multi-têtes utilisé par DeepSeek-V2. D'après Zyphra, ils équipent son propre cloud d'inférence et ses déploiements sur site. Le décodage, les caches KV paginés et les lots de longueur variable ne sont pas encore pris en charge ; l'entreprise les inscrit dans ses travaux à venir.

Le problème visé est le suivant : les unités matricielles FP8 offrent environ deux fois le débit maximal du BF16, mais l'étape de softmax, entre les deux multiplications matricielles de l'attention, n'en profite pas. Les auteurs relèvent que les noyaux AITER d'AMD atteignent 39 % du pic FP8 à 32 000 jetons, contre 49 % du pic en BF16. ZYFA repose sur trois idées : un calcul moins coûteux des probabilités FP8, sans exponentielle ; un ordonnancement où un groupe de fils exécute le softmax pendant qu'un autre enchaîne les opérations matricielles ; et une mise à l'échelle par blocs en puissances de deux avant l'arrondi.

Les résultats revendiqués

Sur des entrées d'attention capturées à partir de Mistral-7B, Qwen3-8B et DeepSeek-V2-Lite à 16 000 jetons, Zyphra annonce en FP8 des gains de 1,16, 1,17 et 1,76 fois par rapport aux noyaux AITER par défaut. En BF16, le gain plafonne à 1 ou 2 %. Avec des entrées synthétiques, les chiffres montent à 1,26 à 1,37 fois en dimension 128 et à 1,99 fois au format DeepSeek. Côté précision, Zyphra assure que son erreur FP8 est proche de celle de Composable Kernel (AMD) et de Triton, et inférieure de 62 à 78 % à celle d'AITER.

Points de vigilance

Comme le souligne FourWeekMBA, le chiffre de 1,76 fois est le meilleur des trois résultats sur modèles réels ; sur des passes avant complètes, les gains médians tournent autour de 1,25 fois. Toutes les mesures proviennent des tests de Zyphra sur un nœud de huit GPU, avec ROCm 7.2.3 et AITER 0.1.19, et les auteurs les présentent comme valables à un instant donné. Ils observent aussi que la fréquence soutenue du MI355X dépend des données traitées, si bien que des tests sur entrées aléatoires peuvent fausser l'estimation des performances réelles. FourWeekMBA n'a trouvé ni test indépendant ni réaction d'AMD.