LO ESENCIAL EN 30 SEGUNDOS

  • ZYFA ofrece kernels de atención causal en pasada hacia delante (prellenado), en FP8 y BF16, para el AMD Instinct MI355X, con dimensión de cabeza 128 y el formato de atención latente de DeepSeek-V2.
  • Con entradas capturadas de tres modelos, Zyphra comunica aceleraciones en FP8 de 1,16 a 1,76 veces frente a los kernels AITER predeterminados de AMD; en BF16 la mejora es mínima.
  • Zyphra afirma que su error en FP8 es entre un 62 % y un 78 % menor que el de AITER con dimensión 128; todas las cifras proceden de sus propias pruebas en un único nodo de ocho GPU.

Zyphra, empresa de IA de San Francisco que trabaja en gran medida con hardware de AMD, publicó el 5 de noviembre ZYFA, unos kernels de atención para las GPU AMD Instinct MI355X, con un informe técnico en arXiv y el código en GitHub. Según la cobertura del lanzamiento, el código se distribuye bajo licencia Apache 2.0. El nombre corresponde a Zyphra FlashAttention on AMD.

Qué cubren los kernels

ZYFA implementa la atención causal en la pasada hacia delante, es decir, la fase de prellenado de la inferencia, con precisión FP8 y BF16. Admite una dimensión de cabeza de 128 y el formato de atención latente multicabeza que usa DeepSeek-V2. Según Zyphra, ya funcionan en su nube de inferencia y sus despliegues locales. No cubren la decodificación, las cachés KV paginadas ni los lotes de longitud variable, que la empresa sitúa como trabajo futuro.

El problema de fondo: las unidades matriciales FP8 ofrecen cerca del doble de rendimiento máximo que BF16, pero el softmax, entre las dos multiplicaciones de matrices de la atención, no se acelera. Los autores señalan que los kernels AITER de AMD alcanzan el 39 % del pico FP8 con 32.000 tokens, frente al 49 % del pico en BF16. ZYFA combina tres técnicas: una forma más barata de calcular las probabilidades FP8 sin recurrir a la exponencial, una planificación en la que un grupo de hilos ejecuta el softmax mientras otro realiza las operaciones matriciales y un escalado por bloques en potencias de dos antes del redondeo.

Los resultados que reivindica

Con entradas de atención capturadas de Mistral-7B, Qwen3-8B y DeepSeek-V2-Lite a 16.000 tokens, Zyphra comunica en FP8 mejoras de 1,16, 1,17 y 1,76 veces, respectivamente, frente a los kernels AITER predeterminados. En BF16, la ganancia se queda en un 1 o 2 %. Con entradas sintéticas, las cifras suben a entre 1,26 y 1,37 veces con dimensión 128 y a 1,99 veces en el formato de DeepSeek. En precisión, Zyphra sostiene que su error en FP8 se acerca al de Composable Kernel de AMD y Triton, y es entre un 62 % y un 78 % inferior al de AITER.

Matices

Como apunta FourWeekMBA, el 1,76 es el mejor de los tres resultados con modelos reales; en pasadas completas del modelo, las mejoras medianas rondan 1,25 veces. Todas las cifras proceden de pruebas de Zyphra en un nodo de ocho GPU con ROCm 7.2.3 y AITER 0.1.19, y los autores advierten de que reflejan un momento concreto. También observan que la frecuencia sostenida del MI355X depende de los datos, por lo que las pruebas con entradas aleatorias pueden no reflejar el rendimiento real. FourWeekMBA no encontró pruebas independientes ni respuesta de AMD.