LO ESENCIAL EN 30 SEGUNDOS

  • Prime Mega MoE amplía el kernel Mega MoE de DeepSeek, de la colección DeepGEMM y limitado al paso hacia delante, con un paso hacia atrás que solapa comunicación y cálculo.
  • Prime Intellect informa de kernels MoE hasta 3,11 veces más rápidos que la implementación por defecto de PyTorch y de un entrenamiento completo hasta 1,34 veces más rápido en nodos 8×H200.
  • Las cifras son máximos obtenidos en configuraciones concretas de Qwen3, y la publicación no indica licencia para el nuevo código.

El laboratorio de IA Prime Intellect publicó el 29 de octubre un nuevo kernel de GPU dirigido a una de las partes más costosas de los modelos de lenguaje actuales: las capas de mezcla de expertos (MoE), en las que cada token se envía a unas pocas subredes especializadas.

Qué se ha publicado

El trabajo parte de Mega MoE, un kernel fusionado que DeepSeek difundió en su colección de código abierto DeepGEMM. Un kernel fusionado ejecuta varios pasos en una sola llamada a la GPU: en este caso, reparte los tokens entre los expertos, realiza su cálculo y combina los resultados sin idas y vueltas entre la GPU y la CPU. La versión de DeepSeek solo implementaba el paso hacia delante, suficiente para la inferencia pero no para el entrenamiento.

Prime Intellect dice haber añadido un paso hacia atrás que solapa la comunicación entre GPU con el cálculo, de modo que el kernel ya puede usarse para entrenar modelos. Admite bfloat16, MXFP8 en las GPU Blackwell de Nvidia y FP8 por bloques en las GPU Hopper.

Las mejoras declaradas

Según las pruebas de la empresa, realizadas en nodos de ocho GPU H200, los kernels MoE son hasta 3,11 veces más rápidos que la implementación por defecto basada en PyTorch. En entrenamientos completos dentro de su marco Prime-RL, el rendimiento aumentó hasta un 34 %. Las pruebas usaron Qwen3-30B-A3B en cuatro nodos y Qwen3-235B-A22B en dieciséis, en FP8 y con secuencias de 16.384 tokens. Una comparación con TorchTitan solo aparece en un gráfico, sin cifras en el texto.

Límites

Son resultados máximos obtenidos en las configuraciones de Prime Intellect, y las mejoras variarán según la forma del modelo, el enrutamiento y el hardware. Cada uno de los dos formatos FP8 funciona en una sola generación de GPU. La publicación enlaza al repositorio DeepGEMM de DeepSeek, pero no menciona licencia ni un repositorio propio para el paso hacia atrás de Prime, así que los desarrolladores tendrán que comprobar cómo se distribuye el código antes de adoptarlo.

Por qué importa

Los grandes modelos abiertos recurren cada vez más a diseños MoE para abaratar la inferencia, pero entrenarlos con eficiencia en muchas GPU sigue siendo complicado. Las herramientas que permiten a laboratorios más pequeños entrenar estos modelos más rápido, apoyándose en piezas publicadas por otros, ayudan a que el ecosistema abierto no se quede atrás frente a las grandes empresas.