LO ESENCIAL EN 30 SEGUNDOS

  • Los endpoints en tiempo real de SageMaker AI que usan componentes de inferencia pueden dividir las GPU de las instancias P4d, P5, G7 y G7e en particiones MIG, hasta siete por A100 o H100.
  • La instancia se sigue cobrando completa; según AWS, la ventaja está en alojar más modelos en el hardware que ya se alquila.
  • En la prueba de AWS, una partición de H100 superó a una A100-40GB entera con Llama-3.1-8B-Instruct, pero solo salió más barata por token a partir de cierto nivel de concurrencia.

Amazon SageMaker AI permite ahora que los endpoints de inferencia en tiempo real dividan una GPU en varias porciones aisladas por hardware mediante la tecnología Multi-Instance GPU (MIG) de NVIDIA. AWS la anunció el 30 de octubre en su página What's New y la detalló el 6 de noviembre en una entrada técnica. Hasta ahora, una instancia no podía alojar más modelos que GPU tuviera, lo que a menudo dejaba sin usar capacidad ya pagada.

Cómo funciona

Según la documentación de NVIDIA, cada instancia MIG cuenta con su propia parte de memoria, de unidades de cómputo y de caché L2. En SageMaker, la opción abarca cuatro familias de instancias: P4d (A100, 40 GB) y P5 (H100, 80 GB), con hasta siete particiones por GPU, además de G7 (RTX PRO 4500 Blackwell, hasta dos) y G7e (RTX PRO 6000 Blackwell, hasta cuatro). Solo funciona en endpoints basados en componentes de inferencia. Se controla con dos campos opcionales: uno define la distribución de particiones en una variante de producción y el otro asigna cada modelo a un tipo de partición. Según AWS, no hace falta ninguna API nueva y las aplicaciones siguen llamando a los modelos por su nombre.

Está disponible en EE. UU. Este (Norte de Virginia y Ohio), EE. UU. Oeste (Oregón), Asia-Pacífico (Singapur y Tokio) y Europa (Fráncfort e Irlanda). La facturación no cambia: se paga la tarifa por hora de la instancia completa.

Qué midió AWS

AWS comparó una partición de H100 con el perfil 3g.40gb frente a una A100-40GB entera, ambas sirviendo Llama-3.1-8B-Instruct. Los autores indican entre un 53 % y un 89 % más de tokens generados por segundo, menor latencia en todos los escenarios y un coste por millón de tokens entre un 18 % y un 34 % inferior, aunque solo por encima de un umbral de concurrencia. Con peticiones de 100 tokens, ese umbral fue de 64 solicitudes simultáneas; por debajo, la A100 completa resultaba más barata. AWS subraya que los resultados dependen de cada carga de trabajo. Salesforce ayudó a definir los requisitos y prepara pruebas con cargas similares a las de producción.

Límites

La distribución de particiones queda fija al crear el endpoint: cambiarla obliga a crear otro y migrar el tráfico. Quedan excluidos los endpoints de un solo modelo, los serverless y los asíncronos, y ninguna partición abarca más de una GPU. El aislamiento cubre solo el cómputo y la memoria de la GPU, de modo que los modelos siguen compartiendo CPU, memoria, almacenamiento y red del host. Además, no se publican métricas de uso de GPU, CPU ni memoria, lo que puede dificultar la planificación de capacidad, según Unite.AI.