L'ESSENTIEL EN 30 SECONDES

  • Les points de terminaison temps réel de SageMaker AI fondés sur des composants d'inférence peuvent découper les GPU des instances P4d, P5, G7 et G7e en partitions MIG, jusqu'à sept par A100 ou H100.
  • L'instance reste facturée en entier ; selon AWS, le bénéfice vient de la densité, c'est-à-dire du nombre de modèles hébergés sur le matériel déjà loué.
  • Dans le test d'AWS, une partition de H100 a dépassé un A100-40GB complet sur Llama-3.1-8B-Instruct, mais n'est revenue moins cher par jeton qu'au-delà d'un certain niveau de concurrence.

Amazon SageMaker AI permet désormais aux points de terminaison d'inférence temps réel de diviser un GPU en plusieurs tranches isolées au niveau matériel, grâce à la technologie Multi-Instance GPU (MIG) de NVIDIA. Annoncée le 30 octobre sur la page What's New d'AWS, la nouveauté a été détaillée le 6 novembre dans un billet technique. Jusqu'ici, une instance ne pouvait pas héberger plus de modèles que de GPU, ce qui laissait souvent de la capacité payée inutilisée.

Le fonctionnement

D'après la documentation de NVIDIA, chaque instance MIG dispose de sa propre part de mémoire, d'unités de calcul et de cache L2. Sur SageMaker, quatre familles d'instances sont concernées : P4d (A100, 40 Go) et P5 (H100, 80 Go), avec jusqu'à sept partitions par GPU, ainsi que G7 (RTX PRO 4500 Blackwell, deux au plus) et G7e (RTX PRO 6000 Blackwell, quatre au plus). L'option est réservée aux points de terminaison bâtis sur des composants d'inférence. Deux champs facultatifs la pilotent : l'un fixe la disposition des partitions sur une variante de production, l'autre affecte chaque modèle à un type de partition. Selon AWS, aucune nouvelle API n'est requise et les applications appellent toujours les modèles par leur nom.

Le service est proposé dans les régions USA Est (Virginie du Nord et Ohio), USA Ouest (Oregon), Asie-Pacifique (Singapour et Tokyo) et Europe (Francfort et Irlande). La facturation ne change pas : le tarif horaire de l'instance entière s'applique.

Ce qu'AWS a mesuré

AWS a comparé une partition de H100 au profil 3g.40gb à un A100-40GB complet, tous deux servant Llama-3.1-8B-Instruct. Les auteurs font état de 53 à 89 % de jetons générés par seconde en plus, d'une latence plus faible dans tous les scénarios et d'un coût par million de jetons inférieur de 18 à 34 %, mais seulement au-delà d'un seuil de concurrence. Pour des requêtes de 100 jetons, ce seuil était de 64 requêtes simultanées ; en dessous, l'A100 entier revenait moins cher. AWS insiste sur le fait que les résultats dépendent de la charge. Salesforce a contribué à définir le besoin et prépare des essais sur des charges proches de la production.

Les limites

La disposition des partitions est figée à la création du point de terminaison : la modifier impose d'en créer un nouveau et d'y migrer le trafic. Les points de terminaison à modèle unique, sans serveur ou asynchrones sont exclus, et aucune partition ne s'étend sur plusieurs GPU. L'isolation ne porte que sur le calcul et la mémoire du GPU : les modèles partagent toujours le processeur, la mémoire, le stockage et le réseau de l'hôte. Enfin, aucune métrique d'utilisation du GPU, du processeur ou de la mémoire n'est publiée, ce qui peut compliquer le dimensionnement, note Unite.AI.