L'ESSENTIEL EN 30 SECONDES

  • Un billet de Microsoft Foundry daté du 5 novembre montre Foundry Local servir Qwen3.8-27B via ONNX Runtime, relié à GitHub Copilot grâce à l’option Bring Your Own Key.
  • Avec des poids en 4 bits, le modèle occupe environ 18 Go et tient sur un seul GPU NVIDIA de 24 Go, avec jusqu’à 64 000 jetons de contexte, ou 262 000 sur les cartes de 32 Go.
  • Les scores cités, 73,0 sur Terminal Bench 2.1 et 61,7 sur SWE-bench Pro, sont les évaluations publiées par Alibaba en août, non des résultats indépendants.

L’équipe Foundry de Microsoft a montré comment exécuter le modèle de code Qwen3.8-27B d’Alibaba entièrement sur l’ordinateur d’un développeur et le brancher sur GitHub Copilot. Dans un billet daté du 5 novembre, Baiju Meswani, Emma Ning et Tianlei Wu décrivent Foundry Local, le moteur d’inférence local de Microsoft, servant le modèle via ONNX Runtime, d’après les comptes rendus d’AI Weekly et de daily.dev. Le code reste ainsi sur la machine, sans frais d’API au jeton.

Comment ça marche

Copilot s’y connecte grâce à sa fonction Bring Your Own Key, qui permet de choisir son propre fournisseur de modèle. Le développeur installe l’outil en ligne de commande Foundry Local (version 0.13.0 ou ultérieure), charge le modèle, récupère l’adresse de l’API locale, puis sélectionne Foundry Local et Qwen3.8-27B dans le sélecteur de modèles de Copilot. Les environnements CUDA et cuDNN doivent être installés à part. Selon Complete AI Training, la version actuelle vise les GPU NVIDIA sous Windows, avec une installation via WinGet.

La quantification des poids sur 4 bits ramène le modèle à environ 18 Go : il faut donc au minimum un GPU NVIDIA doté de 24 Go de mémoire. Le contexte atteint 64 000 jetons sur ces cartes et jusqu’au maximum du modèle, 262 000, sur les GPU de 32 Go ou plus. L’équipe Foundry énumère les optimisations en jeu : décodage spéculatif DFlash, quantification du cache KV, mise en cache des préfixes pour les requêtes simultanées, fusion de graphes CUDA et déport partiel sur le processeur. Selon Microsoft, sur une RTX 5090 et un DGX Spark, Foundry Local générait plus vite que llama.cpp à toutes les longueurs de requête, surtout au-delà de 131 000 jetons ; les débits exacts ne figurent pas dans les articles consultés.

Ce que valent les scores

Les chiffres mis en avant, 73,0 sur Terminal Bench 2.1 et 61,7 sur SWE-bench Pro, sont ceux qu’Alibaba a publiés à la sortie de Qwen3.8-27B sous licence Apache 2.0, mi-août. DataNorth rappelle qu’il s’agit d’évaluations du fournisseur, réalisées dans l’environnement Claude Code, et qu’Alibaba a modifié certaines tâches de SWE-bench Pro : elles ne sont donc pas directement comparables à d’autres classements. Elles portent en outre sur le modèle complet, pas forcément sur la version 4 bits exécutée en local.

Un modèle local de 27 milliards de paramètres raisonne moins bien que les meilleurs modèles du cloud, et Microsoft l’inscrit dans un flux de travail hybride. La prise en charge des Mac et des GPU AMD, d’autres modèles de code locaux et une intégration plus poussée à Copilot figurent sur la feuille de route, sans calendrier. Nous n’avons pas pu consulter directement le billet original de Microsoft ; les détails ci-dessus sont ceux rapportés par les médias cités.