LO ESENCIAL EN 30 SEGUNDOS

  • Una publicación de Microsoft Foundry fechada el 5 de noviembre muestra Foundry Local sirviendo Qwen3.8-27B con ONNX Runtime, conectado a GitHub Copilot mediante la opción Bring Your Own Key.
  • Con pesos de 4 bits el modelo ocupa unos 18 GB y cabe en una sola GPU NVIDIA de 24 GB, con hasta 64.000 tokens de contexto, o 262.000 en tarjetas de 32 GB.
  • Las puntuaciones citadas, 73,0 en Terminal Bench 2.1 y 61,7 en SWE-bench Pro, son evaluaciones propias que Alibaba publicó en agosto, no resultados independientes.

El equipo Foundry de Microsoft ha mostrado cómo ejecutar el modelo de programación Qwen3.8-27B de Alibaba íntegramente en el ordenador de un desarrollador y conectarlo a GitHub Copilot. En una publicación fechada el 5 de noviembre, Baiju Meswani, Emma Ning y Tianlei Wu describen Foundry Local, el motor de inferencia local de Microsoft, sirviendo el modelo a través de ONNX Runtime, según recogen AI Weekly y daily.dev. Así, el código no sale de la máquina y no hay cargos de API por token.

Cómo funciona

Copilot se conecta mediante su función Bring Your Own Key, que permite elegir el proveedor de modelos. El desarrollador instala la herramienta de línea de comandos Foundry Local (versión 0.13.0 o posterior), carga el modelo, obtiene la dirección de la API local y después elige Foundry Local y Qwen3.8-27B en el selector de modelos de Copilot. Los entornos CUDA y cuDNN deben instalarse por separado. Según Complete AI Training, la versión actual está pensada para GPU NVIDIA en Windows, con instalación mediante WinGet.

Cuantizar los pesos a 4 bits deja el modelo en unos 18 GB, de modo que el mínimo es una GPU NVIDIA con 24 GB de memoria. El contexto llega a 64.000 tokens en esas tarjetas y hasta el máximo del modelo, 262.000, en GPU de 32 GB o más. El equipo de Foundry enumera las optimizaciones empleadas: decodificación especulativa DFlash, cuantización de la caché KV, caché de prefijos para peticiones simultáneas, fusiones de grafos CUDA y descarga parcial en la CPU. Según Microsoft, en pruebas con una RTX 5090 y un DGX Spark, Foundry Local generó más rápido que llama.cpp con todas las longitudes de entrada, sobre todo por encima de 131.000 tokens; las cifras exactas no aparecen en la cobertura consultada.

Qué significan las puntuaciones

Las cifras destacadas, 73,0 en Terminal Bench 2.1 y 61,7 en SWE-bench Pro, son las que Alibaba publicó al lanzar Qwen3.8-27B con licencia Apache 2.0 a mediados de agosto. DataNorth recuerda que son evaluaciones del propio fabricante, realizadas con el entorno de Claude Code, y que Alibaba modificó algunas tareas de SWE-bench Pro, por lo que no son directamente comparables con otras clasificaciones. Además, corresponden al modelo completo y no necesariamente a la versión de 4 bits que se ejecuta en local.

Un modelo local de 27.000 millones de parámetros razona peor que los mejores modelos en la nube, y Microsoft lo plantea dentro de un flujo de trabajo híbrido. El soporte para Mac y GPU AMD, más modelos locales de programación y una integración más profunda con Copilot figuran en la hoja de ruta, sin fechas. No pudimos abrir la publicación original de Microsoft; los detalles proceden de los medios citados.