Baseten lance Grid, une passerelle qui répartit les requêtes des agents de code entre modèles pour réduire les coûts

Baseten, entreprise de San Francisco surtout connue pour héberger et servir des modèles d'IA, s'attaque à la couche de pilotage du développement logiciel en entreprise. Le 4 novembre, elle a ouvert en préversion Grid, un produit placé entre les agents de code d'une société et les modèles qu'ils sollicitent, qui combine routage des requêtes, passerelle de gouvernance et garde-fous de sécurité. L'accès anticipé passe par une liste d'attente.

Un routage fondé sur le coût par tâche

Le composant central, appelé Baseten Router dans la presse, évalue chaque requête au regard des modèles ouverts et propriétaires approuvés par l'organisation, en mettant en balance la performance attendue et le coût. Baseten affirme ne pas s'en tenir au prix des tokens : le calcul intègre aussi le coût des nouvelles tentatives, des appels d'outils ratés et des réponses incomplètes. Les équipes peuvent privilégier le coût, la puissance ou un équilibre des deux, et partager leurs traces pour entraîner des routeurs adaptés à leurs propres charges.

D'après Baseten, ses premiers tests ont montré un coût par tâche inférieur de près de 70 % à celui de Claude Opus 5.5, pour un recul de qualité de 0,9 point de pourcentage. L'entreprise prévient elle-même que les économies dépendent du profil de charge et de l'arbitrage choisi. Les tâches et la méthodologie n'ont pas été rendues publiques, et certains titres évoquant 72 % ne correspondent pas aux déclarations de Baseten.

Passerelle, garde-fous et intégrations

Les équipes plateforme peuvent approuver des modèles, ouvrir des accès par équipe, fixer des budgets, utiliser des identifiants gérés par l'entreprise et suivre les dépenses par équipe, application et agent. Au lancement, Grid prend en charge les modèles d'OpenAI, d'Anthropic, de la Gemini Enterprise Agent Platform de Google, d'Amazon Bedrock et de Baseten. Claude Code, Codex, OpenCode et Pi se connectent en une seule commande, et les applications internes reposant sur les API d'Anthropic ou d'OpenAI basculent en changeant l'URL de base et l'identifiant du modèle. Des règles de sécurité s'appliquent aux requêtes et aux réponses, contre des risques comme les documents porteurs d'instructions cachées ou la fuite de données clients.

Ce qui manque encore

Baseten n'a pas communiqué de tarif. Plusieurs fonctions annoncées, comme la délégation de tâches longues à des agents dans le cloud, la coordination de plusieurs agents ou la prise en charge des garde-fous propres aux clients, sont présentées comme prévues et non disponibles. Opendoor est le seul client cité à ce stade. Reste à savoir si les économies mesurées se confirmeront dans le travail de production quotidien, en l'absence de résultats indépendants.