Collinear AI publie CWE-bench v2, 100 tâches exécutables pour voir si les agents de code savent corriger des failles

Collinear AI, une start-up de Sunnyvale, en Californie, a publié la deuxième version de CWE-bench, son benchmark qui vérifie si des agents de programmation sont capables de trouver et de corriger des failles de sécurité. Les nouvelles tâches sont sur Hugging Face, et un compte rendu de la sortie date l'annonce du 3 novembre. Le nom renvoie à la Common Weakness Enumeration (CWE) de MITRE, le catalogue de référence des types de faiblesses logicielles.

Ce que contient le benchmark

D'après la fiche du jeu de données, la version 2 compte 100 tâches couvrant 91 types de CWE différents. Elles se répartissent sur huit langages : Go (27), Java (15), JavaScript (15), C++ (14), C (10), Python (10), Rust (5) et TypeScript (4). Dans chaque tâche, l'agent reçoit un code contenant une faiblesse et doit la corriger sans perturber le fonctionnement normal du logiciel. Chaque tâche forme un répertoire autonome, avec des consignes, un Dockerfile, un correctif de référence et un vérificateur, et s'exécute avec le cadre d'évaluation Harbor.

La notation est binaire. Une tâche n'est réussie que si le vérificateur confirme que toutes les entrées d'exploitation sont bloquées et que tous les cas légitimes passent encore. Si l'environnement ne se construit pas, l'essai est écarté au lieu d'être compté comme un échec. Les agents disposent d'une heure par tâche, de deux processeurs et de 2 Go de mémoire, sans accès réseau autre que l'API du modèle.

Premiers résultats et accès

La fiche donne des scores pour des modèles à poids ouverts, en pass@1 moyenné sur quatre essais. DeepSeek V4.1 Flash obtient 57 %, Hy4-preview de Tencent 52 %, Mistral Large 4 46,3 % et GLM-5.3 44 %. Le résumé d'explainx.ai ajoute deux modèles fermés : Gemini 4 Argon à 67,8 % et Claude Opus 5.5 à 67,3 %. Ces chiffres viennent du banc de test de Collinear et n'ont pas été reproduits de façon indépendante.

Le jeu de données est sous licence Apache 2.0, mais l'accès est contrôlé. Il faut se connecter et accepter des conditions, et la fiche demande de ne jamais montrer les correctifs de référence aux agents évalués. Un lot réservé reste privé et peut être obtenu sur demande.

Contexte

Le benchmark a grossi vite. Dans un communiqué publié en septembre et signalé comme contenu sponsorisé, Collinear présentait une version antérieure de 100 tâches couvrant 54 types de faiblesses, dont aucun agent ne résolvait la majorité. Comme tout benchmark public, ce jeu plus large risque toutefois de finir un jour dans des données d'entraînement ; le lot privé offre un contrôle moins exposé.