L'ESSENTIEL EN 30 SECONDES

  • GDPx v1.0 compte 206 tâches réparties sur 11 domaines, conçues avec 14 partenaires spécialisés, et classe 13 modèles.
  • Claude Opus 5.5 obtient 12,0 %, devant Gemini 4 Carbon (10,9 %) et GPT-6 Astra (9,6 %) ; GLM 5.3 ferme la marche avec 2,7 %.
  • Selon SemiAnalysis, les filtres de sécurité ont fait baisser les scores globaux d'Opus 5.5 et de GPT-6 Astra dans les domaines cyber, biologie et alignement.

Le cabinet SemiAnalysis, spécialisé dans les semi-conducteurs et l'IA, a publié le 2 novembre GDPx, un benchmark destiné à mesurer la capacité des agents d'IA à mener des tâches longues et réalistes dans les secteurs où, selon ses auteurs, l'IA créera le plus de valeur économique. Les premiers résultats sont faibles pour tous : le modèle le mieux classé n'atteint que 12 %.

Ce que mesure le benchmark

La version 1.0 rassemble 206 tâches réparties sur 11 domaines : conception de puces, cybersécurité, biologie, finance, droit, trading quantitatif, auto-amélioration récursive, conception matérielle, science des matériaux, alignement et génie logiciel. Les tâches ont été rédigées par 14 partenaires spécialisés, SemiAnalysis assurant un appui éditorial. Les auteurs, Max Kan, Andrew Megalaa et Dylan Patel, disent avoir volontairement écarté des secteurs comme l'administration publique, l'immobilier et l'assurance. Ils présentent GDPx comme une réponse à GDPval d'OpenAI, jugé trop peu interactif.

Les agents disposent par défaut de huit heures par tâche et tournent, quand c'est possible, dans l'outil de leur éditeur (Claude Code, Codex ou Antigravity), OpenCode servant sinon de solution par défaut. Le score principal fait la moyenne de la réussite au premier essai sur trois tentatives et pondère chaque domaine à égalité. Chaque domaine publie au moins une tâche, mais la plupart restent privées.

Les résultats

Au classement public, Claude Opus 5.5 arrive premier avec 12,0 %, suivi de Gemini 4 Carbon (10,9 %), de GPT-6 Astra (9,6 %) et de Muse Wonder Full (9,0 %). GLM 5.3 ferme ce classement de 13 modèles avec 2,7 %. SemiAnalysis voit en Opus 5.5 le modèle le plus polyvalent, en tête en trading quantitatif, conception matérielle et conception de puces ; GPT-6 Astra domine l'auto-amélioration récursive et la science des matériaux, et Gemini 4 Carbon la biologie.

Aucun modèle n'a réussi une tâche de finance ou de droit en notation binaire stricte, d'où l'affichage de scores partiels. En conception matérielle, aucune des 12 exécutions n'a abouti à une réussite complète vérifiée, et en trading quantitatif, 70 des 111 exécutions notées ont fait moins bien que la stratégie de référence.

Limites

Les auteurs indiquent que les filtres de sécurité ont artificiellement réduit les scores globaux d'Opus 5.5 et de GPT-6 Astra, des refus s'étant parfois déclenchés en cyber, en biologie et en alignement. L'usage d'environnements d'exécution différents selon les modèles complique aussi la comparaison directe. SemiAnalysis reconnaît aussi ne pas disposer d'expertise interne dans chaque domaine. Le cabinet décrit GDPx comme un benchmark évolutif et prévoit, selon Unite.AI, une nouvelle version tous les trois à six mois.