Avec Physical-Engineering's Last Exam, Google et Mercor montrent qu'aucun agent d'IA ne réussit la moitié de vrais projets d'ingénierie

Google et Mercor ont publié Physical-Engineering's Last Exam (PLE), un benchmark qui vérifie si des agents d'IA savent mener à bien des missions d'ingénierie complètes, et pas seulement répondre à des questions de manuel. Présenté le 3 novembre sur le blog de Google Cloud, il exige des conceptions qu'un ingénieur agréé pourrait valider : sûres, conformes aux codes de construction et d'un coût raisonnable. Aucune configuration testée n'atteint pour l'instant 50 %.

Le fonctionnement du test

PLE réunit 85 tâches de longue haleine : 30 en génie mécanique, 27 en électrique, 18 en génie civil et 10 en structures. Des ingénieurs en exercice en ont écrit 44, consignes et grilles de notation comprises. Les 41 autres ont été lancées par des ingénieurs, assemblées par une chaîne d'agents à partir de normes techniques, puis vérifiées et durcies par des ingénieurs.

Chaque agent travaille dans un conteneur isolé, face à un dossier de projet d'environ 61 fichiers en moyenne : PDF, tableurs, courriels, plans CAO et maquettes 3D de bâtiments. Il doit repérer les normes et limites physiques applicables, faire les calculs et produire les livrables, sans accès à Internet et en six heures maximum par tâche. Les points ne sont accordés que si la conception franchit d'abord tous les contrôles stricts de sécurité et de faisabilité ; la note tient ensuite compte de la conformité et du coût. Des scripts vérifient les résultats chiffrés et un LLM juge évalue le travail ouvert selon une grille d'experts, indique le site du projet.

Ce que montrent les résultats

Google dit avoir testé 14 modèles de pointe avec sept harnais publics, dont Antigravity, Claude Code, Codex, OpenHands et OpenCode. Au classement public, Claude Opus 5.5 dans Claude Code arrive en tête avec 48,3 %, devant GPT-6 Astra dans Codex (45,8 %), Claude Sonnet 5.5 (43,5 %) et Gemini 4 Argon, le modèle maison de Google (40,6 %). Plusieurs modèles open-weight restent sous les 7 %.

Les auteurs soulignent l'écart entre justesse partielle et complète : la meilleure configuration respectait 91 % des contraintes prises une à une sur les tâches co-rédigées, mais seuls 41,3 % de ses livrables passaient tous les contrôles stricts. Les scores varient jusqu'à 50 points d'un modèle à l'autre, contre un écart médian de trois points entre harnais pour un même modèle, même si le harnais change sensiblement le coût d'une exécution.

Limites et accès

Seules 29 tâches, les outils de notation et un conteneur d'évaluation sont publiés sur GitHub ; le reste forme un jeu de test privé, si bien que le classement n'est pas entièrement reproductible de l'extérieur. Les équipes peuvent soumettre leurs propres configurations ; les détails des prix restent à venir. Comme une partie des tâches a été assemblée par des agents et que le travail ouvert est noté par un LLM, ces scores renseignent surtout sur le classement relatif des modèles, pas sur leur capacité à remplacer la signature d'un ingénieur.