LO ESENCIAL EN 30 SEGUNDOS

  • Physical-Engineering's Last Exam (PLE) reúne 85 tareas largas de ingeniería mecánica, eléctrica, civil y estructural, escritas o validadas por ingenieros en ejercicio.
  • Un diseño solo puntúa si supera todos los controles estrictos de seguridad y viabilidad; la mejor configuración, Claude Opus 5.5 en Claude Code, promedia un 48,3 % en el conjunto de prueba privado.
  • Según Google, el modelo elegido pesa mucho más que el arnés del agente; 29 tareas son públicas y el resto se reserva para la clasificación.

Google y Mercor han publicado Physical-Engineering's Last Exam (PLE), un benchmark que comprueba si los agentes de IA son capaces de completar encargos de ingeniería de principio a fin, y no solo de responder preguntas de manual. Presentado el 3 de noviembre en el blog de Google Cloud, exige diseños que un ingeniero colegiado pudiera aprobar: seguros, conformes a los códigos de construcción y de coste razonable. Ninguna configuración probada llega por ahora al 50 %.

Cómo funciona la prueba

PLE incluye 85 tareas largas: 30 de ingeniería mecánica, 27 de eléctrica, 18 de civil y 10 de estructuras. Ingenieros en ejercicio redactaron 44, con sus instrucciones y rúbricas de evaluación. Las otras 41 las iniciaron ingenieros, las ensambló una cadena de agentes a partir de normas técnicas y después los ingenieros las revisaron y endurecieron.

Cada agente trabaja en un contenedor aislado con una carpeta de proyecto de unos 61 archivos de media: PDF, hojas de cálculo, correos, planos CAD y modelos 3D de edificios. Debe localizar las normas y límites físicos aplicables, hacer los cálculos y entregar los documentos, sin acceso a internet y con un máximo de seis horas por tarea. Solo se conceden puntos si el diseño supera antes todos los controles estrictos de seguridad y viabilidad; la nota valora después el cumplimiento normativo y el coste. Unos scripts verifican los resultados numéricos y un LLM juez califica el trabajo abierto con una rúbrica de expertos, según la web del proyecto.

Qué muestran los resultados

Google afirma haber probado 14 modelos punteros con siete arneses públicos, entre ellos Antigravity, Claude Code, Codex, OpenHands y OpenCode. En la clasificación pública lidera Claude Opus 5.5 en Claude Code con un 48,3 %, seguido de GPT-6 Astra en Codex (45,8 %), Claude Sonnet 5.5 (43,5 %) y Gemini 4 Argon, el modelo propio de Google (40,6 %). Varios modelos de pesos abiertos se quedan por debajo del 7 %.

Los autores destacan la distancia entre acertar en parte y acertar del todo: la mejor configuración cumplía el 91 % de las restricciones individuales en las tareas coescritas, pero solo el 41,3 % de sus entregas superaba todos los controles estrictos. Las puntuaciones varían hasta 50 puntos entre modelos, frente a una diferencia mediana de tres puntos entre arneses para un mismo modelo, aunque el arnés cambia bastante el coste de cada ejecución.

Límites y acceso

Solo se publican en GitHub 29 tareas, las herramientas de evaluación y un contenedor; el resto forma un conjunto privado, de modo que la clasificación no puede reproducirse por completo desde fuera. Los equipos pueden enviar sus propias configuraciones; los detalles de los premios aún no se conocen. Como parte de las tareas la ensamblaron agentes y el trabajo abierto lo califica un LLM, las cifras sirven sobre todo para comparar modelos entre sí, no para saber si un agente podría sustituir la firma de un ingeniero.