Meta detalla el despliegue a gran escala de JiTTests, pruebas escritas por LLM para cazar errores antes de fusionar el código

Meta publicó el 29 de octubre en su blog de ingeniería una entrada que explica cómo utiliza ya a gran escala los «Catching JiTTests». El sistema emplea grandes modelos de lenguaje para escribir sobre la marcha pruebas dirigidas a cada cambio de código, con el objetivo de detectar errores antes de que se integren en la base de código de Meta. Amplía un artículo de investigación de enero y una entrada de febrero.

Cómo funcionan las pruebas «justo a tiempo»

Las baterías de pruebas tradicionales las escriben personas, residen en el código y hay que mantenerlas. El argumento que Mark Harman, de Meta, expuso en febrero es que los agentes de programación con IA cambian ya el código más deprisa de lo que esas baterías pueden seguir. Los JiTTests toman otro camino: cuando llega un cambio (un «diff», en la jerga de Meta), el sistema deduce para qué sirve, crea variantes del código con fallos introducidos a propósito y genera pruebas diseñadas para fallar si el cambio ha provocado una regresión. Después las pruebas se descartan, sin código de prueba que mantener.

Según un resumen de la nueva entrada, Meta ejecuta dos flujos de trabajo. Uno, llamado «dodgy diff», trata cada cambio como un posible error; el otro, «intent-aware», lee el título y la descripción del cambio para inferir su propósito y sus riesgos probables. Los fallos candidatos se filtran con un conjunto de jueces LLM y un sistema de reglas llamado RubFake.

Las cifras que da Meta

Meta afirma que 589 ingenieros interactuaron con el sistema, el 64 % de los que contactó, y que los ingenieros calificaron como verdaderos positivos el 60 % de las detecciones notificadas. En el primer semestre de 2026, el sistema habría detectado 74 errores graves de privacidad en la fase de diff, y los incidentes de privacidad que Meta clasifica como «SEV» habrían bajado un 20 %. La empresa denomina el enfoque «human-on-the-loop»: los ingenieros definen los criterios y revisan los resultados de forma agregada, y solo intervienen cuando una detección lo justifica.

El artículo de enero recogía ensayos más reducidos: sobre 22.126 pruebas generadas, los métodos que tienen en cuenta el cambio produjeron cuatro veces más detecciones candidatas que las pruebas de «endurecimiento» habituales, y los evaluadores automáticos redujeron un 70 % el trabajo de revisión humana. De 41 detecciones comunicadas a los ingenieros, ocho se confirmaron como errores reales, cuatro de ellos graves.

Salvedades

Todas las cifras proceden de Meta y no se han verificado de forma independiente. Una tasa de verdaderos positivos del 60 % implica que cerca de cuatro de cada diez detecciones fueron falsas alarmas; no se pudo revisar la metodología completa.