Meta généralise les JiTTests, des tests écrits par LLM pour attraper les bugs avant la fusion du code

Meta a publié le 29 octobre, sur son blog d'ingénierie, un billet décrivant le déploiement à grande échelle de ses « Catching JiTTests ». Ce système utilise des grands modèles de langage pour écrire à la volée des tests ciblant chaque modification de code, afin de repérer les bugs avant qu'ils n'intègrent la base de code de Meta. Il prolonge un article de recherche de janvier et un billet de février.

Le principe des tests « juste à temps »

Les suites de tests classiques sont rédigées par des humains, vivent dans la base de code et doivent être entretenues. Selon l'argument avancé en février par Mark Harman, de Meta, les agents de programmation IA modifient désormais le code plus vite que ces suites ne peuvent suivre. Les JiTTests empruntent une autre voie : à l'arrivée d'une modification (un « diff » dans le vocabulaire de Meta), le système en déduit l'objectif, crée des variantes volontairement défectueuses du code et génère des tests conçus pour échouer si la modification a introduit une régression. Les tests sont ensuite jetés, sans code de test à maintenir.

D'après un résumé du nouveau billet, Meta fait tourner deux processus. Le premier, dit « dodgy diff », considère chaque modification comme un bug potentiel ; le second, « intent-aware », lit le titre et la description du changement pour en déduire l'intention et les risques probables. Les échecs candidats sont filtrés par un ensemble de juges LLM et par un système à base de règles baptisé RubFake au préalable.

Les chiffres avancés par Meta

Meta indique que 589 ingénieurs ont interagi avec le système, soit 64 % de ceux qu'elle a sollicités, et que les ingénieurs ont jugé 60 % des détections signalées comme de vrais positifs. Au premier semestre 2026, le système aurait intercepté 74 bugs graves de confidentialité au stade du diff, et les incidents de confidentialité classés « SEV » par Meta auraient reculé de 20 %. L'entreprise parle d'une approche « human-on-the-loop » : les ingénieurs définissent les critères et examinent les résultats dans leur ensemble, et ne sont sollicités que lorsqu'une détection le justifie.

L'article de janvier portait sur des essais plus restreints : sur 22 126 tests générés, les méthodes tenant compte des modifications ont produit quatre fois plus de détections candidates que les tests de « durcissement » classiques, et les évaluateurs automatiques ont réduit de 70 % le travail de relecture humaine. Sur 41 détections signalées aux ingénieurs, huit ont été confirmées comme de vrais bugs, dont quatre graves.

Limites

Tous ces chiffres émanent de Meta et n'ont pas été vérifiés de façon indépendante. Un taux de vrais positifs de 60 % signifie aussi qu'environ quatre détections sur dix étaient de fausses alertes ; la méthodologie complète n'a pas pu être examinée.