Avec BioBasicsBench, OpenAI évalue la capacité des agents d'IA à lire des données brutes de laboratoire

OpenAI a présenté le 6 novembre BioBasicsBench, un banc d'essai destiné à mesurer comment des agents d'IA s'acquittent des analyses ordinaires qui suivent une expérience de paillasse. Il a été conçu avec Ligo, une société de biotechnologie qui travaille sur la conception d'enzymes. Plutôt que les figures soignées des publications, ses 100 tâches utilisent les données brutes et imparfaites qu'un chercheur examine réellement.

Comment le test est construit

Les scientifiques de Ligo ont rédigé les tâches à partir de leurs propres expériences, chacune accompagnée d'une grille de notation. D'après les comptes rendus du billet d'OpenAI, chaque tâche a ensuite été relue trois fois : par un scientifique de Ligo qui ne l'avait pas écrite, par un chercheur externe titulaire d'un doctorat en biologie expérimentale, puis lors d'un contrôle interne final. Elles couvrent cinq domaines : méthodes sur les protéines, imagerie et cytométrie, quantification et dosages, méthodes sur les acides nucléiques, et clonage moléculaire. Les entrées vont des gels d'agarose et SDS-PAGE aux Western blots, en passant par des photos de colonies, des piles d'images de microscopie, des lectures de séquençage, des exports de lecteurs de plaques et des vidéos de manipulations. La difficulté s'étend de la lecture d'une taille d'ADN sur un gel à l'analyse complète d'un dosage ; les agents doivent aussi repérer les erreurs et signaler quand les données ne permettent pas de conclure. La notation se fait critère par critère, ce qui autorise des points partiels.

Premiers résultats

OpenAI a testé sept de ses propres modèles sur 37 combinaisons de modèle et de niveau de raisonnement, avec cinq essais par tâche. Au réglage le plus élevé, GPT-6 Astra obtient 66,7 % des points, devant GPT-6.1 Sol (62,0 %), GPT-5.6 Sol (43,8 %) et GPT-5.2 (31,2 %). Les modèles récents consomment aussi bien moins de jetons en sortie : environ 4 700 par tâche pour Astra, contre près de 27 600 pour GPT-5.2.

Le billet détaille également des échecs. Sur une tâche de PCR sur colonies, Astra regroupe correctement les bandes du gel mais leur attribue les mauvais échantillons, ce qui enverrait le mauvais plasmide à l'étape suivante. Ailleurs, un comptage de colonies est surestimé d'environ 12 %, et un changement de mise au point dans une pile de microscopie est interprété comme un événement biologique.

Limites

Le test provient d'un seul partenaire et tous les modèles comparés sont ceux d'OpenAI, sans référence humaine ni concurrente. OpenAI admet elle-même que de meilleurs scores ne signifient pas encore un jugement fiable en laboratoire. Les articles consultés ne précisent pas si les tâches et les grilles sont accessibles au public. Le travail physique, comme le pipetage, reste hors du champ du test.