BioBasicsBench, de OpenAI, mide si los agentes de IA saben leer datos brutos de laboratorio

OpenAI presentó el 6 de noviembre BioBasicsBench, una prueba pensada para medir cómo resuelven los agentes de IA los análisis rutinarios que siguen a un experimento de laboratorio húmedo. La desarrolló junto a Ligo, una biotecnológica dedicada al diseño de enzimas. En lugar de figuras pulidas de artículos, sus 100 tareas usan los datos brutos y desordenados que un investigador tiene delante.

Cómo se construyó

Los científicos de Ligo redactaron las tareas a partir de sus propios experimentos y añadieron a cada una una rúbrica de evaluación. Según la cobertura de la publicación de OpenAI, cada tarea pasó luego por tres revisiones: la de un científico de Ligo que no la había escrito, la de un investigador externo con doctorado en trabajo de laboratorio y una comprobación interna final. Las tareas abarcan cinco áreas: métodos de proteínas, imagen y citometría, cuantificación y ensayos, métodos de ácidos nucleicos y clonación molecular. Entre los materiales hay geles de agarosa y SDS-PAGE, Western blots, fotos de colonias, series de imágenes de microscopía, lecturas de secuenciación, datos exportados de lectores de placas y vídeos de trabajo en la mesa. La dificultad va desde leer el tamaño de un fragmento de ADN en un gel hasta analizar un ensayo completo, y se espera además que el agente detecte errores y diga cuándo los datos no bastan para sacar conclusiones. Las respuestas se califican criterio por criterio, con puntos parciales.

Primeros resultados

OpenAI evaluó siete de sus propios modelos en 37 combinaciones de modelo y nivel de razonamiento, con cinco intentos por tarea. En el ajuste más alto, GPT-6 Astra consiguió el 66,7 % de la puntuación, seguido de GPT-6.1 Sol (62,0 %), GPT-5.6 Sol (43,8 %) y GPT-5.2 (31,2 %). Los modelos nuevos también generaron muchos menos tokens de salida: unos 4.700 por tarea en el caso de Astra, frente a cerca de 27.600 en GPT-5.2.

La publicación recoge asimismo fallos. En una tarea de PCR de colonias, Astra agrupó bien las bandas del gel pero les asignó muestras equivocadas, lo que llevaría a usar el plásmido incorrecto en el paso siguiente. En otro caso, un recuento de colonias salió alrededor de un 12 % por encima del real, y un cambio de enfoque en una serie de microscopía se interpretó como un fenómeno biológico.

Límites

La prueba procede de un único socio y todos los modelos comparados son de OpenAI, sin referencia humana ni de la competencia. La propia OpenAI reconoce que una mejor puntuación todavía no supone un criterio fiable en el laboratorio. Los artículos consultados no aclaran si las tareas y las rúbricas son públicas. El trabajo físico, como pipetear, queda fuera de su alcance.