METR calcula que el ritmo de avance de Anthropic se ha duplicado aproximadamente, con la mayoría de las pruebas censuradas

METR, una organización sin ánimo de lucro de Berkeley que evalúa modelos de IA avanzados, publicó el 5 de noviembre una evaluación independiente sobre si la IA está acelerando la investigación y el desarrollo en Anthropic. Un equipo equivalente a 2,5 personas a tiempo completo trabajó con la empresa del 12 de agosto al 29 de octubre y revisó benchmarks internos, datos de cómputo y de plantilla, encuestas y unas 15 entrevistas con empleados. METR afirma que no cobró, aunque recibió tokens gratuitos y trabajó en dispositivos de Anthropic; no consultó modelos no publicados.

La estimación principal

METR concluye que, en octubre de 2026, Anthropic probablemente mejora sus capacidades en tareas bien definidas unas dos veces más rápido que entre marzo de 2024 y octubre de 2025. No le sorprendería un valor real cercano a 1,3 o a 3, y la relación con trabajos menos acotados es más incierta.

El análisis se apoya sobre todo en el AECI, la versión interna de Anthropic del Epoch Capabilities Index. METR calcula que su crecimiento desde octubre de 2025 equivale a 1,9 veces el ritmo anterior, con un intervalo de confianza del 95 % de entre 1,5 y 2,8; las pruebas de robustez oscilan entre 1,1 y 2,9. Si se incluyen modelos de todos los desarrolladores punteros, la cifra baja a 1,4.

En cuanto a las causas, METR se declara segura de que la aceleración no se debe a un aumento más rápido del cómputo de entrenamiento. Su mejor hipótesis atribuye cerca del 80 % de la aceleración a la IA, con una incertidumbre considerable. No encontró cuellos de botella convincentes para el próximo año, aunque con poca confianza.

Censura y límites del método

Anthropic tenía derecho a eliminar contenido de forma unilateral, y METR indica que la empresa suprimió la mayoría de las pruebas que consideraba más reveladoras, entre ellas la atribución detallada y las previsiones. Anthropic los justificó como protección de información útil para sus competidores. METR admite que el público debe fiarse de su criterio más de lo deseable, que los datos llegaron sobre todo a través de dos empleados de Anthropic, que Claude participó mucho en su recogida y análisis y que Anthropic canceló a medio camino una verificación prevista del reparto del cómputo. También enumera motivos por los que podría estar sobrestimando, como ganancias limitadas a tareas calificadas automáticamente o un crecimiento inusualmente lento antes de finales de 2025.

Según Associated Press, en una nota publicada por Fast Company, METR considera que el informe de riesgos que Anthropic publicó en agosto subestimaba la aceleración en curso; METR señala que su revisión de ese informe se publicará por separado. Anthropic no comentó de inmediato, según AP.