Anthropic entrena a Claude para señalar abusos en sus propias conversaciones y detecta el 94 % de los casos prioritarios

Anthropic ha presentado una capa de detección de abusos en la que Claude revisa la conversación en la que acaba de participar. La investigación, publicada en el blog Safeguards de la compañía y difundida en X el 29 de octubre, llama a la técnica "self-assessment" (autoevaluación). La página del blog lleva fecha del 16 de octubre.

Cómo funciona

Nada más responder, Claude recibe una breve instrucción adicional y devuelve un pequeño veredicto en JSON. Si la conversación es limpia, basta con marcarla como no señalada; si resulta sospechosa, se añaden una categoría de daño, una subpolítica, si Claude se negó, un motivo de una línea y una prioridad de revisión del 1 al 10. Como la conversación ya está en caché, la comprobación cuesta unos diez tokens de salida de media. Anthropic calcula que el coste total queda por debajo del 2 % del cómputo de inferencia en su tráfico de API y que no se cobra a los clientes. Sus primeros Constitutional Classifiers añadían un 23,7 %.

El modelo aprendió a imitar un clasificador más caro basado en Claude Mythos Preview, primero con ajuste supervisado sobre conversaciones sintéticas y después con aprendizaje por refuerzo. Los veredictos se procesan a posteriori y no bloquean nada en tiempo real.

Qué resultados presenta

Con tráfico real, el modelo Fable 5 marcó el 78 % de las conversaciones que señalaba el clasificador de referencia y el 94 % de las de alta prioridad, con una tasa de falsos positivos del 1 %. En cuatro modelos de distintos tamaños, la cobertura crecía con el tamaño, de alrededor del 16 % a cerca del 96 %.

Según la publicación, el sistema funciona sobre una gran parte del tráfico desde el lanzamiento de Fable 5 en junio. En agosto generó más de 100.000 alertas de abuso y explotación sexual infantil vinculadas a un solo cliente de API, que Anthropic comunicó al NCMEC. En septiembre destapó cuentas que usaban Claude Code para automatizar una estafa romántica, cerradas tras revisión humana. Más de la mitad de las organizaciones detectadas no habían generado alertas en ninguna otra fuente durante el mes anterior.

Límites

Anthropic reconoce varias salvedades. El sistema se mide contra su propio "maestro", así que hereda sus puntos ciegos. No está pensado para resistir a atacantes que lo apunten directamente: usado como filtro en una prueba con 24 tareas de ciberataque, redujo los ataques exitosos de 19 a 13, frente a 6 con el clasificador completo. Los autores añaden que la autovigilancia aún no es un control fiable de las acciones del propio Claude. Todas las cifras proceden de Anthropic y no se han verificado de forma independiente.