Anthropic entraîne Claude à signaler les abus dans ses propres conversations, avec 94 % des cas prioritaires détectés

Anthropic a présenté une couche de détection des abus dans laquelle Claude passe en revue la conversation à laquelle il vient de participer. Publiée sur le blog Safeguards de l'entreprise et mise en avant sur X le 29 octobre, la recherche baptise cette méthode « self-assessment » (auto-évaluation). La page du blog affiche pour sa part la date du 16 octobre.

Le principe

Juste après sa réponse, Claude reçoit une brève consigne supplémentaire et renvoie un petit verdict au format JSON. Une conversation sans problème est simplement marquée comme non signalée ; une conversation suspecte reçoit une catégorie de risque, une sous-politique, l'indication d'un éventuel refus, une justification d'une ligne et une priorité d'examen de 1 à 10. Comme l'échange est déjà en cache, la vérification ne coûte qu'une dizaine de jetons de sortie en moyenne. Anthropic estime le surcoût global à moins de 2 % du calcul d'inférence sur son trafic API, sans facturation aux clients. Ses premiers Constitutional Classifiers ajoutaient 23,7 %.

Le modèle a appris à imiter un classificateur plus coûteux, fondé sur Claude Mythos Preview, d'abord par affinage supervisé sur des conversations synthétiques, puis par apprentissage par renforcement. Les verdicts sont traités a posteriori et ne bloquent rien en temps réel.

Les résultats annoncés

Sur le trafic réel, le modèle Fable 5 a signalé 78 % des conversations repérées par le classificateur de référence, et 94 % de celles jugées hautement prioritaires, pour un taux de faux positifs de 1 %. Sur quatre modèles de tailles différentes, le rappel progresse nettement avec la taille, d'environ 16 % à environ 96 %.

D'après le billet, le dispositif fonctionne sur une large part du trafic depuis le lancement de Fable 5 en juin. En août, il a émis plus de 100 000 signalements d'exploitation sexuelle d'enfants liés à un seul client API, transmis au NCMEC. En septembre, il a révélé des comptes utilisant Claude Code pour automatiser une arnaque sentimentale, bannis après examen humain. Plus de la moitié des organisations repérées n'avaient déclenché aucune autre alerte le mois précédent.

Les limites

Anthropic détaille les réserves. Le système est évalué par rapport à son propre « professeur » et hérite donc de ses angles morts. Il n'est pas conçu pour résister à des attaquants qui le visent directement : utilisé comme filtre lors d'un test sur 24 tâches offensives en cybersécurité, il a fait passer les attaques réussies de 19 à 13, contre 6 avec le classificateur complet. Les auteurs estiment aussi que l'auto-surveillance n'est pas encore un contrôle fiable des actions de Claude. Le trafic sous accord de non-conservation des données en est exclu. Tous les chiffres proviennent d'Anthropic et n'ont pas été vérifiés de façon indépendante.