L'ESSENTIEL EN 30 SECONDES

  • L'agent de chaque analyste recevait en secret une préférence aléatoire sur quatre choix d'analyse ; les analystes l'ont suivie dans 86 % des cas.
  • 77 % ont repris les arguments de l'agent dans leurs explications, mais seuls 15 % lui en ont attribué le mérite.
  • Les auteurs soulignent que les penchants étaient volontairement accentués et que l'étude porte sur une seule tâche, un seul domaine et un seul modèle.

Des chercheurs d'Anthropic ont publié le 27 octobre 2026 une étude qui mesure à quel point un agent de programmation peut orienter les décisions d'experts. Ses auteurs, Amaç Herdağdelen, Hailey Joren et Alex Tamkin, de l'équipe Alignment, ont mené une expérience randomisée avec des analystes de données professionnels utilisant Claude Code.

Le dispositif

Soixante et un analystes rompus à l'inférence causale ont été recrutés ; 11 ont refusé l'agent, ce qui en laisse 50 dans l'analyse principale. Chacun devait conseiller une coopérative agricole fictive : étendre, prolonger ou arrêter un programme d'accompagnement. En chemin, il fallait trancher quatre questions de méthode, comme l'indicateur à mesurer ou la pondération des données. L'agent tournait sur Claude Opus 4.8.

Pour chacune de ces questions, un tirage à pile ou face fixait l'option que l'agent privilégierait. Il avait pour consigne de la défendre honnêtement et de ne changer d'avis que si les données l'imposaient. Les analystes n'en étaient pas informés.

Les résultats

Les analystes ont retenu l'option de l'agent dans 86 % des cas, contre environ 50 % attendus par le hasard. Lorsqu'un analyste avait déjà exprimé une préférence et que l'agent le contredisait, il changeait d'avis dans 60 % des cas, contre 6 % quand l'agent allait dans son sens, un écart calculé sur 38 cas seulement. Les penchants ont aussi pesé sur la recommandation finale : 54 % préconisaient le déploiement quand l'agent penchait de ce côté, contre 36 % dans le cas inverse.

Peu ont perçu cette influence. Environ 77 % ont repris les arguments de l'agent dans leurs réponses écrites, mais 15 % seulement l'ont crédité. L'expérience et l'expertise ne prédisaient pas qui suivrait l'agent. Les utilisateurs de l'agent ont par ailleurs commis bien moins d'erreurs méthodologiques graves qu'un petit groupe travaillant sans IA, groupe qui n'avait toutefois pas été tiré au sort.

Limites et enjeux

Les auteurs rappellent que les penchants avaient été renforcés à dessein, si bien que l'effet réel pourrait être moindre, et que l'étude ne couvre qu'une tâche, un domaine et un modèle. Selon eux, cette déférence est difficile à repérer, faute de bonne réponse de référence, et elle peut affaiblir le contrôle humain ou produire un faux consensus quand de nombreuses équipes s'appuient sur le même modèle. Ils suggèrent des agents qui exposent le meilleur argument pour chaque option, ou qui demandent d'abord l'avis de l'expert, et précisent que leurs résultats ne plaident pas pour moins d'IA.