Selon Forum AI, près de 40 % des réponses des chatbots sur les élections américaines contiennent une erreur

Alors que les Américains se préparent à voter le 3 novembre pour les élections de mi-mandat, une évaluation montre que les chatbots restent peu fiables sur les règles du scrutin. Forum AI, start-up qui évalue les modèles d'IA, a constaté que près de 40 % des réponses fournies par huit modèles à des questions électorales comportaient au moins une erreur factuelle, selon une dépêche de l'AFP publiée le 1er novembre.

Ce que montre l'étude

Les erreurs étaient plus fréquentes sur les questions pratiques liées au vote que sur celles concernant les candidats. Dans un exemple cité par l'AFP, Gemini 3.6 Flash, de Google, interrogé sur le vote en Pennsylvanie, a indiqué le 3 novembre comme date limite pour demander un bulletin par correspondance, alors que l'échéance tombait une semaine plus tôt. Selon Forum AI, un électeur qui s'y serait fié aurait demandé son bulletin trop tard pour pouvoir l'utiliser. Dans un autre cas, Claude, d'Anthropic, a présenté le représentant de Caroline du Nord Don Davis comme un ancien directeur d'académie scolaire, le confondant apparemment avec quelqu'un d'autre.

L'étude relève aussi que les chatbots ont prêté des propos erronés à des candidats, des responsables et des observateurs à des centaines de reprises, et ont souvent cité des sources faibles comme des fils Reddit. La dépêche ne nomme que deux des huit modèles testés et ne précise ni le nombre de questions, ni la période de test, ni la méthode de notation : les résultats par modèle n'ont donc pas pu être vérifiés. Google a assuré à l'AFP vouloir aider les électeurs à trouver des informations fiables et appliquer des protections strictes aux sujets électoraux ; Anthropic n'a pas répondu.

Des constats antérieurs sur les biais et les sources

Ces chiffres font suite à NewsBench, un banc d'essai lancé par Forum AI en mai. Cet audit portait sur 3 136 requêtes et 12 542 réponses de ChatGPT, Gemini, Claude et Grok, notées sur l'exactitude, la neutralité et la qualité des sources par des juges IA calibrés sur l'avis d'un panel d'experts bipartisan. Environ 30 % des réponses contenaient au moins une erreur vérifiable. Près d'un quart échouaient au test de neutralité : les écarts de ChatGPT, Claude et Gemini penchaient bien plus souvent à gauche qu'à droite, ceux de Grok à droite. Forum AI est dirigée par Campbell Brown, ancienne cadre de Meta, qui estime que les concepteurs de modèles se notent en quelque sorte eux-mêmes.

L'enjeu est réel. Une enquête du National Conference on Citizenship citée par l'AFP indique que deux Américains sur cinq ont déjà utilisé des outils d'IA pour s'informer sur les élections. Les sites officiels des États restent la référence pour les règles de vote.