L'ESSENTIEL EN 30 SECONDES

  • Sur 22 modèles de 12 laboratoires, 57,2 % des essais ont réussi ; le meilleur modèle atteint 82,2 % et le plus faible 28,9 %.
  • Les trois tentatives sur un même scénario n'ont toutes réussi que dans 34,2 % des cas, et environ 54 % des échecs se sont quand même conclus par un achat.
  • Visa ne nomme pas les modèles dans son communiqué ; résultats, rediffusions et livre blanc sont publiés sur son site Visa Payments Frontier.

Visa a publié le 5 novembre le Visa Agentic Commerce Benchmark, un test destiné à mesurer si des systèmes d'IA peuvent jouer correctement le rôle d'assistant d'achat. Le groupe de paiement affirme qu'il s'agit du premier benchmark du domaine à exiger d'un agent qu'il découvre toutes les exigences fixées pour une tâche et qu'il prenne la bonne décision d'acheter ou non. Au total, 42,8 % des essais ont échoué.

Le principe du test

Visa a évalué 22 modèles d'IA provenant de 12 laboratoires sur 15 scénarios d'achat, dont celui d'un téléviseur, d'un ordinateur portable et d'un appareil de soin personnel. Chaque modèle a tenté chaque scénario trois fois. Pour réussir, l'IA devait cerner les besoins du client par la conversation, réunir assez d'informations pour justifier son choix, afin qu'un coup de chance ne suffise pas, et renoncer à l'achat si aucun produit ne convenait.

Ce que montrent les résultats

Le taux de réussite moyen s'établit à 57,2 %. Le meilleur modèle a réussi 82,2 % de ses tentatives, le moins bon 28,9 %. Visa observe un lien entre questionnement et réussite : les cinq modèles ayant mis au jour le plus de critères cachés atteignent 70,2 % en moyenne, contre 44,4 % pour les cinq qui en ont trouvé le moins. Le coût compte aussi : les cinq modèles les plus chers par essai réussissent 67,1 % des essais, les cinq moins chers 50,2 %.

La régularité fait défaut. Les trois tentatives sur un même scénario n'ont toutes réussi que dans 34,2 % des cas. Et environ 54 % des essais ratés se sont malgré tout terminés par un achat, soit d'un produit ne répondant pas aux besoins exprimés, soit après des exigences manquées.

Limites et contexte

Le communiqué n'indique ni les modèles ni les laboratoires testés. Visa dit avoir partagé le benchmark avec les principaux fournisseurs de modèles pour recueillir leurs avis. Chacun peut consulter les résultats, revoir les tentatives des IA, passer le test lui-même et lire un livre blanc sur le site Visa Payments Frontier. Cette première série s'arrête à la décision d'achat ; Visa prévoit d'ajouter des scénarios et des catégories, puis d'étendre les tests au passage en caisse, au paiement et à la commande.

Le Trust Index de Visa publié en septembre indiquait que 72 % des consommateurs américains avaient déjà utilisé un assistant d'IA, mais que 23 % seulement lui confieraient leurs paiements. Pour Rubail Birwadker, responsable mondial de la croissance chez Visa, la confiance est la clé pour que les agents d'IA fonctionnent dans le commerce.