El nuevo benchmark de comercio agéntico de Visa: los agentes de compra con IA fallan en el 42,8 % de las pruebas

Visa presentó el 5 de noviembre el Visa Agentic Commerce Benchmark, una prueba para comprobar si los sistemas de IA pueden actuar como asistentes de compra competentes. La compañía de pagos sostiene que es el primer benchmark del sector que exige a un agente descubrir todos los requisitos definidos para una tarea y, además, decidir correctamente si conviene comprar o no. En conjunto, el 42,8 % de las pruebas fracasó.

Cómo funciona la prueba

Visa evaluó 22 modelos de IA de 12 laboratorios en 15 escenarios de compra, entre ellos adquirir un televisor, un portátil y un aparato de cuidado personal. Cada modelo afrontó cada escenario tres veces. Para aprobar, la IA debía averiguar las necesidades del cliente conversando, reunir información suficiente para justificar su elección, de modo que acertar por suerte no contara, y abstenerse de comprar si ningún producto encajaba.

Qué revelan los resultados

La tasa media de aprobados fue del 57,2 %. El mejor modelo superó el 82,2 % de sus intentos y el peor, el 28,9 %. Visa detectó una relación entre preguntar y acertar: los cinco modelos que descubrieron más factores de compra ocultos promediaron un 70,2 %, frente al 44,4 % de los cinco que menos encontraron. El coste también influyó: los cinco modelos más caros por prueba aprobaron el 67,1 % y los cinco más baratos, el 50,2 %.

La constancia fue un punto débil. Los tres intentos de un mismo escenario salieron bien a la vez solo en el 34,2 % de los casos. Y alrededor del 54 % de las pruebas fallidas terminó aun así con una compra, ya fuera de un producto que no cumplía lo pedido o tras pasar por alto algún requisito.

Límites y contexto

El comunicado no revela qué modelos ni qué laboratorios se evaluaron. Visa afirma que compartió el benchmark con los principales proveedores de modelos para recabar su opinión y que cualquiera puede consultar los resultados, ver repeticiones de los intentos de la IA, hacer la prueba por sí mismo y leer un informe técnico en su web Visa Payments Frontier. Esta primera ronda llega hasta la decisión de compra; Visa prevé sumar escenarios y categorías y ampliar las pruebas al pago, la caja y la realización del pedido.

El Trust Index de Visa de septiembre señalaba que el 72 % de los consumidores estadounidenses había usado un asistente de IA, pero solo el 23 % confiaba en que gestionara sus pagos. Rubail Birwadker, responsable global de crecimiento de Visa, subrayó que la confianza es clave para que los agentes de IA funcionen en el comercio.