Visa 首份 AI 购物智能体基准：22 个模型平均成功率仅 57.2%
把购物清单交给 AI，它交回来的订单，接近一半不合格。11 月 5 日，Visa 在旧金山发布行业首个智能体商务基准 Agentic Commerce Benchmark，22 个模型的真实成绩单随之出炉：平均通过率 57.2%，失败率 42.8%。
更麻烦的数字藏在失败内部：Visa 官方新闻稿披露，失败尝试中有 54% 最后仍然完成了购买。也就是说，AI 不仅会答错，还倾向于「答错了也下单」。
这轮测试让来自 12 家实验室的 22 个 AI 智能体各自完成 15 个购物场景，每个场景给 3 次机会，品类只覆盖电视、笔记本电脑和个护小家电。据 Fortune 报道，谷歌与 Meta 的智能体以 82.2% 并列第一，Claude 智能体以 76% 排第三，OpenAI 的智能体 64% 排第六。
一、考的是会不会追问
测试规则比看上去苛刻。顾客不会一上来交代全部需求，模型必须像真人导购一样，通过多轮对话把预算、尺寸、格式兼容、退货期这些没说出口的条件一点点问出来；如果没有任何商品满足要求，正确答案是「不买」。
Visa 给了一个电视场景的例子：顾客说亲戚推荐了某个品牌、自己在某第三方会员店持有会员资格，其余一概不提。要拿满分，智能体必须问出预算、是否需要 Dolby Vision 兼容、是否用来打游戏。为防止瞎猫碰上死耗子，Visa 还要求智能体挖出足够的信息来证明自己的决定。
会不会问，直接拉开差距。Visa 数据显示，最能挖出隐藏购买因素的五个模型平均通过率 70.2%，最不擅长追问的五个只有 44.4%，相差 25.8 个百分点。据 PYMNTS 报道，通过一次测试的标准是找出任务设定的全部需求，并对买或不买做出正确判断。
二、贵模型赢但不保证赢
钱能买到一部分答案。Visa 统计，单次运行成本最高的五个模型平均通过率 67.1%，最便宜的五个 50.2%，相差 16.9 个百分点。但贵不是保险——67.1% 意味着最贵的模型组仍有约三分之一的尝试失败。
比单次成绩更扎心的是稳定性。每个模型每个场景有 3 次机会，所有模型所有场景算下来，三次全部通过的比例只有 34.2%。The Next Web 报道提到一个细节：同一个模型重跑自己已经通过的场景，也常常失败。
顺带一提，Visa 官方新闻稿里没有点名任何模型，82.2%、76%、64% 这些排位来自 Fortune 的报道。换句话说，这份「成绩单」的署名权，有一半在记者手里。
三、54% 是什么口径
必须把这个数字掰开说清楚：54% 指的是失败尝试中仍有约一半完成了购买，分母是失败尝试，不是全部测试。买错的形式有两种——推荐的商品不满足已经识别出的顾客需求，或者压根没问全需求就把单下了。
Visa 全球增长负责人 Rubail Birwadker 在新闻稿里说得很直白：「AI 智能体有潜力驱动下一个商业时代，但信任是关键。」
亿邦动力的报道把这次发布概括为行业首个 AI 购物基准测试，并强调测试要求模型在未找到合适商品时主动终止购买流程——知道何时不买，恰恰是当前模型最不擅长的一课。
四、Visa 的算盘
Visa 发基准不是做公益。其 9 月发布的 Trust Index 显示，72% 的美国消费者用过 AI 助手，但只有 23% 信任 AI 替自己付款。PYMNTS Intelligence 的报告则估计，近 1.32 亿美国成年人曾在 AI 帮助下购买商品。
卡组织的布局早就在推进：Visa 已把支付能力接入 ChatGPT，并与 Mastercard、蚂蚁国际等一起做智能体身份核验。据 The Next Web 报道，这次基准已在 Payments Frontier 网站向公众开放试用，后续会加入更多场景与品类，并扩展到结账、支付、下单环节，测试结果已同步给各大模型厂商。
局限也要写明：这是 Visa 自建的基准，首批只有 3 个品类、15 个场景，扮演顾客的同样是 AI，样本与场景都有限。拿它当行业体检报告可以，当终审判决不行。
五、商品页写全参数
对跨境电商卖家，这份报告翻译过来就一句话：AI 代理选品会漏参数。智能体读不到预算匹配、兼容格式、退货政策，要么跳过你的商品，要么买错之后把退货和差评留给店铺。
规格表、兼容性清单、质保年限、退货窗口，这些结构化信息过去是锦上添花，现在开始决定你能不能进入 AI 的候选集。Sourcing Journal 的评论指出，比失败率更值得担心的，是模型失败之后做了什么——而智能体买错商品后的责任归属，目前没有任何一方给出答案。
模型在进步，最好的已经到 82.2%。但 34.2% 的三次全对率、54% 的失败仍下单，说明把钱包交给 AI 之前，行业还有一段路要走。真正的分水岭，也许不是哪个模型先跑到 95%，而是第一笔「AI 买错的订单」由谁买单的规则落地——到那时，答案才会真正浮出水面。
六、参考资料
- Visa：《Visa Releases First-of-Its-Kind Industry Benchmark for AI Shopping; Almost Half of Test Runs Fail》
- Fortune：《AI agents went shopping for TVs and laptops — and messed up nearly 50% of the time, study shows》
- PYMNTS：《Visa Finds AI Models Fail 43% of Shopping Test Runs》
- The Next Web：《Visa tested 22 AI models as shoppers, and they failed 42.8% of the time》
- 亿邦动力：《Visa 测试 22 个 AI 购物模型：42.8% 失败率，逾半失败案例仍完成下单》
- Sourcing Journal：《Does AI Truly Understand What Shoppers Want? Visa Put It To The Test.》