AI 客服基准实测 212 家店铺:头部解决率 70%,Zendesk、Klaviyo 自带版不到 42%

AI 客服基准实测 212 家店铺:头部解决率 70%,Zendesk、Klaviyo 自带版不到 42%
摘要:电商客服 AI 最常见的对外口径是「能自动化解决 60% 的咨询」。但把 13 家厂商塞进 212 家真正在卖货的中型电商店铺、让所有智能体接同一批客户消息之后,中位数只有 48%——第一名做对了四分之三,中间那家连一半都不到。更让人意外的是品牌已经在付费的三...

AI 客服基准实测 212 家店铺:头部解决率 70%,Zendesk、Klaviyo 自带版不到 42%

电商客服 AI 最常见的对外口径是「能自动化解决 60% 的咨询」。但把 13 家厂商塞进 212 家真正在卖货的中型电商店铺、让所有智能体接同一批客户消息之后,中位数只有 48%——第一名做对了四分之三,中间那家连一半都不到。更让人意外的是品牌已经在付费的三家:Zendesk 37%、Intercom 42%、Klaviyo 21%。那么问题来了,卖家到底是买错了 AI,还是一直以来看的那个数字本身就不作数?

这份基准由电商 AI 客户体验平台 Gorgias 发布,SaaStr 创始人 Jason Lemkin 在 2026 年 10 月 6 日撰文对外披露。Gorgias 在文中被描述为年经常性收入约 1 亿美元的电商客服 AI 厂商。测试不设沙箱、不用合成商品目录、不看厂商演示,全部跑在 212 家持有真实库存的在营店铺上,所有智能体收到同一批客户消息,评审系统在不知道厂商身份的前提下按 26 项二元检查逐条打分,价格、政策、SKU 这类事实性陈述还会与实时店铺数据做程序化核对。

数字本身足够扎眼:头部五家的解决率落在 64% 到 75% 之间,13 家的中位数是 48%,按对话量加权后整个盘子只有 46%。而这份榜单最大的争议点,恰恰不在数字,而在出榜的人——Gorgias 既是出题方,也是参赛方,在这版口径里排第五;发布这篇文章的 SaaStr,其基金正是 Gorgias 种子轮的领投方。

一、212 家在营店铺,13 家厂商做同一套题

测试的场地设计是全篇最值得看的部分。212 家店铺全部是中型电商、真实运营、真实库存,不是厂商自己搭的演示站。所有智能体收到的是同一批标准问题,只按各家店铺的商品目录做适配;每次跑测都开全新浏览器、不带任何记忆的「冷会话」;厂商名字在评分环节被隐藏,引用必须先从对话记录里摘出原句才算数。

评分靠的是 26 项二元检查——每条只回答是或否,最终按固定公式折算成 0 到 100 的质量分。Gorgias 官方博客在后续的方法论访谈里补充说明,这 26 项检查分布在「购物助理」和「客服智能体」两条评测线上,不是每条对话都要过 26 关;而整套评分决策被写成 145 条独立的代码规则,任何一期榜单在触犯自身规则时会被自动拦截、不予发布。

「解决」的门槛定得极严。一次对话只有在智能体零人工介入、没有转接、也没有把顾客赶出渠道的情况下才算解决——回复一句「请发邮件过来」或者「请拨打客服电话」,在这里都算失败。如果一场对话里超过一半的回复在把顾客往外推,整场直接判为未解决。

审计员也从不主动开口要求转人工,所有转人工的请求都由智能体自己发起。这条设计堵住了最常见的取巧路径:不少厂商的自动化率之所以好看,是因为系统一遇到难题就把球踢回给人类,而踢球的那一刻在它自己的报表里未必算失败。

二、中位数 48%,前五名 64% 到 75%

13 家的完整排名(括号内为样本对话数)是:Rep AI 75%(120)、Decagon 73%(34)、Yuma 71%(118)、Ada 68%(420)、Gorgias 64%(388)、DigitalGenius 50%(561)、Sierra 48%(408)、Siena 46%(300)、Kodif 44%(188)、Intercom 42%(307)、Zendesk 37%(467)、Envive 22%(499)、Klaviyo 21%(309)。

这里的「自动化率」指的是已参与对话中被 AI 完全解决、全程无人工介入的比例。结构上,头部五家平均约 70%,中位数 48%,按对话量加权 46%——加权口径更低,说明样本量大的厂商整体表现偏弱,Envive 和 Klaviyo 各自背着近 500 段和 300 段对话,却只解决了两成出头。

对跨境电商卖家来说,最扎心的一组数字是尾部三家。Zendesk、Intercom 和 Klaviyo 恰恰是多数品牌已经在付费的平台,自带 AI 模块是它们续费时的默认选项,而这轮实测里三家全部低于 42%。这意味着「我们已经有客服 AI 了」这句话,在很多团队里并不等于「我们的工单真的被解决了」。

按场景拆开看,账单同样不均衡。据 SaaStr 引述的榜单数据,政策类问题表现最好,退货政策一项得分 77.4;而订单追踪——电商品牌工单量最大的品类——只有 60.1。AI 擅长背条款,却在最日常、最高频的查询上失分,这个结构对售后团队的排班是有直接含义的。

核心数据一览

三、自动化率高,不等于答得对

榜单里真正有价值的一栏是质量分,它和自动化率严重错位。Rep AI 以 75% 的自动化率居首,质量分却只有 55;Ada 自动化率 68%,质量分只有 39。反过来看,Sierra 的自动化率仅 48%,质量分却达到 72,与 Yuma 并列全场最高。

同时跨过 64% 自动化率和 65 分质量线的,只有 Yuma(71%/72 分)、Decagon(73%/70 分)和 Gorgias(64%/66 分)三家。换句话说,如果按「既解决得了,又答得对」这个双重标准筛,13 家里只剩 3 家。

这解释了一个反常识的现象:一家自动化率高但质量分低的厂商,可能在制造未来的工单。一张被标记为「已解决」却给错了退货窗口期的工单,会立刻催生第二次联系,而第二次的成本高于第一次。质量分 39 意味着相当比例的「解决」是假性解决,账单上的工单量降了,人工成本却通过二次、三次联系悄悄回流。

所以对卖家来说,看厂商 PPT 上的自动化率是不够的,更实际的问题是:这家厂商愿意不愿意同时交出盲评质量分,以及这两个数字在它的合同里分别怎么定义。

四、四周内 9 家厂商自动化率在往下掉

榜单还有一组容易被忽略的纵向数据。在有历史数据的 10 家厂商里,9 家的自动化率在过去四周出现下滑:Siena 掉了 23 个百分点,Kodif 掉 13,Klaviyo、Sierra、DigitalGenius 各自掉了 10 个百分点以上。质量分同步走弱:Ada 降 17 分,Zendesk 降 15 分,Sierra 降 14 分。

基准本身没有解释下滑原因。模型迭代、店铺配置漂移、测试题目变难,都可能贡献力量,报告并未归因。这个留白恰恰是最值得警惕的地方——它说明 AI 客服的表现不是一个签完合同就锁死的常数,而是一个会随上游模型和自身配置漂移的变量。

对卖家来说,这意味着一件更实际的事:试点期的自动化率不等于续费期的自动化率。签合同时候拿到的那个漂亮数字,可能在三个季度后已经不成立了。

趋势与结构拆解

五、谁在出这份榜单:Gorgias 自己

这层利益关系必须说清楚。榜单由 Gorgias 发布,Gorgias 自己也是被测试的 13 家之一,在这版口径里以 64% 排第五;首发这篇文章的 SaaStr,其基金 SaaStr Fund 是 Gorgias 种子轮的领投方,Jason Lemkin 在文中也主动点明了这一层。

计费口径的差异同样需要标注。据 SaaStr 及转载该文的行业媒体报道,Gorgias 的 AI Agent 按每个已解决对话收取 0.90 美元;而在 Gorgias 面向客户的报表里,一次交互只要在 AI 处理后 72 小时内没有人工介入,就被计为自动化——顾客放弃并再也没回来,在那套口径里算解决,在这份基准里算失败。两套定义之间差出多少个百分点,公开材料没有给出换算。

需要注意的是,这套 0.90 美元的计费单位是 Gorgias 自家产品的定价方式,并不适用于榜单上的其他厂商。不同厂商对「一次可计费的解决」定义各不相同,签约前把它写进合同,比事后争论更有效。

此外,榜单本身在持续更新。截至 2026 年 10 月下旬,Gorgias 公开的榜单页面显示的口径已经变成 18 家被测厂商、228 家在营店铺、10,152 段对话(90 天窗口),评分拆成购物助理与客服智能体两条线,各自给出 0 到 100 的综合分,不再是 10 月 6 日那版只看客服自动化率的单一指标。在该版综合分里,Gorgias 排在第一(65 分),其后是 Sierra 64、Decagon 63、Rep AI 62、Ada 61、Yuma 60、Intercom 58、Envive 57、Siena 56、DigitalGenius 54、Klaviyo 51、Zendesk 47、Kodif 46。Gorgias 官方博客另有一版访谈提到 200 多家店铺、8,000 多段对话、12 家厂商,数字取自 2026 年 9 月 9 日的榜单。

口径在变、厂商数在变、排名也在变,两套数字之间不能直接换算。这也提醒一件事:任何一份单点时间的 AI 客服榜单,都只是一张快照,不是结论。

真正的考验,是独立第三方能否复现这套方法。在那之前,这份基准的价值不在于它给出了谁第一名,而在于它把「解决」这个词的定义、把自动化率与质量分的背离、把四周内普遍下滑的趋势,摆到了台面上。

卖家应对与观察方向

六、参考资料

  • SaaStr(Jason Lemkin):《How Much of Your Customer Support Can AI Really Resolve? The Best Get About 70%. The Median Is 48%. Here's the Real Data From 13 Vendors》(2026 年 10 月 6 日)
  • Gorgias Benchmark 榜单页 evals.gorgias.com:《The Real Test for Ecommerce AI Agents》
  • Gorgias 官方博客:《Inside the Benchmark: How Gorgias Built a Real Test for Ecommerce AI Agents》(产品高级副总裁 Max Pruvost 访谈)
  • SaaStr Fund 公开投资组合信息(Gorgias 种子轮领投方披露)
  • The AI News:《How Much of Your Customer Support Can AI Really Resolve? The Best Get About 70%. The Median Is 48%.》(要点核验与利益关系披露)
  • Falkster:《One Support Agent, Three Resolution Rates》(计费口径与「解决」定义的三种算法)
  • 企服科学:《Gorgias 发布 AI 客服基准测试:头部厂商自动化解决率约 70%,中位数仅 48%》