阿里国际的 Accio 团队刚开源了 CommerceAgentBench,用 107 个真实电商任务,把 13 个主流
🥇 阿里国际的 Accio 团队刚开源了 CommerceAgentBench,用 107 个真实电商任务,把 13 个主流模型家族拉出来考了一遍。
8 月初才建的仓库,GitHub 上已经 1228 star。最扎心的是分数:三套评测框架下排第一的都是 Claude Opus 5,通过率也才 60.7%、56.1% 和 61.7%。
现在满世界都在说 agent
🥇 阿里国际的 Accio 团队刚开源了 CommerceAgentBench,用 107 个真实电商任务,把 13 个主流模型家族拉出来考了一遍。
8 月初才建的仓库,GitHub 上已经 1228 star。最扎心的是分数:三套评测框架下排第一的都是 Claude Opus 5,通过率也才 60.7%、56.1% 和 61.7%。
现在满世界都在说 agent