Coding Agent Index v2.1:Fable 5.2 与 Opus 5.5 Effort 怎么选

Artificial Analysis Coding Agent Index v2.1 中,Claude Fable 5.2 的 high、xhigh 与 Opus 5.5 的 max 均获得 58 分。Fable 5.2 max 却降至 56 分,单题成本高达 $44.22,而 high 只需 $7.51。本文解析 FrontierCode-AA 2.0 和 Terminal-Bench 4.1 的更新、max 因超时失分的原因、安全拒答后的 fallback 机制,并比较 GPT-6.1 Sol、Kimi K3.1 Pro 的优势,帮助开发者设置 Claude Code effort 并控制按量付费成本。

本文内容
Coding Agent Index v2.1:Fable 5.2 与 Opus 5.5 Effort 怎么选

使用 Claude Fable 5.2 运行编码 Agent,建议从 high effort 开始,而不是直接拉到 max。在 Artificial Analysis Coding Agent Index v2.1 中,Fable 5.2 的 high 和 xhigh 都获得了 58 分,而 max 降至 56 分,单题成本却从 $7.51 增加到 $44.22。Claude Opus 5.5 在 max 下也取得 58 分,但它与 Fable 5.2 的优势分布在不同的基准测试中。

2026 年 11 月 14 日发布的这次更新,为重新选择默认 effort 提供了依据。更高的 effort 会消耗更多时间和输出 token,甚至可能因为任务超时而降低最终得分。

这些数据针对特定模型、Agent 运行框架、配置和任务时间限制,不能直接当作生产环境中的代码修改成功率。

Coding Agent Index v2.1 更新了什么?

v2.1 提高了代码仓库修改任务的评估难度,更新了终端任务的验证方式,同时调整了计入缓存影响的 API 成本计算方法。

Artificial Analysis 现在将以下三个基准测试合并为一个综合指数:

组成部分任务数评估内容v2.1 的变化
FrontierCode-AA 2.0132代码修改能否达到仓库维护者愿意合并的标准替换 FrontierCode 1.1
Terminal-Bench 4.166Agent 使用终端完成任务的能力保留原有任务,更新验证器
SWE-Atlas-QnA-AA124理解代码仓库并解释其运行行为的能力从 v2.0 保留

根据 Artificial Analysis 官方评测方法,三个基准测试在最终 Index 中各占三分之一权重。

每个任务执行三次尝试。评测先计算同一任务三次尝试的平均分,再计算各基准测试内所有任务的平均分。

因此,Terminal-Bench 的 66 个任务与 FrontierCode 的 132 个工程任务,在综合指数中的权重相同。

FrontierCode-AA 2.0 为什么导致整体降分?

新的 FrontierCode-AA 2.0 是 Artificial Analysis 对 Cognition FrontierCode 2.0 的实现。

原来的评测包含 100 个任务,新版本增加到 132 个。核心评价标准没有改变:仓库维护者是否愿意接受并合并 Agent 提交的代码修改。

但新任务要求完成更大范围的实现工作。

Cognition 在 FrontierCode 2.0 发布说明 中指出,相比 FrontierCode 1.1,新版本参考答案平均涉及的文件数量增加 67%,修改的代码行数增加 89%,强制性评估条件增加 43%。

这些强制性条件称为 blocking criteria。它们规定了代码修改必须满足的要求。只要有一项 blocking criteria 未通过,该次尝试就会得到零分。

这对编码 Agent 很重要。一个补丁可能看起来合理,却遗漏了回归问题、没有完整修复错误,或者违反仓库的代码规范。更严格的测试会识别这些缺陷。

Artificial Analysis 在 11 月 14 日的公告 中报告:

  • 在两个 FrontierCode 版本上都接受测试的 23 种配置,在新任务集上的分数全部降低。
  • 这些配置的 FrontierCode 平均分从 45% 降至 29%。
  • 整体 Coding Agent Index 平均下降约五分。

这反映的是评测任务和标准发生了变化,并不意味着相同模型的编程能力突然退步。

FrontierCode 平均下降 16 个百分点。如果另外两个组成部分保持不变,由于三项权重相同,这一变化相当于综合 Index 下降约 5.3 分。

这个计算可以解释整体平均降分的主要部分。

因此,选型时不要直接拿某个模型的 v2.0 分数与 v2.1 分数比较。

还要区分 FrontierCode-AA 2.0、Cognition 独立发布的 FrontierCode 结果,以及 Artificial Analysis Intelligence Index 中的结果。这些评测使用不同的 Agent 运行框架。即使任务名称相同,得分也不能直接互换。

Terminal-Bench 4.1 改的是验证方式,不是任务

Terminal-Bench 4.1 保留了版本 4.0 的全部 66 个任务。

更新的重点是更准确地验证 Agent 的输出,并降低 reward hacking 的影响。Reward hacking 指的是 Agent 没有真正完成要求的工作,却通过利用评测规则获得分数。

Terminal-Bench 团队的官方更新说明 介绍了两类改进:更严格地隔离 Agent 编写的代码,以及修复误判正确答案的验证器。

在版本 4.1 中,如果验证过程需要运行 Agent 提交的代码,可以将其作为不受信任的用户放在独立进程中执行。这样代码就无法直接读取受保护的测试,也无法修改记录评分的文件。

新版还修正了一些对解题方式限制过严的验证器。

例如,freecad-platform-drawing 原本要求使用二维草图拉伸生成 3D 模型。即使 Agent 直接使用原生 3D 图元构建了正确模型,也可能被判失败。版本 4.1 已经允许这种同样正确的实现方式。

Artificial Analysis 表示,在两个 Terminal-Bench 版本中都测试过的 23 种配置,分数变化均不到三个点。

因此,FrontierCode-AA 2.0 才是新 Index 整体降分的主要原因。

v2.1 还修改了 API 成本的计算方式。官方方法论版本历史 明确记录,该计算方式现在与 Artificial Analysis Intelligence Index 的方法保持一致。

更新后的方法将 API 提供商报告的 token 数量,与各模型典型缓存命中率的实时测量数据结合起来。如果提供商对创建缓存收费,也会计入相应的缓存写入费用。

这与仅使用某次基准测试运行期间测得的缓存命中率不同。实际 API 路由的缓存行为可能不一样,因此最终账单也可能不同。

Fable 5.2 的 high、xhigh、max 到底值不值得?

如果希望 Fable 5.2 在保持较强编码能力的同时避免不必要的推理开销,high 是更合理的起点。

Artificial Analysis 的 Claude Code 与 Codex 对比结果 在 2026-11-15 显示了以下 Fable 5.2 配置:

Fable 5.2 effortIndex v2.1单题 API 成本单题 Agent 耗时
low48$2.4913.4 min
medium53$2.8915.1 min
high58$7.5131.3 min
xhigh58$15.4753.3 min
max56$44.222.2 hours

这些价格均以 USD 计价,代表在该基准测试任务集上,按照 token 用量计算的平均 API 成本。

它们不是 Claude Code 订阅套餐的额度,也不能直接作为每个实际开发任务的成本预测。

从表格可以得出三个实用的 effort 选择建议。

任务范围明确、容易验证时,先试 medium。 它得到 53 分,平均每题 $2.89。对于测试条件清晰的小型修复,如果控制成本比首次提交质量更重要,可以优先测试这一档。

需要完成复杂仓库修改时,优先选择 high。 它以每题 $7.51 的成本,取得 Fable 5.2 公开整数评分中的最高分 58。

使用 xhigh 前,先证明它确实带来收益。 这一档每题 $15.47,成本约为 high 的 2.06 倍,但两者显示的综合评分都是 58。

Artificial Analysis 指出,medium、high、xhigh 均位于成本与性能的帕累托前沿。这意味着在原始评测数据中,每种配置都有自己的优势。

显示为相同的整数分数,并不代表未四舍五入的真实分数完全一致。但团队仍需要通过自己的任务,证明 xhigh 的额外支出有价值。

最大的差异出现在 max:

[ \frac{$44.22}{$7.51}\approx5.89 ]

在这次评测中,max 的单题成本约为 high 的 5.9 倍,综合 Index 却低了两分。

这相当于每个基准测试任务多花 $36.71,但整体评测结果没有得到提升。

为什么 Fable 5.2 max 的得分反而更低?

Artificial Analysis 认为,max 分数较低的主要原因是更多任务触及了执行时间上限。

在其 effort 与超时数据分析 中,公布了以下比例:

基准测试Fable 5.2 xhigh 超时比例Fable 5.2 max 超时比例
FrontierCode-AA 2.01%16%
SWE-Atlas-QnA-AA0%13%

这些数字是因超时而结束的尝试所占比例,并不是全部任务的失败率。

同一份报告还指出,在 FrontierCode-AA 2.0 上,Fable 5.2 的 max 每题使用的输出 token 数量约为 xhigh 的三倍。

更多推理会占用更多时间。如果 Agent 在截止前没有完成工作,这次尝试就会被记为零分。

因此,更贵的 effort 档位可能得到更低的基准测试分数。

不过,这并不能证明在时间无限的情况下,max 本身就比其他档位差。它只能说明,在本次任务集和时间限制下,max 表现更差。

这个区别对生产环境同样重要。如果任务超过 CI 或自动化流程的截止时间,即使模型最终可能写出更好的补丁,这次执行在业务上仍然可能失败。

Fable 5.2、Opus 5.5、GPT-6.1 Sol 和 Kimi K3.1 Pro 怎么选?

应根据最贴近实际工作类型的基准测试,以及可以接受的成本来选择配置。综合 Index 将不同的软件工程任务合并评分,同样的总分可能掩盖模型之间的重要差异。

Fable 更擅长修改代码,Opus 更擅长仓库问答

Artificial Analysis 公布的分项结果如下:

配置FrontierCode-AA 2.0Terminal-Bench 4.1SWE-Atlas-QnA-AAIndex
Claude Code + Fable 5.2 high49%64%62%58
Claude Code + Fable 5.2 xhigh49%64%62%58
Claude Code + Opus 5.5 max44%65%66%58

这些数据对应不同的使用场景。

对于复杂的仓库代码修改,先测试 Fable 5.2 的 high。在 FrontierCode-AA 2.0 上,它比 Opus 5.5 max 高出五个百分点。

对于代码仓库调研、分析现有实现以及回答技术问题,可以先测试 Opus 5.5 的 max。它在 SWE-Atlas-QnA-AA 上得到 66%,而 Fable 为 62%,领先四个百分点。

在 Terminal-Bench 4.1 上,两者的差距很小,分别为 64% 和 65%。

同一份 Coding Agent Index 数据显示,Opus 5.5 max 的单题成本为 $12.61。

这一价格低于 Fable 5.2 xhigh 的 $15.47,但高于 Fable high 的 $7.51。

因此,Opus 5.5 max 可以作为 Fable xhigh 的合理替代方案,尤其适合仓库问答和现有代码分析。如果主要目标是产出可通过审核、能够合并的代码修改,Fable high 仍然是成本更低的首选测试对象。

如果准备在同一个项目中比较 Opus,可以参考 Claude Code 切换并固定 Opus 5.5 的指南,明确选择目标模型,避免受之前配置的模型别名影响。

GPT-6.1 Sol 是低成本基准选择

Codex 搭配 GPT-6.1 Sol,在 max 下取得 52 分,平均单题成本只有 $1.51。

分项结果如下:

组成部分GPT-6.1 Sol max
FrontierCode-AA 2.042%
Terminal-Bench 4.154%
SWE-Atlas-QnA-AA60%

Sol 没有在这三个基准测试中取得第一名。它的优势是在明显更低的 API 成本下,仍然提供有实用价值的编码能力。

如果需要批量处理大量可以用测试验证的编码任务,而且成本控制比追求最高 Index 分数更重要,可以先从 Sol 开始。

如果发现某类任务中 Sol 经常生成无法接受的修改,或者需要大量人工复核和重试,再测试 Fable 5.2 high。

如果 Fable 增加的初始成本没有换来足够多的合格结果,就继续使用 Sol。

更多选型条件可参考 GPT-6.1 Sol、GPT-6 Astra 与 Claude Opus 5.5 对比指南。

Kimi K3.1 Pro 在终端任务中领先

根据 Artificial Analysis 公布的 Terminal-Bench 4.1 分项结果,Kimi Code CLI 搭配 Kimi K3.1 Pro 取得了 68% 的成绩,在这一组成部分中排名第一。

其他主要配置的成绩为:

  • Claude Code + Sonnet 5.5 max:66%
  • Claude Code + Opus 5.5 max:65%
  • Antigravity CLI + Gemini 4 Carbon high:65%
  • Claude Code + Fable 5.2 high 或 xhigh:64%

但 Kimi Code CLI 的整体 Coding Agent Index 结果只有 49 分,平均 API 成本为每题 $2.94。

这说明 Kimi 在终端任务上的领先,并没有延续到综合 Index。

如果 Agent 的主要工作是终端自动化、修复环境、执行命令或修改配置,可以优先评估 Kimi K3.1 Pro。

如果主要工作是修改仓库源码,则应先与 Fable high 比较。如果 Fable 在 FrontierCode 上的优势也能在自己的代码仓库中复现,那么支付更高成本可能是合理的。

配置模型和 Agent 运行环境时,可以参考 Kimi K3.1 Pro 在 Claude Code、Codex 中的接入指南。

安全拒答和 fallback 会怎样影响评分?

Coding Agent Index v2.1 测量的是完整的 Agent 配置,其中可能包括模型因安全原因拒绝任务后的处理行为。

部分 Agent 会在主模型拒绝继续执行时切换到另一模型,这个过程称为 fallback,即回退到备用模型。

Artificial Analysis 在 安全拒答与回退分析 中公布了由 fallback 模型完成的尝试比例:

测试配置由 fallback 模型完成的尝试占比
Devin Fusion CLI: Opus 5.5 max + GPT-6 Luna high9%
Claude Code + Opus 5.5 max9%
Claude Code + Fable 5.2 xhigh6%
Claude Code + Sonnet 5.5 max5%

评测还报告,Codex 搭配 GPT-6.1 Sol max 和 GPT-6 Astra max 时,约有 1% 的尝试因拒答而被阻止完成。

需要区分“完成一次尝试”和“成功解决任务”。

Fallback 模型完成了尝试,并不代表它给出了正确答案。这只说明主模型拒绝后,另一模型将执行过程继续到了结束。

根据 官方评分规则,fallback 完成的尝试仍按照正常标准打分。如果拒答导致尝试最终被阻断,该次尝试就会得到零分。

这对结果解读有两个影响。

首先,Opus 5.5 的 58 分并不完全代表 Opus 单独完成每个任务的能力。部分计入评分的尝试实际上由备用模型完成。

其次,fallback 比例无法告诉我们关闭 fallback 后,Opus 或 Fable 的得分会是多少。完成比例也不等于这些备用模型对成功结果的贡献比例。

编码基准测试包含一些安全相关任务,可能触发模型或 API 提供商的拒答机制。实际生产环境中的安全策略、备用模型配置和请求路由可能不同。

比较 Agent 时,应记录执行过程中是否发生模型切换。否则,路由造成的成本或质量差异可能被错误归因于主模型。

如何设置 Claude Code effort 并控制支出?

使用 Fable 5.2 时,建议先设为 high。只有当某类实际任务能证明其他档位更合适时,再调整 effort。

Anthropic 的 effort 官方文档 确认,Fable 5.2 支持 low、medium、high、xhigh 和 max 五个级别,API 默认值为 high。

Opus 5.5 同样支持全部五个级别,但它的 API 默认值是 medium。

这个区别会影响模型比较。Coding Agent Index 中 Opus 5.5 max 的成绩,并不代表直接使用 API 默认设置就能得到相同结果。

在 Claude Code 中设置并确认 effort

首先确保已经安装 Claude Code,并配置了 Fable 5.2 的访问权限。

在代码仓库目录下打开终端。

使用 Bash 执行:

claude --model claude-fable-5-2 --effort high

进入 Claude Code 交互式会话后,执行:

/model
/effort

确认当前启用的是预期模型和 effort 级别。

Anthropic 的 Claude Code effort 设置教程还记录了以下交互命令:

/effort medium
/effort high
/effort xhigh
/effort auto

根据需要一次执行一条命令。最后执行的命令会设置当前会话请求的 effort。

/effort auto 会恢复为所选模型的默认级别。

如果希望保存某个模型对应的 effort,可以在本地交互式会话中使用 /effort。

从 Claude Code v2.1.251 开始,客户端会将选择的级别保存到用户设置文件 ~/.claude/settings.json 中的 modelSettings。

不要依赖这个用户文件顶层的 effortLevel 来配置 Fable 5.2。

根据 Claude Code 设置参考文档,Opus 5.5 及之后发布的模型会忽略旧的用户级 effortLevel,直到你为相应模型保存专属设置。

也可以通过环境变量 CLAUDE_CODE_EFFORT_LEVEL 设置 effort。

Claude Code 环境变量参考文档明确指出,该变量的优先级高于 --effort、/effort、modelSettings 和 effortLevel。

如果发现 /effort 或 --effort 没有生效,先检查是否设置了 CLAUDE_CODE_EFFORT_LEVEL。如果希望以交互命令或启动参数为准,需要移除这个覆盖设置。

一般测试时,优先使用 /effort 或 --effort。启动参数只对单次会话生效,而交互式保存的选择可以在后续会话中继续使用。

除非通过环境变量明确指定,否则 Claude Code 的 max 仅对当前会话生效。

Enterprise 管理员还可能为模型设置 effort 上限。如果请求的级别超过允许范围,Claude Code 会按照实际允许的上限运行。

更多模型接入和验证细节可参考 Claude Fable 5.2 的 Claude Code 与 API 配置指南。

如何在自己的代码仓库中比较 effort?

选择一项具有明确验收标准的代表性任务。

例如,让 Agent 检查某个失败的解析器测试,找出原因,实施最小且正确的修复,运行相关测试,并报告修改的文件。

先使用 Fable 5.2 high 执行。

记录测试最终结果、代码修改是否被接受、执行耗时、API 费用,以及是否发生超时或 fallback。

然后将代码仓库恢复到相同的初始状态,分别使用 medium 和 xhigh 重复执行。

各次测试应保持相同的工具权限、测试命令、仓库版本和任务时间限制。

通过以下四个问题评估结果:

  1. 代码修改是否通过了规定的测试和代码审核?
  2. 更高的 effort 是否减少了修改被拒绝或重新执行的次数?
  3. Agent 是否在业务要求的时间内完成任务?
  4. 质量改善是否足以抵消额外 API 成本?

如果团队有大量重复任务,应从每个主要任务类别中选择多个代表性案例。不能仅凭一次成功的运行,就决定整个项目的默认配置。

计算每个被接受结果的总成本,并计入失败尝试和重试成本。人工审核与基础设施费用应和 API 支出分开记录。

相比直接用基准测试的单题费用除以 Index 分数,这种指标更有助于决定真实项目预算。

换一个 API 提供商,推荐的 effort 会变吗?

从 high 开始的策略可以在其他 API 路由上验证,但不能直接套用公开基准测试中的单题成本。

截至 2026-11-15,BetterToken 的模型目录列出了可通过按量付费 API 访问的 claude-fable-5-2、claude-opus-5-5、gpt-6.1-sol 和 kimi-k3.1-pro。

其 Claude Code 接入文档使用 Anthropic 兼容的 Base URL https://bettertoken.ai,不需要添加 /v1。

BetterToken API 访问与 Claude 订阅服务相互独立。模型路由、缓存行为及支持的功能可能影响实际支出和运行结果。

因此,在将 Artificial Analysis 的单题成本应用到其他 API 路由之前,先验证 endpoint 是否正确处理 effort 设置,再测量实际请求费用。

对于按 token 计费的重复编码任务,建议从 Fable 5.2 high 开始处理复杂实现。如果降低 effort 后仍能保持代码验收率,就使用更低档位。只有在实际测出收益时,才升级到 xhigh。

不要仅仅因为 max 是最高档,就把它设为所有任务的默认值。更有价值的衡量标准是:Agent 能否在时间和预算范围内完成任务,以及有多少代码修改最终通过审核。

BetterToken · 企业采购
企业专属价
支持开发票对公转账 / 支付宝 / 微信支付全系列文本 / 编程、图像、视频模型
文本 / 编程
图像
视频
专属技术支持领取企业折扣价目表 →