Coding Agent Index v2.1:Fable 5.2 与 Opus 5.5 Effort 怎么选
Artificial Analysis Coding Agent Index v2.1 中,Claude Fable 5.2 的 high、xhigh 与 Opus 5.5 的 max 均获得 58 分。Fable 5.2 max 却降至 56 分,单题成本高达 $44.22,而 high 只需 $7.51。本文解析 FrontierCode-AA 2.0 和 Terminal-Bench 4.1 的更新、max 因超时失分的原因、安全拒答后的 fallback 机制,并比较 GPT-6.1 Sol、Kimi K3.1 Pro 的优势,帮助开发者设置 Claude Code effort 并控制按量付费成本。
本文内容

使用 Claude Fable 5.2 运行编码 Agent,建议从 high effort 开始,而不是直接拉到 max。在 Artificial Analysis Coding Agent Index v2.1 中,Fable 5.2 的 high 和 xhigh 都获得了 58 分,而 max 降至 56 分,单题成本却从 $7.51 增加到 $44.22。Claude Opus 5.5 在 max 下也取得 58 分,但它与 Fable 5.2 的优势分布在不同的基准测试中。
2026 年 11 月 14 日发布的这次更新,为重新选择默认 effort 提供了依据。更高的 effort 会消耗更多时间和输出 token,甚至可能因为任务超时而降低最终得分。
这些数据针对特定模型、Agent 运行框架、配置和任务时间限制,不能直接当作生产环境中的代码修改成功率。
Coding Agent Index v2.1 更新了什么?
v2.1 提高了代码仓库修改任务的评估难度,更新了终端任务的验证方式,同时调整了计入缓存影响的 API 成本计算方法。
Artificial Analysis 现在将以下三个基准测试合并为一个综合指数:
| 组成部分 | 任务数 | 评估内容 | v2.1 的变化 |
|---|---|---|---|
| FrontierCode-AA 2.0 | 132 | 代码修改能否达到仓库维护者愿意合并的标准 | 替换 FrontierCode 1.1 |
| Terminal-Bench 4.1 | 66 | Agent 使用终端完成任务的能力 | 保留原有任务,更新验证器 |
| SWE-Atlas-QnA-AA | 124 | 理解代码仓库并解释其运行行为的能力 | 从 v2.0 保留 |
根据 Artificial Analysis 官方评测方法,三个基准测试在最终 Index 中各占三分之一权重。
每个任务执行三次尝试。评测先计算同一任务三次尝试的平均分,再计算各基准测试内所有任务的平均分。
因此,Terminal-Bench 的 66 个任务与 FrontierCode 的 132 个工程任务,在综合指数中的权重相同。
FrontierCode-AA 2.0 为什么导致整体降分?
新的 FrontierCode-AA 2.0 是 Artificial Analysis 对 Cognition FrontierCode 2.0 的实现。
原来的评测包含 100 个任务,新版本增加到 132 个。核心评价标准没有改变:仓库维护者是否愿意接受并合并 Agent 提交的代码修改。
但新任务要求完成更大范围的实现工作。
Cognition 在 FrontierCode 2.0 发布说明 中指出,相比 FrontierCode 1.1,新版本参考答案平均涉及的文件数量增加 67%,修改的代码行数增加 89%,强制性评估条件增加 43%。
这些强制性条件称为 blocking criteria。它们规定了代码修改必须满足的要求。只要有一项 blocking criteria 未通过,该次尝试就会得到零分。
这对编码 Agent 很重要。一个补丁可能看起来合理,却遗漏了回归问题、没有完整修复错误,或者违反仓库的代码规范。更严格的测试会识别这些缺陷。
Artificial Analysis 在 11 月 14 日的公告 中报告:
- 在两个 FrontierCode 版本上都接受测试的 23 种配置,在新任务集上的分数全部降低。
- 这些配置的 FrontierCode 平均分从 45% 降至 29%。
- 整体 Coding Agent Index 平均下降约五分。
这反映的是评测任务和标准发生了变化,并不意味着相同模型的编程能力突然退步。
FrontierCode 平均下降 16 个百分点。如果另外两个组成部分保持不变,由于三项权重相同,这一变化相当于综合 Index 下降约 5.3 分。
这个计算可以解释整体平均降分的主要部分。
因此,选型时不要直接拿某个模型的 v2.0 分数与 v2.1 分数比较。
还要区分 FrontierCode-AA 2.0、Cognition 独立发布的 FrontierCode 结果,以及 Artificial Analysis Intelligence Index 中的结果。这些评测使用不同的 Agent 运行框架。即使任务名称相同,得分也不能直接互换。
Terminal-Bench 4.1 改的是验证方式,不是任务
Terminal-Bench 4.1 保留了版本 4.0 的全部 66 个任务。
更新的重点是更准确地验证 Agent 的输出,并降低 reward hacking 的影响。Reward hacking 指的是 Agent 没有真正完成要求的工作,却通过利用评测规则获得分数。
Terminal-Bench 团队的官方更新说明 介绍了两类改进:更严格地隔离 Agent 编写的代码,以及修复误判正确答案的验证器。
在版本 4.1 中,如果验证过程需要运行 Agent 提交的代码,可以将其作为不受信任的用户放在独立进程中执行。这样代码就无法直接读取受保护的测试,也无法修改记录评分的文件。
新版还修正了一些对解题方式限制过严的验证器。
例如,freecad-platform-drawing 原本要求使用二维草图拉伸生成 3D 模型。即使 Agent 直接使用原生 3D 图元构建了正确模型,也可能被判失败。版本 4.1 已经允许这种同样正确的实现方式。
Artificial Analysis 表示,在两个 Terminal-Bench 版本中都测试过的 23 种配置,分数变化均不到三个点。
因此,FrontierCode-AA 2.0 才是新 Index 整体降分的主要原因。
v2.1 还修改了 API 成本的计算方式。官方方法论版本历史 明确记录,该计算方式现在与 Artificial Analysis Intelligence Index 的方法保持一致。
更新后的方法将 API 提供商报告的 token 数量,与各模型典型缓存命中率的实时测量数据结合起来。如果提供商对创建缓存收费,也会计入相应的缓存写入费用。
这与仅使用某次基准测试运行期间测得的缓存命中率不同。实际 API 路由的缓存行为可能不一样,因此最终账单也可能不同。
Fable 5.2 的 high、xhigh、max 到底值不值得?
如果希望 Fable 5.2 在保持较强编码能力的同时避免不必要的推理开销,high 是更合理的起点。
Artificial Analysis 的 Claude Code 与 Codex 对比结果 在 2026-11-15 显示了以下 Fable 5.2 配置:
| Fable 5.2 effort | Index v2.1 | 单题 API 成本 | 单题 Agent 耗时 |
|---|---|---|---|
low | 48 | $2.49 | 13.4 min |
medium | 53 | $2.89 | 15.1 min |
high | 58 | $7.51 | 31.3 min |
xhigh | 58 | $15.47 | 53.3 min |
max | 56 | $44.22 | 2.2 hours |
这些价格均以 USD 计价,代表在该基准测试任务集上,按照 token 用量计算的平均 API 成本。
它们不是 Claude Code 订阅套餐的额度,也不能直接作为每个实际开发任务的成本预测。
从表格可以得出三个实用的 effort 选择建议。
任务范围明确、容易验证时,先试 medium。 它得到 53 分,平均每题 $2.89。对于测试条件清晰的小型修复,如果控制成本比首次提交质量更重要,可以优先测试这一档。
需要完成复杂仓库修改时,优先选择 high。 它以每题 $7.51 的成本,取得 Fable 5.2 公开整数评分中的最高分 58。
使用 xhigh 前,先证明它确实带来收益。 这一档每题 $15.47,成本约为 high 的 2.06 倍,但两者显示的综合评分都是 58。
Artificial Analysis 指出,medium、high、xhigh 均位于成本与性能的帕累托前沿。这意味着在原始评测数据中,每种配置都有自己的优势。
显示为相同的整数分数,并不代表未四舍五入的真实分数完全一致。但团队仍需要通过自己的任务,证明 xhigh 的额外支出有价值。
最大的差异出现在 max:
[ \frac{$44.22}{$7.51}\approx5.89 ]
在这次评测中,max 的单题成本约为 high 的 5.9 倍,综合 Index 却低了两分。
这相当于每个基准测试任务多花 $36.71,但整体评测结果没有得到提升。
为什么 Fable 5.2 max 的得分反而更低?
Artificial Analysis 认为,max 分数较低的主要原因是更多任务触及了执行时间上限。
在其 effort 与超时数据分析 中,公布了以下比例:
| 基准测试 | Fable 5.2 xhigh 超时比例 | Fable 5.2 max 超时比例 |
|---|---|---|
| FrontierCode-AA 2.0 | 1% | 16% |
| SWE-Atlas-QnA-AA | 0% | 13% |
这些数字是因超时而结束的尝试所占比例,并不是全部任务的失败率。
同一份报告还指出,在 FrontierCode-AA 2.0 上,Fable 5.2 的 max 每题使用的输出 token 数量约为 xhigh 的三倍。
更多推理会占用更多时间。如果 Agent 在截止前没有完成工作,这次尝试就会被记为零分。
因此,更贵的 effort 档位可能得到更低的基准测试分数。
不过,这并不能证明在时间无限的情况下,max 本身就比其他档位差。它只能说明,在本次任务集和时间限制下,max 表现更差。
这个区别对生产环境同样重要。如果任务超过 CI 或自动化流程的截止时间,即使模型最终可能写出更好的补丁,这次执行在业务上仍然可能失败。
Fable 5.2、Opus 5.5、GPT-6.1 Sol 和 Kimi K3.1 Pro 怎么选?
应根据最贴近实际工作类型的基准测试,以及可以接受的成本来选择配置。综合 Index 将不同的软件工程任务合并评分,同样的总分可能掩盖模型之间的重要差异。
Fable 更擅长修改代码,Opus 更擅长仓库问答
Artificial Analysis 公布的分项结果如下:
| 配置 | FrontierCode-AA 2.0 | Terminal-Bench 4.1 | SWE-Atlas-QnA-AA | Index |
|---|---|---|---|---|
Claude Code + Fable 5.2 high | 49% | 64% | 62% | 58 |
Claude Code + Fable 5.2 xhigh | 49% | 64% | 62% | 58 |
Claude Code + Opus 5.5 max | 44% | 65% | 66% | 58 |
这些数据对应不同的使用场景。
对于复杂的仓库代码修改,先测试 Fable 5.2 的 high。在 FrontierCode-AA 2.0 上,它比 Opus 5.5 max 高出五个百分点。
对于代码仓库调研、分析现有实现以及回答技术问题,可以先测试 Opus 5.5 的 max。它在 SWE-Atlas-QnA-AA 上得到 66%,而 Fable 为 62%,领先四个百分点。
在 Terminal-Bench 4.1 上,两者的差距很小,分别为 64% 和 65%。
同一份 Coding Agent Index 数据显示,Opus 5.5 max 的单题成本为 $12.61。
这一价格低于 Fable 5.2 xhigh 的 $15.47,但高于 Fable high 的 $7.51。
因此,Opus 5.5 max 可以作为 Fable xhigh 的合理替代方案,尤其适合仓库问答和现有代码分析。如果主要目标是产出可通过审核、能够合并的代码修改,Fable high 仍然是成本更低的首选测试对象。
如果准备在同一个项目中比较 Opus,可以参考 Claude Code 切换并固定 Opus 5.5 的指南,明确选择目标模型,避免受之前配置的模型别名影响。
GPT-6.1 Sol 是低成本基准选择
Codex 搭配 GPT-6.1 Sol,在 max 下取得 52 分,平均单题成本只有 $1.51。
分项结果如下:
| 组成部分 | GPT-6.1 Sol max |
|---|---|
| FrontierCode-AA 2.0 | 42% |
| Terminal-Bench 4.1 | 54% |
| SWE-Atlas-QnA-AA | 60% |
Sol 没有在这三个基准测试中取得第一名。它的优势是在明显更低的 API 成本下,仍然提供有实用价值的编码能力。
如果需要批量处理大量可以用测试验证的编码任务,而且成本控制比追求最高 Index 分数更重要,可以先从 Sol 开始。
如果发现某类任务中 Sol 经常生成无法接受的修改,或者需要大量人工复核和重试,再测试 Fable 5.2 high。
如果 Fable 增加的初始成本没有换来足够多的合格结果,就继续使用 Sol。
更多选型条件可参考 GPT-6.1 Sol、GPT-6 Astra 与 Claude Opus 5.5 对比指南。
Kimi K3.1 Pro 在终端任务中领先
根据 Artificial Analysis 公布的 Terminal-Bench 4.1 分项结果,Kimi Code CLI 搭配 Kimi K3.1 Pro 取得了 68% 的成绩,在这一组成部分中排名第一。
其他主要配置的成绩为:
- Claude Code + Sonnet 5.5
max:66% - Claude Code + Opus 5.5
max:65% - Antigravity CLI + Gemini 4 Carbon
high:65% - Claude Code + Fable 5.2
high或xhigh:64%
但 Kimi Code CLI 的整体 Coding Agent Index 结果只有 49 分,平均 API 成本为每题 $2.94。
这说明 Kimi 在终端任务上的领先,并没有延续到综合 Index。
如果 Agent 的主要工作是终端自动化、修复环境、执行命令或修改配置,可以优先评估 Kimi K3.1 Pro。
如果主要工作是修改仓库源码,则应先与 Fable high 比较。如果 Fable 在 FrontierCode 上的优势也能在自己的代码仓库中复现,那么支付更高成本可能是合理的。
配置模型和 Agent 运行环境时,可以参考 Kimi K3.1 Pro 在 Claude Code、Codex 中的接入指南。
安全拒答和 fallback 会怎样影响评分?
Coding Agent Index v2.1 测量的是完整的 Agent 配置,其中可能包括模型因安全原因拒绝任务后的处理行为。
部分 Agent 会在主模型拒绝继续执行时切换到另一模型,这个过程称为 fallback,即回退到备用模型。
Artificial Analysis 在 安全拒答与回退分析 中公布了由 fallback 模型完成的尝试比例:
| 测试配置 | 由 fallback 模型完成的尝试占比 |
|---|---|
| Devin Fusion CLI: Opus 5.5 max + GPT-6 Luna high | 9% |
Claude Code + Opus 5.5 max | 9% |
Claude Code + Fable 5.2 xhigh | 6% |
Claude Code + Sonnet 5.5 max | 5% |
评测还报告,Codex 搭配 GPT-6.1 Sol max 和 GPT-6 Astra max 时,约有 1% 的尝试因拒答而被阻止完成。
需要区分“完成一次尝试”和“成功解决任务”。
Fallback 模型完成了尝试,并不代表它给出了正确答案。这只说明主模型拒绝后,另一模型将执行过程继续到了结束。
根据 官方评分规则,fallback 完成的尝试仍按照正常标准打分。如果拒答导致尝试最终被阻断,该次尝试就会得到零分。
这对结果解读有两个影响。
首先,Opus 5.5 的 58 分并不完全代表 Opus 单独完成每个任务的能力。部分计入评分的尝试实际上由备用模型完成。
其次,fallback 比例无法告诉我们关闭 fallback 后,Opus 或 Fable 的得分会是多少。完成比例也不等于这些备用模型对成功结果的贡献比例。
编码基准测试包含一些安全相关任务,可能触发模型或 API 提供商的拒答机制。实际生产环境中的安全策略、备用模型配置和请求路由可能不同。
比较 Agent 时,应记录执行过程中是否发生模型切换。否则,路由造成的成本或质量差异可能被错误归因于主模型。
如何设置 Claude Code effort 并控制支出?
使用 Fable 5.2 时,建议先设为 high。只有当某类实际任务能证明其他档位更合适时,再调整 effort。
Anthropic 的 effort 官方文档 确认,Fable 5.2 支持 low、medium、high、xhigh 和 max 五个级别,API 默认值为 high。
Opus 5.5 同样支持全部五个级别,但它的 API 默认值是 medium。
这个区别会影响模型比较。Coding Agent Index 中 Opus 5.5 max 的成绩,并不代表直接使用 API 默认设置就能得到相同结果。
在 Claude Code 中设置并确认 effort
首先确保已经安装 Claude Code,并配置了 Fable 5.2 的访问权限。
在代码仓库目录下打开终端。
使用 Bash 执行:
claude --model claude-fable-5-2 --effort high
进入 Claude Code 交互式会话后,执行:
/model
/effort
确认当前启用的是预期模型和 effort 级别。
Anthropic 的 Claude Code effort 设置教程还记录了以下交互命令:
/effort medium
/effort high
/effort xhigh
/effort auto
根据需要一次执行一条命令。最后执行的命令会设置当前会话请求的 effort。
/effort auto 会恢复为所选模型的默认级别。
如果希望保存某个模型对应的 effort,可以在本地交互式会话中使用 /effort。
从 Claude Code v2.1.251 开始,客户端会将选择的级别保存到用户设置文件 ~/.claude/settings.json 中的 modelSettings。
不要依赖这个用户文件顶层的 effortLevel 来配置 Fable 5.2。
根据 Claude Code 设置参考文档,Opus 5.5 及之后发布的模型会忽略旧的用户级 effortLevel,直到你为相应模型保存专属设置。
也可以通过环境变量 CLAUDE_CODE_EFFORT_LEVEL 设置 effort。
Claude Code 环境变量参考文档明确指出,该变量的优先级高于 --effort、/effort、modelSettings 和 effortLevel。
如果发现 /effort 或 --effort 没有生效,先检查是否设置了 CLAUDE_CODE_EFFORT_LEVEL。如果希望以交互命令或启动参数为准,需要移除这个覆盖设置。
一般测试时,优先使用 /effort 或 --effort。启动参数只对单次会话生效,而交互式保存的选择可以在后续会话中继续使用。
除非通过环境变量明确指定,否则 Claude Code 的 max 仅对当前会话生效。
Enterprise 管理员还可能为模型设置 effort 上限。如果请求的级别超过允许范围,Claude Code 会按照实际允许的上限运行。
更多模型接入和验证细节可参考 Claude Fable 5.2 的 Claude Code 与 API 配置指南。
如何在自己的代码仓库中比较 effort?
选择一项具有明确验收标准的代表性任务。
例如,让 Agent 检查某个失败的解析器测试,找出原因,实施最小且正确的修复,运行相关测试,并报告修改的文件。
先使用 Fable 5.2 high 执行。
记录测试最终结果、代码修改是否被接受、执行耗时、API 费用,以及是否发生超时或 fallback。
然后将代码仓库恢复到相同的初始状态,分别使用 medium 和 xhigh 重复执行。
各次测试应保持相同的工具权限、测试命令、仓库版本和任务时间限制。
通过以下四个问题评估结果:
- 代码修改是否通过了规定的测试和代码审核?
- 更高的 effort 是否减少了修改被拒绝或重新执行的次数?
- Agent 是否在业务要求的时间内完成任务?
- 质量改善是否足以抵消额外 API 成本?
如果团队有大量重复任务,应从每个主要任务类别中选择多个代表性案例。不能仅凭一次成功的运行,就决定整个项目的默认配置。
计算每个被接受结果的总成本,并计入失败尝试和重试成本。人工审核与基础设施费用应和 API 支出分开记录。
相比直接用基准测试的单题费用除以 Index 分数,这种指标更有助于决定真实项目预算。
换一个 API 提供商,推荐的 effort 会变吗?
从 high 开始的策略可以在其他 API 路由上验证,但不能直接套用公开基准测试中的单题成本。
截至 2026-11-15,BetterToken 的模型目录列出了可通过按量付费 API 访问的 claude-fable-5-2、claude-opus-5-5、gpt-6.1-sol 和 kimi-k3.1-pro。
其 Claude Code 接入文档使用 Anthropic 兼容的 Base URL https://bettertoken.ai,不需要添加 /v1。
BetterToken API 访问与 Claude 订阅服务相互独立。模型路由、缓存行为及支持的功能可能影响实际支出和运行结果。
因此,在将 Artificial Analysis 的单题成本应用到其他 API 路由之前,先验证 endpoint 是否正确处理 effort 设置,再测量实际请求费用。
对于按 token 计费的重复编码任务,建议从 Fable 5.2 high 开始处理复杂实现。如果降低 effort 后仍能保持代码验收率,就使用更低档位。只有在实际测出收益时,才升级到 xhigh。
不要仅仅因为 max 是最高档,就把它设为所有任务的默认值。更有价值的衡量标准是:Agent 能否在时间和预算范围内完成任务,以及有多少代码修改最终通过审核。