MaxxBench:哪些编程模型真正遵循变化后的需求?

MaxxBench 修改了 89 道 DeepSWE 任务,用于测试模型适应需求变化的能力。本文对比最初的 12 组模型配置及推理强度,分析猜测隐藏测试造成的失败,比较不同 API 接入方式,并介绍如何在自己的代码仓库中设计需求变更测试。

本文内容
MaxxBench:哪些编程模型真正遵循变化后的需求?

当多个编程代理的 DeepSWE 分数相近,但你的代理却忽略了修改后的需求时,MaxxBench 就值得关注。根据 unLAP 公布的测试结果,对于这类任务,可以优先考虑 Claude Opus 5.5 和 GPT-6 Astra。更换默认模型之前,先在自己的代码仓库中修改一项需求,分别测试这两个模型。

应该优先测试哪些模型?

在公布的对比中,Claude Opus 5.5 排名第一,其次是 GPT-6 Astra 和 GPT-5.6 Sol。这个顺序适合用来筛选重视规格遵循能力的模型,但不能保证它们在你的编程工具中也有相同表现。

下面保留最初公布的 12 组模型配置。截至 2026-11-16,研究页面上的最新对比已经包含 17 组配置。分数来自研究报告中的对比表,推理强度来自 MaxxBench 排行榜。

模型推理强度已公布的 DeepSWE 分数MaxxBench
Claude Opus 5.5max74.2%76.4%
GPT-6 Astraxhigh74.1%71.9%
GPT-5.6 Solmax72.7%69.1%
Claude Fable 5xhigh69.9%63.5%
Claude Opus 5max73.6%63.5%
GLM-5.3max69.0%56.7%
DeepSeek V4.1 Flashmax74.2%55.6%
GLM-5.3 Flashmax63.4%55.1%
Gemini 3.8 Flashhigh73.8%53.4%
GPT-5.6 Lunamax67.2%46.1%
Muse Spark 1.2xhigh54.9%38.8%
DeepSeek V4 Flashmax53.3%28.1%

在这 12 组配置中,最高分与最低分之间的差距,从 DeepSWE 上的 20.9 个百分点扩大到 MaxxBench 上的 48.3 个百分点。原本分差不超过 1.5 个百分点的 6 组配置,在修改需求后拉开了 23.0 个百分点。只有 Opus 5.5 的分数有所上升;Astra 和 Sol 分别下降了 2.2 和 3.6 个百分点。

如果你的项目经常修改需求,可以先对比 Opus 5.5 和 Astra。通过自己的测试,如果 Astra 能以更少的总时间或费用满足相同的验收标准,就优先选择 Astra。

对于范围明确、测试覆盖充分的修改任务,如果 Flash 模型能够以可接受的总成本通过检查,也可以继续使用。DeepSeek V4.1 Flash 的 55.6% 和 Gemini 3.8 Flash 的 53.4%,不足以证明哪一个更适合你的代码仓库。除了 Token 单价,还要比较重试次数和人工审查时间。Coding Agent Index 的单任务成本指南进一步介绍了这类成本选择。

注意区分模型检查点。当前排行榜单独列出了 DeepSeek V4.1 Flash 1017,而上表使用的是较早的 DeepSeek 测试结果。在将基准测试中的名称对应到 API 模型之前,请先阅读 DeepSeek Flash 版本与编程能力指南。

MaxxBench 修改了哪些内容?

MaxxBench 修改了 89 道 DeepSWE 任务的指令或初始代码,同时保留原本的核心工程问题。unLAP 会相应修改参考实现和测试,并继续检查那些不应该改变的原有行为。

其中一道任务要求为每个浏览器生成独立报告。MaxxBench 增加了文件名必须使用小写字母的要求:Chrome.xml 必须改为 chrome.xml,同时报告功能仍然要正常工作。完整规格可以查看公开的 Testem 任务。

另一道任务为 FastAPI 路由增加了废弃日期。修改后的要求规定,时间戳必须使用 UTC,并以 Z 结尾,而不是保留输入时间戳原来的时区偏移量。

参考补丁增加的行数中位数为 17 行,占原补丁的 3.5%。这个数字描述的是额外增加的补丁规模,而不是实现整个功能所需的工作量。公开的运行工具要求所有必要的功能测试和回归测试都必须通过。

为什么模型理解了修改内容,最终仍然会失败?

unLAP 对模型执行轨迹的分析发现,有些代理会让自己对隐藏测试的猜测凌驾于明确的需求之上。公布的案例显示,代理给出的解释与最终提交的代码可能并不一致。

在一道 ytt 任务中,GLM-5.3 已经意识到,将 uint64 转换为 float64 可能造成精度损失。但它仍然认为测试不会检查足够大的数值。验证程序实际检查了 2^53 + 1,最终该次运行失败。

在 Opus 5、GLM-5.3 和 GLM-5.3 Flash 的修改检查失败案例中,约四分之一都出现了类似情况:模型理解了新需求,却又恢复了 DeepSWE 原本要求的行为。

另外,unLAP 将猜测测试导致的失败比例分别统计为:Opus 5.5 的 16.7%、Opus 5 的 30.8%,以及 GLM-5.3 的 40.3%。

这些百分比描述的是研究人员分类后的失败案例,而不是全部请求,也不是你的生产环境故障率。模型执行轨迹分析说明了为什么不能只看模型是否正确解释需求,还必须检查最终代码的实际行为。

测试时应该选择哪种接入方式?

如果你已经有符合使用条件的账户,并且可以使用目标模型,先用现有账户进行测试。以 Opus 测试为例,截至 2026-11-16,可以考虑以下接入方式。

接入方式所需条件与计费方式适合什么情况
Claude Code 订阅需要自己的 claude.ai 账户和受支持的付费套餐。确认目标模型可用,并且还有剩余使用额度。通过网站购买订阅需要信用卡或借记卡。已经使用 Claude Code,希望评估完整订阅与工具组合。
Anthropic API需要 Console 账户、API 凭证和可支付费用的资金。大多数组织使用预付额度。输入、输出和缓存 Token 采用不同的计费规则。接受信用卡和借记卡。希望直接使用模型供应商的 API,并单独统计实际用量。
BetterToken需要自己的账户、API Key 和余额,按照具体模型的使用量收费。在控制台检查支付方式,并使用对应工具的官方配置文档。希望通过独立的 API 服务商,以按量付费方式使用已列出的模型。

选择官方接入方式时,先检查 Claude 支持的国家和地区,或者 Anthropic API 支持的地区。Anthropic 分别提供了 Claude Code 身份验证说明和 Console 计费说明。

通过 BetterToken 在 Claude Code 中测试 Opus 5.5

截至 2026-11-16,BetterToken 已列出 claude-opus-5-5 和 claude-opus-5。通过 Claude Code API 接入使用模型,与 Claude.ai 订阅是两种独立的服务。扩大测试范围之前,先查看当前价格。

安装 Claude Code后,在 BetterToken 控制台创建自己的 API Key。Claude Code 接入文档规定使用 https://bettertoken.ai 作为基础 URL,不需要添加 /v1。

在 Bash 中运行以下命令:

read -rs BETTERTOKEN_API_KEY && export BETTERTOKEN_API_KEY
export ANTHROPIC_BASE_URL="https://bettertoken.ai"
export ANTHROPIC_AUTH_TOKEN="$BETTERTOKEN_API_KEY"
export ANTHROPIC_MODEL="claude-opus-5-5"
claude -p "Reply with only: OK"

第一条命令等待输入时,粘贴你在控制台创建的 Key,然后按 Enter。输入内容不会显示在屏幕上,也不会写入 Shell 历史记录。

如果收到 OK,说明连接已经成功。接着在控制台检查请求记录、模型名称、Token 用量和扣费金额。然后在专门用于测试的代码仓库副本中运行 claude。

如果要对比 Opus 5,在启动新会话之前,将 ANTHROPIC_MODEL 设置为 claude-opus-5。

如果出现 401,先检查 Token,并从当前 Shell 环境中移除冲突的 ANTHROPIC_API_KEY。在交互式会话中,运行 /status,确认显示的是 BetterToken 基础 URL 和 ANTHROPIC_AUTH_TOKEN。如果请求发送到了错误的服务地址,检查冲突的配置,然后重新启动 Claude Code。

创建 BetterToken 账户。

如何在自己的代码仓库中测试需求变更?

选择仓库中已经实现的一项功能,然后修改一条可以通过实际结果验证的需求。这是一种本地模型选型测试,不是复现 MaxxBench。

先保存干净的基准版本,并运行与任务相关的现有测试。在要求代理修改代码之前,先写好新的验收检查。确认原始代码确实会因为预期的原因无法通过新检查。

为每个候选模型提供完全相同的代码副本,并开启全新对话。保持工具版本、权限、依赖和任务指令一致。记录模型 ID 和推理强度,不要假设 max、xhigh 和 high 代表相同的计算预算。

如果你的代码仓库已经能够为每个浏览器生成独立报告,可以使用下面的提示词:

Goal: Make per-browser report filenames lowercase.

Allowed scope: Report filename generation and its focused tests.

Preserve: Report contents, separate files for each browser, and existing filename escaping.

Acceptance: Chrome produces chrome.xml. Firefox produces firefox.xml. Existing reporting tests still pass.

Verification: Add focused tests, implement the change, and run the repository's reporting tests. Report the exact test command, its result, and changed files. Stop when these checks pass.

自己运行验收检查,并检查生成的文件。如果补丁通过了新测试,却破坏了原有报告功能,就应该拒绝它。即使模型给出了正确解释,只要没有产生要求的结果,也应算作一次失败。

记录失败次数、重试次数、耗时、模型推理费用和代码审查时间。将包含所有重试在内的模型推理总费用,除以通过全部验收检查的修改数量。人工审查时间单独统计。

一次成功的文件名修改,只能算基本的冒烟测试。在为整个团队选择模型之前,还应该从自己的待办任务中挑选具有代表性的需求变更,重复上述测试。只要低成本候选模型能够满足验收标准,就可以继续使用;如果无法满足,再将任务交给能力更强的模型。

不应该从这些分数中得出什么结论?

分数差距说明有必要进一步测试模型的适应能力,但它并没有测量模型记忆了多少答案。Datacurve 发布的 DeepSWE包含 113 道任务,而 MaxxBench 修改了其中 89 道。unLAP 还修改了参考实现和测试。因此,公布的修改前后分数并不能单独衡量需求变更带来的影响。

这些结果由基准测试的创建者公布,而且不同模型使用了不同的推理强度设置。在没有进行多轮、条件一致的测试之前,不要把微小的领先差距视为具有统计意义的决定性优势。Opus 5.5 提高 2.2 个百分点,也不能证明需求变更让它本身变得更强。

最后,你在本地 Claude Code 中进行的测试,与公开基准使用的 mini-swe-agent 运行环境并不相同。应该根据自己的测试结果选择适合代码仓库的工具和模型组合,而不是声称已经复现了排行榜。

BetterToken · 企业采购
企业专属价
支持开发票对公转账 / 支付宝 / 微信支付全系列文本 / 编程、图像、视频模型
文本 / 编程
图像
视频
专属技术支持领取企业折扣价目表 →