MaxxBench:哪些编程模型真正遵循变化后的需求?
MaxxBench 修改了 89 道 DeepSWE 任务,用于测试模型适应需求变化的能力。本文对比最初的 12 组模型配置及推理强度,分析猜测隐藏测试造成的失败,比较不同 API 接入方式,并介绍如何在自己的代码仓库中设计需求变更测试。
本文内容

当多个编程代理的 DeepSWE 分数相近,但你的代理却忽略了修改后的需求时,MaxxBench 就值得关注。根据 unLAP 公布的测试结果,对于这类任务,可以优先考虑 Claude Opus 5.5 和 GPT-6 Astra。更换默认模型之前,先在自己的代码仓库中修改一项需求,分别测试这两个模型。
应该优先测试哪些模型?
在公布的对比中,Claude Opus 5.5 排名第一,其次是 GPT-6 Astra 和 GPT-5.6 Sol。这个顺序适合用来筛选重视规格遵循能力的模型,但不能保证它们在你的编程工具中也有相同表现。
下面保留最初公布的 12 组模型配置。截至 2026-11-16,研究页面上的最新对比已经包含 17 组配置。分数来自研究报告中的对比表,推理强度来自 MaxxBench 排行榜。
| 模型 | 推理强度 | 已公布的 DeepSWE 分数 | MaxxBench |
|---|---|---|---|
| Claude Opus 5.5 | max | 74.2% | 76.4% |
| GPT-6 Astra | xhigh | 74.1% | 71.9% |
| GPT-5.6 Sol | max | 72.7% | 69.1% |
| Claude Fable 5 | xhigh | 69.9% | 63.5% |
| Claude Opus 5 | max | 73.6% | 63.5% |
| GLM-5.3 | max | 69.0% | 56.7% |
| DeepSeek V4.1 Flash | max | 74.2% | 55.6% |
| GLM-5.3 Flash | max | 63.4% | 55.1% |
| Gemini 3.8 Flash | high | 73.8% | 53.4% |
| GPT-5.6 Luna | max | 67.2% | 46.1% |
| Muse Spark 1.2 | xhigh | 54.9% | 38.8% |
| DeepSeek V4 Flash | max | 53.3% | 28.1% |
在这 12 组配置中,最高分与最低分之间的差距,从 DeepSWE 上的 20.9 个百分点扩大到 MaxxBench 上的 48.3 个百分点。原本分差不超过 1.5 个百分点的 6 组配置,在修改需求后拉开了 23.0 个百分点。只有 Opus 5.5 的分数有所上升;Astra 和 Sol 分别下降了 2.2 和 3.6 个百分点。
如果你的项目经常修改需求,可以先对比 Opus 5.5 和 Astra。通过自己的测试,如果 Astra 能以更少的总时间或费用满足相同的验收标准,就优先选择 Astra。
对于范围明确、测试覆盖充分的修改任务,如果 Flash 模型能够以可接受的总成本通过检查,也可以继续使用。DeepSeek V4.1 Flash 的 55.6% 和 Gemini 3.8 Flash 的 53.4%,不足以证明哪一个更适合你的代码仓库。除了 Token 单价,还要比较重试次数和人工审查时间。Coding Agent Index 的单任务成本指南进一步介绍了这类成本选择。
注意区分模型检查点。当前排行榜单独列出了 DeepSeek V4.1 Flash 1017,而上表使用的是较早的 DeepSeek 测试结果。在将基准测试中的名称对应到 API 模型之前,请先阅读 DeepSeek Flash 版本与编程能力指南。
MaxxBench 修改了哪些内容?
MaxxBench 修改了 89 道 DeepSWE 任务的指令或初始代码,同时保留原本的核心工程问题。unLAP 会相应修改参考实现和测试,并继续检查那些不应该改变的原有行为。
其中一道任务要求为每个浏览器生成独立报告。MaxxBench 增加了文件名必须使用小写字母的要求:Chrome.xml 必须改为 chrome.xml,同时报告功能仍然要正常工作。完整规格可以查看公开的 Testem 任务。
另一道任务为 FastAPI 路由增加了废弃日期。修改后的要求规定,时间戳必须使用 UTC,并以 Z 结尾,而不是保留输入时间戳原来的时区偏移量。
参考补丁增加的行数中位数为 17 行,占原补丁的 3.5%。这个数字描述的是额外增加的补丁规模,而不是实现整个功能所需的工作量。公开的运行工具要求所有必要的功能测试和回归测试都必须通过。
为什么模型理解了修改内容,最终仍然会失败?
unLAP 对模型执行轨迹的分析发现,有些代理会让自己对隐藏测试的猜测凌驾于明确的需求之上。公布的案例显示,代理给出的解释与最终提交的代码可能并不一致。
在一道 ytt 任务中,GLM-5.3 已经意识到,将 uint64 转换为 float64 可能造成精度损失。但它仍然认为测试不会检查足够大的数值。验证程序实际检查了 2^53 + 1,最终该次运行失败。
在 Opus 5、GLM-5.3 和 GLM-5.3 Flash 的修改检查失败案例中,约四分之一都出现了类似情况:模型理解了新需求,却又恢复了 DeepSWE 原本要求的行为。
另外,unLAP 将猜测测试导致的失败比例分别统计为:Opus 5.5 的 16.7%、Opus 5 的 30.8%,以及 GLM-5.3 的 40.3%。
这些百分比描述的是研究人员分类后的失败案例,而不是全部请求,也不是你的生产环境故障率。模型执行轨迹分析说明了为什么不能只看模型是否正确解释需求,还必须检查最终代码的实际行为。
测试时应该选择哪种接入方式?
如果你已经有符合使用条件的账户,并且可以使用目标模型,先用现有账户进行测试。以 Opus 测试为例,截至 2026-11-16,可以考虑以下接入方式。
| 接入方式 | 所需条件与计费方式 | 适合什么情况 |
|---|---|---|
| Claude Code 订阅 | 需要自己的 claude.ai 账户和受支持的付费套餐。确认目标模型可用,并且还有剩余使用额度。通过网站购买订阅需要信用卡或借记卡。 | 已经使用 Claude Code,希望评估完整订阅与工具组合。 |
| Anthropic API | 需要 Console 账户、API 凭证和可支付费用的资金。大多数组织使用预付额度。输入、输出和缓存 Token 采用不同的计费规则。接受信用卡和借记卡。 | 希望直接使用模型供应商的 API,并单独统计实际用量。 |
| BetterToken | 需要自己的账户、API Key 和余额,按照具体模型的使用量收费。在控制台检查支付方式,并使用对应工具的官方配置文档。 | 希望通过独立的 API 服务商,以按量付费方式使用已列出的模型。 |
选择官方接入方式时,先检查 Claude 支持的国家和地区,或者 Anthropic API 支持的地区。Anthropic 分别提供了 Claude Code 身份验证说明和 Console 计费说明。
通过 BetterToken 在 Claude Code 中测试 Opus 5.5
截至 2026-11-16,BetterToken 已列出 claude-opus-5-5 和 claude-opus-5。通过 Claude Code API 接入使用模型,与 Claude.ai 订阅是两种独立的服务。扩大测试范围之前,先查看当前价格。
安装 Claude Code后,在 BetterToken 控制台创建自己的 API Key。Claude Code 接入文档规定使用 https://bettertoken.ai 作为基础 URL,不需要添加 /v1。
在 Bash 中运行以下命令:
read -rs BETTERTOKEN_API_KEY && export BETTERTOKEN_API_KEY
export ANTHROPIC_BASE_URL="https://bettertoken.ai"
export ANTHROPIC_AUTH_TOKEN="$BETTERTOKEN_API_KEY"
export ANTHROPIC_MODEL="claude-opus-5-5"
claude -p "Reply with only: OK"
第一条命令等待输入时,粘贴你在控制台创建的 Key,然后按 Enter。输入内容不会显示在屏幕上,也不会写入 Shell 历史记录。
如果收到 OK,说明连接已经成功。接着在控制台检查请求记录、模型名称、Token 用量和扣费金额。然后在专门用于测试的代码仓库副本中运行 claude。
如果要对比 Opus 5,在启动新会话之前,将 ANTHROPIC_MODEL 设置为 claude-opus-5。
如果出现 401,先检查 Token,并从当前 Shell 环境中移除冲突的 ANTHROPIC_API_KEY。在交互式会话中,运行 /status,确认显示的是 BetterToken 基础 URL 和 ANTHROPIC_AUTH_TOKEN。如果请求发送到了错误的服务地址,检查冲突的配置,然后重新启动 Claude Code。
如何在自己的代码仓库中测试需求变更?
选择仓库中已经实现的一项功能,然后修改一条可以通过实际结果验证的需求。这是一种本地模型选型测试,不是复现 MaxxBench。
先保存干净的基准版本,并运行与任务相关的现有测试。在要求代理修改代码之前,先写好新的验收检查。确认原始代码确实会因为预期的原因无法通过新检查。
为每个候选模型提供完全相同的代码副本,并开启全新对话。保持工具版本、权限、依赖和任务指令一致。记录模型 ID 和推理强度,不要假设 max、xhigh 和 high 代表相同的计算预算。
如果你的代码仓库已经能够为每个浏览器生成独立报告,可以使用下面的提示词:
Goal: Make per-browser report filenames lowercase.
Allowed scope: Report filename generation and its focused tests.
Preserve: Report contents, separate files for each browser, and existing filename escaping.
Acceptance: Chrome produces chrome.xml. Firefox produces firefox.xml. Existing reporting tests still pass.
Verification: Add focused tests, implement the change, and run the repository's reporting tests. Report the exact test command, its result, and changed files. Stop when these checks pass.
自己运行验收检查,并检查生成的文件。如果补丁通过了新测试,却破坏了原有报告功能,就应该拒绝它。即使模型给出了正确解释,只要没有产生要求的结果,也应算作一次失败。
记录失败次数、重试次数、耗时、模型推理费用和代码审查时间。将包含所有重试在内的模型推理总费用,除以通过全部验收检查的修改数量。人工审查时间单独统计。
一次成功的文件名修改,只能算基本的冒烟测试。在为整个团队选择模型之前,还应该从自己的待办任务中挑选具有代表性的需求变更,重复上述测试。只要低成本候选模型能够满足验收标准,就可以继续使用;如果无法满足,再将任务交给能力更强的模型。
不应该从这些分数中得出什么结论?
分数差距说明有必要进一步测试模型的适应能力,但它并没有测量模型记忆了多少答案。Datacurve 发布的 DeepSWE包含 113 道任务,而 MaxxBench 修改了其中 89 道。unLAP 还修改了参考实现和测试。因此,公布的修改前后分数并不能单独衡量需求变更带来的影响。
这些结果由基准测试的创建者公布,而且不同模型使用了不同的推理强度设置。在没有进行多轮、条件一致的测试之前,不要把微小的领先差距视为具有统计意义的决定性优势。Opus 5.5 提高 2.2 个百分点,也不能证明需求变更让它本身变得更强。
最后,你在本地 Claude Code 中进行的测试,与公开基准使用的 mini-swe-agent 运行环境并不相同。应该根据自己的测试结果选择适合代码仓库的工具和模型组合,而不是声称已经复现了排行榜。