MaxxBench:要件変更に対応できるコーディングモデルは?

MaxxBenchはDeepSWEの89課題を変更し、モデルの適応力を評価します。当初の12構成と推論設定を比較し、隠れたテストの推測による失敗を確認します。利用方法を選び、自分のリポジトリで要件変更への対応を試す手順を説明します。

目次
MaxxBench:要件変更に対応できるコーディングモデルは?

MaxxBenchは、DeepSWEのスコアが近く、どのコーディングエージェントも同じように見えるのに、使っているエージェントが要件変更を無視するときの選定材料になります。この用途では、unLAPの公開結果を踏まえ、まずClaude Opus 5.5とGPT-6 Astraを候補にします。既定のモデルを切り替える前に、自分のリポジトリで要件を1つ変え、両方を試してください。

どのモデルから試すべきですか?

公開された比較ではClaude Opus 5.5が首位で、GPT-6 Astra、GPT-5.6 Solが続きます。これは、細かな仕様への対応が重要な作業で、どのモデルから試すかを決めるための候補リストです。モデルを切り替えれば利用中のコーディングツールでも同じ結果になる、と保証するものではありません。

次の表には、当初の比較に使われた12構成をそのまま掲載しています。2026-11-16時点で、研究ページの比較対象は17構成に増えています。スコアは研究の比較表から、推論の強度はMaxxBenchのランキングから引用しています。

モデル推論の強度公表済みDeepSWEスコアMaxxBench
Claude Opus 5.5max74.2%76.4%
GPT-6 Astraxhigh74.1%71.9%
GPT-5.6 Solmax72.7%69.1%
Claude Fable 5xhigh69.9%63.5%
Claude Opus 5max73.6%63.5%
GLM-5.3max69.0%56.7%
DeepSeek V4.1 Flashmax74.2%55.6%
GLM-5.3 Flashmax63.4%55.1%
Gemini 3.8 Flashhigh73.8%53.4%
GPT-5.6 Lunamax67.2%46.1%
Muse Spark 1.2xhigh54.9%38.8%
DeepSeek V4 Flashmax53.3%28.1%

この12構成では、最高と最低のスコア差がDeepSWEの20.9パーセントポイントからMaxxBenchの48.3パーセントポイントに広がりました。元は1.5ポイント以内だった6構成の差は、23.0ポイントになっています。スコアが上がったのはOpus 5.5だけです。Astraは2.2ポイント、Solは3.6ポイント下がりました。

要件変更が繰り返される作業では、Opus 5.5とAstraを比較してください。自分の試行で同じ受け入れ条件を満たすかを確認し、総所要時間や費用を比べます。Astraが同じ条件を満たし、少ない時間または費用で済んだなら、Astraを選んでください。

変更範囲が限られ、十分なテストがある作業では、許容できる総費用でチェックに合格するFlashモデルを使い続けられます。DeepSeek V4.1 Flashの55.6%とGemini 3.8 Flashの53.4%だけでは、自分のリポジトリに適したモデルを確実に選べません。トークン単価だけでなく、再試行とレビューの時間も比べてください。費用に基づく選び方は、Coding Agent Indexのタスク単価ガイドで別途説明しています。

モデルの版は区別してください。現在のランキングにはDeepSeek V4.1 Flash 1017が別項目として載っていますが、上の表は以前のDeepSeekの結果です。ベンチマークの名前をAPIのモデルに対応付ける前に、DeepSeek Flashのバージョンとコーディング用途のガイドを確認してください。

MaxxBenchは何を変更していますか?

MaxxBenchはDeepSWEの89課題で指示または開始時点のコードを変え、主な実装課題は維持しています。unLAPは参照実装とテストを修正し、変えてはいけない動作のチェックも残しています。

ある課題では、ブラウザーごとに別のレポートを作成します。MaxxBenchではファイル名を小文字にする要件が加わり、Chrome.xmlをchrome.xmlに変える必要があります。レポート機能は引き続き動作しなければなりません。詳しい仕様は公開されているTestemの課題で確認できます。

別の課題では、FastAPIのルートに廃止日を設定します。変更後の要件は、入力されたタイムゾーンのオフセットを維持するのではなく、UTCのタイムスタンプを使い、末尾にZを付けることです。

参照実装のパッチに追加された量の中央値は17行、割合では3.5%です。これは、元の参照実装に対してどれだけ変更が増えたかを示す値です。各機能を実装するために必要な作業全体の大きさを示しているわけではありません。公開されている実行ツールでは、必要な機能テストと回帰テストのすべてに合格する必要があります。

要件を理解しても失敗するのはなぜですか?

unLAPがエージェントの実行過程を調べたところ、隠れたテストへの推測が明示された要件より優先される事例がありました。公開された例では、エージェントの説明と提出したコードの動作が一致していません。

yttの課題では、GLM-5.3はuint64の値をfloat64へ変換すると精度が失われる可能性を認識していました。それでも、十分に大きな値はテストされないだろうと判断しました。検証プログラムが2^53 + 1を確認すると、その実行は失敗しました。

Opus 5、GLM-5.3、GLM-5.3 Flashの変更後のチェックで起きた失敗をまとめると、約4分の1が同じ経過をたどっていました。新しい要件を理解した後で、元の動作に戻していたのです。またunLAPは、テストへの推測が失敗の一因となった割合を、Opus 5.5では16.7%、Opus 5では30.8%、GLM-5.3では40.3%と報告しています。

これらは研究者が分類した失敗に占める割合です。リクエスト全体に占める割合や、利用者の本番環境での失敗率ではありません。実行過程の分析は、正しい説明を証拠とみなさず、最終的な動作を確かめる必要性を示しています。

試すときはどの利用方法を選びますか?

候補のモデルをすでに利用でき、サービスの利用条件にも適合しているアカウントがあるなら、まずそれを使って試してください。Opusを試す場合、2026-11-16時点では次の選択肢があります。

利用方法必要なものと課金選ぶ場面
Claude Codeを利用できるサブスクリプション自分のclaude.aiアカウントと対応する有料プランが必要です。候補モデルが利用可能で、利用枠が残っていることを確認します。Webでの契約にはクレジットカードかデビットカードが必要です。すでにツールを使っていて、その構成全体を評価したい場合です。
Anthropic APIConsoleアカウント、API認証情報、利用料金を支払うための資金が必要です。大半の組織は前払いクレジットを使います。入力、出力、キャッシュの各トークンには異なる課金ルールがあります。クレジットカードとデビットカードに対応しています。提供元のAPIを直接利用し、使用量を別に計測したい場合です。
BetterToken自分のアカウント、APIキー、残高を用意します。モデル別の料金で課金されます。コンソールで支払い方法を確認し、ツールごとの公開された接続手順を使います。別のAPI提供者を通じて、一覧にあるモデルを従量課金で使いたい場合です。

公式サービスを利用する場合は、選んだ方法に応じてClaudeの対応地域またはAnthropic APIの対応地域を確認してください。AnthropicはClaude Codeの認証とConsoleの課金を別々に説明しています。

BetterToken経由でClaude CodeからOpus 5.5を試す

2026-11-16時点で、BetterTokenにはclaude-opus-5-5とclaude-opus-5が掲載されています。Claude Code向けのAPIアクセスは、Claude.aiのサブスクリプションとは別です。試す範囲を広げる前に現在の料金を確認してください。

Claude Codeをインストールしたら、BetterTokenのコンソールで自分のキーを作成します。Claude Codeの接続手順にあるベースURLはhttps://bettertoken.aiで、/v1は付けません。

Bashで次を実行します。

read -rs BETTERTOKEN_API_KEY && export BETTERTOKEN_API_KEY
export ANTHROPIC_BASE_URL="https://bettertoken.ai"
export ANTHROPIC_AUTH_TOKEN="$BETTERTOKEN_API_KEY"
export ANTHROPIC_MODEL="claude-opus-5-5"
claude -p "Reply with only: OK"

最初のコマンドが入力待ちになったら、コンソールで作成したキーを貼り付けてEnterを押します。入力内容は画面に表示されず、シェルの履歴にも保存されません。

OKが返れば接続できています。コンソールでリクエスト、モデル、トークン使用量、請求額を確認してください。続いて、試験用の作業コピーでclaudeを実行します。Opus 5と比較するには、新しいセッションを始める前にANTHROPIC_MODELをclaude-opus-5に設定します。

401が出た場合はトークンを確認し、競合するANTHROPIC_API_KEYがあれば、そのシェルの環境から取り除きます。対話セッションでは、/statusにBetterTokenのベースURLとANTHROPIC_AUTH_TOKENが表示されることを確認します。接続先が違う場合は、競合する設定を調べてClaude Codeを再起動してください。

BetterTokenのアカウントを作成する。

自分のリポジトリで要件変更をどう試しますか?

すでに実装されている機能を選び、結果を確認できる要件を1つ変えてください。これは手元の環境でモデルを選ぶための試行であり、MaxxBenchの再現実験ではありません。

余計な変更のない初期状態を保存し、関連する既存テストを実行します。エージェントにコードを変更させる前に、新しい受け入れテストを書き、変更後に期待する動作を確認できるようにしてください。初期状態では、意図した理由でそのテストが失敗することを確認します。

各候補には同じ状態の作業コピーを用意し、新しい会話を始めます。ツールのバージョン、権限、依存関係、課題の指示をそろえてください。モデルIDと推論の強度を記録し、max、xhigh、highが同じ予算を表すとは考えないでください。

ブラウザーごとのレポートをすでに生成しているリポジトリでは、次のプロンプトを使えます。

Goal: Make per-browser report filenames lowercase.

Allowed scope: Report filename generation and its focused tests.

Preserve: Report contents, separate files for each browser, and existing filename escaping.

Acceptance: Chrome produces chrome.xml. Firefox produces firefox.xml. Existing reporting tests still pass.

Verification: Add focused tests, implement the change, and run the repository's reporting tests. Report the exact test command, its result, and changed files. Stop when these checks pass.

受け入れテストを自分で実行し、生成されたファイルを確認してください。新しいテストだけに合格しても、以前から動いていたレポート機能を壊しているパッチは採用しないでください。説明が正しくても、必要な出力が得られなければ失敗として扱います。

失敗、再試行、経過時間、モデル呼び出しの費用、レビュー時間を記録します。再試行にかかった分も含めて、モデル呼び出しの費用をすべて合計します。その金額を、すべての受け入れテストに合格した変更の件数で割ってください。人がコードをレビューするために費やした時間は、モデルへの支払いとは分けて記録します。

ファイル名の変更に1回成功しただけでは、基本的な動作確認にとどまります。チーム全体でモデルを選ぶ前に、未着手のタスクから代表的な変更を選び、同じ手順を繰り返してください。低コストの候補を使い続けるのは、受け入れ条件を満たす間だけです。満たさなくなったら、より高性能な候補に作業を切り替えます。

スコアを読む際にどんな限界がありますか?

スコア差は、要件変更への対応をさらに試す根拠です。解答を記憶していた割合を測った数値ではありません。Datacurveが公開したDeepSWEには113課題があり、MaxxBenchは89課題を変更しています。unLAPは参照実装とテストも修正しています。そのため、公開された変更前後のスコアは、要件変更だけの影響を切り分けた結果ではありません。

これらの数値は、ベンチマークを作成した研究者自身が報告した結果です。また、各モデルで使われた推論の強度は統一されていません。条件をそろえた試行を繰り返さずに、小さな差を統計的に決定的なものと解釈しないでください。Opus 5.5の2.2ポイントの上昇も、要件を変えるとモデルの能力が上がる証拠ではありません。

また、手元のClaude Codeでの試行は、公開されたmini-swe-agentの実行とは異なるエージェント構成を評価します。結果は自分のリポジトリに適したツールとモデルの組み合わせを選ぶために使ってください。ランキングを再現できたという主張には使えません。

LLM ワークフローを最適化しませんか?

単一 API でモデルを接続し、キーと AI コストを管理できます。

無料で始める