Coding Agent Index v2.1:Fable 5.2とOpus 5.5のeffort比較

Coding Agent Index v2.1では、Claude Fable 5.2のhighとxhigh、Claude Opus 5.5のmaxがいずれも58点です。一方、Fable 5.2のmaxは56点に下がり、1タスク当たりの費用はhighの$7.51に対して$44.22でした。FrontierCode-AA 2.0によるスコア低下、タイムアウト、安全上の拒否後のfallbackを解説し、Claude Codeでのeffort設定と従量課金の費用管理方法を紹介します。

目次
Coding Agent Index v2.1:Fable 5.2とOpus 5.5のeffort比較

Claude Fable 5.2をコーディングエージェントで使うなら、まずmaxではなくhighのeffortから始めてください。Artificial AnalysisのCoding Agent Index v2.1では、Fable 5.2のhighとxhighがともに58点でした。一方、maxは56点に下がり、1タスク当たりの費用もhighの$7.51に対して$44.22となりました。

Claude Opus 5.5もmaxで58点を獲得しています。ただし、どのベンチマークで高い性能を示すかはFable 5.2と異なります。

2026年11月14日に公開されたv2.1は、effortの初期設定を見直す根拠になります。推論量を増やすと、出力トークンと処理時間が増加します。制限時間までにタスクが終わらなければ、結果としてスコアが下がることもあります。

ここで紹介するのは、特定のモデル、エージェント実行環境、設定、制限時間で測定した結果です。本番環境のコード変更で同じ成功率が得られるという意味ではありません。

Coding Agent Index v2.1では何が変わったのか?

v2.1では、リポジトリのコード変更に対する評価が厳しくなりました。ターミナル操作の検証方法と、キャッシュを考慮したAPI費用の計算方法も更新されています。

Artificial Analysisは次の3つのベンチマークを組み合わせています。

コンポーネントタスク数評価対象v2.1での変更
FrontierCode-AA 2.0132メンテナーがマージを認める水準のコード変更FrontierCode 1.1から変更
Terminal-Bench 4.166エージェントによるターミナル操作タスクは同じで検証器を更新
SWE-Atlas-QnA-AA124リポジトリの動作を理解し、説明する能力v2.0から継続

公式の評価方法によると、最終的なIndexでは3つのコンポーネントを同じ重みで集計します。各タスクは3回実行され、まず試行ごとのスコアを平均し、次に各ベンチマーク内のタスクを平均します。

そのため、Terminal-Benchの66タスクとFrontierCodeの132タスクは、最終スコアに同じ重みで影響します。

スコア低下の主な原因はFrontierCode-AA 2.0

新しいFrontierCode-AA 2.0は、CognitionのFrontierCode 2.0をArtificial Analysisが実装したものです。

以前の評価では100タスクでしたが、今回は132タスクに増えました。評価の基本的な問いは変わりません。リポジトリのメンテナーがエージェントによる変更をマージするかどうかです。

ただし、新しいタスクでは、より広範囲にわたる実装が求められます。

CognitionのFrontierCode 2.0発表では、参照実装が変更するファイル数は平均67%、コード行数は89%増えたと報告されています。必須の評価基準も43%増加しました。

こうした必須条件はblocking criteriaと呼ばれます。1つでも満たさなければ、その試行は0点になります。

エージェントが一見正しいパッチを作成しても、リグレッションを残したり、修正が不完全だったりする場合があります。プロジェクトの規約に反する変更も、評価に影響します。

Artificial Analysisは11月14日の発表で、次の結果を報告しました。

  • 両バージョンのFrontierCodeで評価した23構成は、すべて新しいタスクセットでスコアが低下しました。
  • FrontierCodeの平均スコアは45%から29%になりました。
  • Coding Agent Index全体では、平均約5点低下しました。

これは評価内容が変わった結果です。同じモデルのコーディング能力が突然低下したことを示すものではありません。

FrontierCodeの平均が16ポイント下がると、ほかの2コンポーネントが変わらない場合、均等加重のIndexには約5.3ポイントの低下として反映されます。この計算から、全体の平均スコア低下の大部分を説明できます。

モデルを選ぶ際に、v2.0のスコアとv2.1のスコアをそのまま比較しないでください。

また、FrontierCode-AA 2.0をCognition単独の評価やArtificial AnalysisのIntelligence Indexと混同しないでください。使用するエージェント実行環境が異なるため、同じタスク名でもスコアを直接比較できません。

Terminal-Bench 4.1ではタスクではなく検証方法が変わった

Terminal-Bench 4.1は、バージョン4.0と同じ66タスクを使用します。

変更点は、エージェントの成果物を正しく評価する仕組みです。reward hackingへの対策も強化されました。これは、実際の仕事を完了せず、採点の仕組みを利用して得点する行為を指します。

Terminal-Benchチームのリリースノートでは、エージェントが作成したコードの実行環境を分離する改善と、正しい解答を誤って不合格にする検証器の修正が説明されています。

バージョン4.1では、提出されたコードを信頼されていないユーザーとして別プロセスで実行できます。これにより、保護されたテストの読み取りや採点ファイルの書き換えを直接行えなくなります。

検証器が解法を狭く限定しすぎていた問題も修正されました。

例えば、freecad-platform-drawingでは以前、2Dスケッチを押し出して3Dモデルを作成する方式を前提としていました。そのため、3Dプリミティブを直接使った正しい解答が不合格になっていました。バージョン4.1では、この別の正しい解法も認められます。

Artificial Analysisによると、両バージョンで評価した23構成のTerminal-Benchスコアは、いずれも変動が3ポイント未満でした。

したがって、Index全体の低下を説明する主な要因はFrontierCodeです。

v2.1ではAPI費用の計算方法も変わりました。評価方法のバージョン履歴には、Artificial Analysis Intelligence Indexと計算方法を合わせたことが明記されています。

更新後の方法では、APIプロバイダーが報告するトークン数と、各モデルの一般的なキャッシュヒット率を実測したデータを組み合わせます。プロバイダーがキャッシュ作成に課金する場合は、その費用も含めます。

これは、特定のベンチマーク実行時に測定されたキャッシュヒット率だけを使う方法とは異なります。APIの経路が変わり、キャッシュの動作が異なると、実際の請求額も変わる可能性があります。

Fable 5.2のhigh・xhigh・maxは費用に見合うのか?

Fable 5.2でコーディング性能と費用を両立させたいなら、まずhighを選んでください。効果が確認できていない追加の推論に費用をかけずに済みます。

2026-11-15に確認したArtificial AnalysisのClaude CodeとCodexの比較結果には、次のデータが掲載されています。

Fable 5.2のeffortIndex v2.1API費用/タスクエージェント時間/タスク
low48$2.4913.4 min
medium53$2.8915.1 min
high58$7.5131.3 min
xhigh58$15.4753.3 min
max56$44.222.2 hours

費用は、ベンチマークのタスクについて算出したUSD建ての平均APIトークン料金です。サブスクリプションの利用枠ではなく、すべての開発タスクに当てはまる価格でもありません。

実際の選択では、主に3つのケースを考えます。

範囲が明確な作業にはmediumを検討します。 スコアは53、費用は1タスク当たり$2.89です。明確なテストで検証できる小さな修正では、初回の品質を最大化するより費用を優先できる場合があります。

難しいリポジトリ変更にはhighを使います。 Fable 5.2の公開された整数スコアでは最高の58点で、1タスク当たり$7.51です。

xhighは効果を測定してから選びます。 表示スコアは同じ58点ですが、費用はhighの約2.06倍です。

Artificial Analysisは、medium、high、xhighがすべて費用と性能のパレートフロンティア上にあると報告しています。これは、元のデータでは各設定に何らかの優位性があるという意味です。

整数に丸めた58点が同じでも、丸める前のスコアまで等しいとは限りません。それでも、xhighの追加費用は自分のタスクで得られる効果によって判断する必要があります。

最も大きな違いはmaxです。

[ \frac{$44.22}{$7.51}\approx5.89 ]

この評価では、maxの費用は**highの約5.9倍**ですが、Indexスコアは2点低くなりました。

追加費用は1タスク当たり$36.71です。集計スコアの改善は確認されていません。

Fable 5.2のmaxはなぜスコアが低いのか?

Artificial Analysisは、maxのスコアが低くなった主な原因として、タスクの制限時間への到達を挙げています。

effortとタイムアウトの分析では、次の割合が報告されています。

ベンチマークFable 5.2 xhighのタイムアウト率Fable 5.2 maxのタイムアウト率
FrontierCode-AA 2.01%16%
SWE-Atlas-QnA-AA0%13%

これらはタイムアウトした試行の割合であり、タスク全体の失敗率ではありません。

同じ報告によると、FrontierCode-AA 2.0では、Fable 5.2のmaxが生成する出力トークン数は、1タスク当たりxhighの約3倍です。

推論量が増えると処理時間も増えます。制限時間内に作業を終えられない試行は0点になります。

そのため、より高額な設定がかえって低いスコアにつながることがあります。

ただし、時間が無制限でもmaxの性能が必ず低いと証明されたわけではありません。今回のタスクと時間制限の条件下では、maxの結果が悪かったということです。

本番のエージェントでも同じ区別が重要です。CIや自動化処理の期限までにパッチを完成できなければ、時間をかけることで改善できる可能性があっても、運用上は失敗となります。

Fable 5.2、Opus 5.5、GPT-6.1 Sol、Kimi K3.1 Proのどれを選ぶ?

自分の作業に近いベンチマークの結果と費用の上限を基準に選びます。Indexには異なる種類のソフトウェア開発作業が含まれるため、総合点が同じでも得意分野は異なります。

コード変更はFable、リポジトリのQ&AはOpus

Artificial Analysisのコンポーネント別結果は次のとおりです。

構成FrontierCode-AA 2.0Terminal-Bench 4.1SWE-Atlas-QnA-AAIndex
Claude Code + Fable 5.2 high49%64%62%58
Claude Code + Fable 5.2 xhigh49%64%62%58
Claude Code + Opus 5.5 max44%65%66%58

難しいリポジトリの変更には、まずFable 5.2のhighを試してください。FrontierCode-AA 2.0では、Opus 5.5のmaxを5ポイント上回っています。

リポジトリの調査や技術的な説明には、Opus 5.5のmaxを試してください。SWE-Atlas-QnA-AAでは、Fableの62%に対して66%でした。

Terminal-Bench 4.1では64%と65%で、両者の差は小さいものです。

同じCoding Agent Indexで、Opus 5.5のmaxは1タスク当たり$12.61です。Fable 5.2のxhighの$15.47より安く、Fableのhighの$7.51より高くなります。

したがって、特にリポジトリに関するQ&Aでは、Opus 5.5 maxはFable xhighの有力な代替候補です。一方、マージ可能なコード変更を作成する作業では、費用の低いFable highから試すのが合理的です。

Opusを実際に比較する際は、Claude CodeでOpus 5.5に切り替える手順を確認してください。以前から使っているエイリアスに依存せず、意図したモデルを選べます。

GPT-6.1 Solは低コストの比較基準

CodexでGPT-6.1 Solをmaxにすると、スコアは52、費用は1タスク当たり$1.51です。

コンポーネント別の結果は次のとおりです。

コンポーネントGPT-6.1 Sol max
FrontierCode-AA 2.042%
Terminal-Bench 4.154%
SWE-Atlas-QnA-AA60%

Solは3つのコンポーネントのいずれでも首位ではありません。比較的低いAPI費用で、実用的なコーディング性能を得られる点が強みです。

テストによって成否を確認できるタスクを大量に処理するなら、最高のIndexスコアより費用管理を優先してSolから始めてください。

Solの変更が頻繁に却下されたり、再試行やレビューに多くの時間がかかったりするタスクが見つかった場合は、Fable 5.2のhighを試します。

Fableの高い初期費用を補えるほど承認される成果物が増えなければ、Solを継続してください。

さらに詳しい選定条件は、GPT-6.1 Sol、Astra、Opusの比較記事で確認できます。

ターミナル操作ではKimi K3.1 Proが首位

Artificial Analysisのベンチマーク別結果によると、Kimi Code CLIとKimi K3.1 Proの組み合わせは、Terminal-Bench 4.1で**68%**を獲得しました。このコンポーネントでは首位です。

ほかの主要な構成は次の結果でした。

  • Claude Code + Sonnet 5.5 max: 66%
  • Claude Code + Opus 5.5 max: 65%
  • Antigravity CLI + Gemini 4 Carbon high: 65%
  • Claude Code + Fable 5.2 highまたはxhigh: 64%

ただし、Kimi Code CLIの総合結果は49点で、平均API費用は1タスク当たり$2.94です。

ターミナル操作での優位性は、総合Indexの首位につながっていません。

環境の修復、コマンドの実行、設定変更など、ターミナル中心の自動化ではKimi K3.1 Proを最初の比較候補にしてください。

主な作業がコードの実装なら、Fable highとも比較してください。FrontierCodeでの性能差が自分のリポジトリでも再現されるなら、Fableの追加費用が妥当になる可能性があります。

モデルとエージェントの設定には、Kimi K3.1 Proのコーディング設定ガイドを利用できます。

安全上の拒否とfallbackはスコアにどう影響するか?

Coding Agent Index v2.1は、モデル単体ではなくエージェント構成全体を評価します。安全上の理由でモデルが処理を拒否した後、別のモデルに切り替わる動作も含まれる場合があります。

この切り替えをfallbackと呼びます。メインモデルがタスクの続行を拒否すると、エージェントが別のモデルに処理を渡すことがあります。

Artificial Analysisの安全上の拒否に関する分析では、fallbackモデルが完了させた試行の割合が報告されています。

評価された構成fallbackモデルが完了させた試行
Devin Fusion CLI: Opus 5.5 max + GPT-6 Luna high9%
Claude Code + Opus 5.5 max9%
Claude Code + Fable 5.2 xhigh6%
Claude Code + Sonnet 5.5 max5%

同じ報告では、CodexのGPT-6.1 Sol maxとGPT-6 Astra maxで、約1%の試行がブロックされたとされています。

fallbackモデルが試行を完了したからといって、必ず正解したわけではありません。メインモデルの拒否後、別のモデルが処理を最後まで実行したという意味です。

公開された採点ルールでは、fallbackで完了した試行は通常どおり採点されます。拒否により処理が止まった試行は0点です。

この仕組みは、比較結果の解釈に2つの注意点をもたらします。

まず、Opus 5.5の58点は、すべてのタスクをOpus単体で処理した結果ではありません。一部の試行は別のモデルが完了させています。

次に、fallbackの割合だけでは、fallbackを無効にした場合のスコアは分かりません。また、その割合が正解にどれほど寄与したかも分かりません。

ベンチマークにはセキュリティ関連のタスクがあり、モデルやプロバイダーによる拒否が発生する場合があります。本番環境ではfallbackの設定、プロバイダーのポリシー、モデルの経路が異なる可能性があります。

エージェントを比較する際は、途中でモデルが切り替わったか記録してください。そうしないと、経路の違いによる費用や品質の差を、メインモデルの差と誤認するおそれがあります。

Claude Codeでeffortを設定し、費用を管理する方法

Fable 5.2では、まずhighを使ってください。ほかのレベルに変更するのは、特定のタスクで改善が確認できた場合に限ります。

Anthropicのeffortに関するドキュメントによると、Fable 5.2はlow、medium、high、xhigh、maxに対応しています。APIの既定値はhighです。

Opus 5.5も同じ5つのレベルに対応していますが、APIの既定値はmediumです。

この違いは比較の前提として重要です。ベンチマークで使われたOpus 5.5のmaxは、既定値のまま送信した通常のAPIリクエストとは異なります。

Claude Codeでeffortを指定して確認する

Claude Codeをインストールし、Fable 5.2へのアクセスを設定しておきます。

リポジトリ内でターミナルを開いてください。

Bashでは次を実行します。

claude --model claude-fable-5-2 --effort high

Claude Codeの対話セッションでは、次を実行します。

/model
/effort

意図したモデルとeffortが有効になっているか確認してください。

AnthropicのClaude Code effort設定チュートリアルには、次のコマンドも記載されています。

/effort medium
/effort high
/effort xhigh
/effort auto

必要なコマンドを1つずつ実行してください。最後に指定したコマンドが、そのセッションで要求するeffortを決めます。

/effort autoを使うと、選択中のモデルの既定値に戻ります。

モデルごとに選択を保存したい場合は、ローカルの対話セッションで/effortを使います。Claude Code v2.1.251以降では、選んだレベルがユーザー設定ファイル~/.claude/settings.json内のmodelSettingsに保存されます。

Fable 5.2の設定に、そのファイル直下のeffortLevelを使うことは避けてください。Claude Codeの設定リファレンスによると、Opus 5.5以降のモデルは、モデル固有の設定を保存するまで、この古いユーザーレベルの値を無視します。

環境変数CLAUDE_CODE_EFFORT_LEVELでもeffortを指定できます。

環境変数リファレンスによると、この変数は--effort、/effort、modelSettings、effortLevelよりも優先されます。

/effortや--effortが効かない場合は、まずCLAUDE_CODE_EFFORT_LEVELが設定されていないか確認してください。対話コマンドや起動時の指定を反映させたい場合は、その上書き設定を解除します。

通常の比較には、/effortまたは--effortを推奨します。起動フラグの設定は1セッションだけに適用されます。一方、対話操作で保存した値は次のセッションにも残る場合があります。

Claude Codeのmaxは、環境変数で明示しない限り、そのセッションだけに適用されます。

Enterpriseでは管理者が利用可能なeffortの上限を設定できる場合もあります。上限を超えるレベルを要求しても、実際には許可された上限で実行されます。

モデル接続については、Claude Fable 5.2のClaude CodeおよびAPI設定ガイドも参照してください。

自分のリポジトリでeffortの効果を測る

合格条件が明確な、実際の開発作業を1つ選んでください。

例えば、パーサーの失敗したテストを調べ、必要最小限の修正を行い、関連テストを実行し、変更したファイルを報告するようエージェントに依頼します。

最初はFable 5.2のhighで実行します。テスト結果、変更の承認または却下、経過時間、API費用、タイムアウト、fallbackの有無を記録してください。

次にリポジトリを同じ初期状態へ戻し、mediumとxhighでもタスクを実行します。

ツールの権限、テストコマンド、リポジトリのリビジョン、制限時間をすべての試行で統一してください。

結果は次の4点で評価します。

  1. 変更は必要なテストとコードレビューを通過しましたか?
  2. effortを増やしたことで、変更の却下や再試行を減らせましたか?
  3. エージェントは運用上の期限内に作業を完了しましたか?
  4. 品質の改善は追加のAPI費用に見合いましたか?

繰り返し発生するタスクが多いチームでは、主なタスクの種類ごとに複数の例を使ってください。1回の成功だけで、すべての作業に共通する設定を決めることはできません。

失敗した試行と再試行を含め、承認された成果物1件当たりの総費用を計算します。人によるレビューとインフラの費用は、API料金と分けて記録してください。

この指標は、ベンチマークのタスク費用をIndexスコアで割るよりも、実際の予算判断に役立ちます。

APIプロバイダーが変わると推奨設定も変わる?

highから始めるという方針は、別のAPI経路でも検証できます。ただし、公開されたタスク単価をそのまま適用することはできません。

2026-11-15時点で、BetterTokenのモデル一覧には、従量課金で利用するモデルとしてclaude-fable-5-2、claude-opus-5-5、gpt-6.1-sol、kimi-k3.1-proが掲載されていました。

Claude Code連携ドキュメントでは、Anthropic互換のBase URLとしてhttps://bettertoken.aiを指定します。/v1は付けません。

BetterTokenのAPI利用とClaudeのサブスクリプションは別のサービスです。モデルの経路、キャッシュの動作、サポートされる機能の違いにより、実際の費用と結果は変わる場合があります。

Artificial Analysisの費用を別のAPI経路に当てはめる前に、指定したeffortが反映されるか確認し、実際の請求額を測定してください。

トークン従量課金のコーディング作業では、難しい実装にFable 5.2のhighを使い、承認率を維持できる作業ではeffortを下げます。xhighは改善を測定できた場合に限って使ってください。

最上位の設定だからという理由だけで、maxを全タスクの既定値にしないでください。時間と予算の範囲で作業を完了し、レビューを通過した変更をどれだけ得られるかを基準にしてください。

LLM ワークフローを最適化しませんか?

単一 API でモデルを接続し、キーと AI コストを管理できます。

無料で始める