Coding Agent Index v2.1: esforço do Fable 5.2 vs Opus 5.5

No Coding Agent Index v2.1, Claude Fable 5.2 com high ou xhigh e Opus 5.5 com max chegam a 58 pontos. Fable max cai para 56 e custa $44.22 por tarefa, contra $7.51 no high. Entenda as mudanças no FrontierCode-AA 2.0 e Terminal-Bench 4.1, os timeouts, o fallback após recusas de segurança e quando escolher GPT-6.1 Sol ou Kimi K3.1 Pro. Veja também como configurar o esforço no Claude Code e medir custos no seu repositório.

Conteúdo
Coding Agent Index v2.1: esforço do Fable 5.2 vs Opus 5.5

Para agentes de programação com Claude Fable 5.2, comece com esforço high, não max. No Coding Agent Index v2.1 da Artificial Analysis, Fable 5.2 marcou 58 pontos em high e xhigh. Já max caiu para 56 pontos e custou $44.22 por tarefa, contra $7.51 em high.

Claude Opus 5.5 com max também alcançou 58 pontos, mas seus melhores resultados aparecem em outros componentes do benchmark.

A atualização de 14 de novembro de 2026 mostra por que aumentar o esforço nem sempre ajuda. Mais raciocínio pode consumir muito tempo e mais tokens. Se o agente atingir o limite de tempo, poderá terminar com uma pontuação menor.

Esses resultados representam modelos, ferramentas de agentes, configurações e limites de tempo específicos. Eles não garantem a mesma taxa de sucesso em aplicações de produção.

O que mudou no Coding Agent Index v2.1?

A versão 2.1 tornou mais exigente a avaliação de alterações em repositórios, atualizou a verificação de tarefas de terminal e mudou a forma de calcular o custo de API com cache.

A Artificial Analysis combina três benchmarks:

ComponenteTarefasO que avaliaMudança na v2.1
FrontierCode-AA 2.0132Alterações que um mantenedor aceitaria integrar ao repositórioSubstitui FrontierCode 1.1
Terminal-Bench 4.166Uso do terminal por agentesMesmas tarefas, verificadores atualizados
SWE-Atlas-QnA-AA124Compreensão e explicação do funcionamento de repositóriosMantido desde v2.0

Segundo a metodologia oficial, cada benchmark representa um terço do índice final. São realizadas três tentativas por tarefa. Primeiro, a plataforma calcula a média das tentativas e depois a média das tarefas em cada componente.

Por isso, as 66 tarefas de terminal têm o mesmo peso no índice que as 132 tarefas de engenharia de software.

FrontierCode-AA 2.0 explica a queda nas pontuações

O novo FrontierCode-AA 2.0 é a implementação da Artificial Analysis do FrontierCode 2.0, criado pela Cognition.

A avaliação passou de 100 para 132 tarefas. O critério central continua sendo verificar se um mantenedor do repositório aceitaria a alteração feita pelo agente.

Porém, as tarefas novas exigem implementações mais extensas.

No anúncio do FrontierCode 2.0, a Cognition informa que as soluções de referência alteram, em média, 67% mais arquivos e 89% mais linhas de código. Também existem 43% mais critérios obrigatórios.

Esses blocking criteria definem requisitos que a solução precisa cumprir para receber crédito. Se um único critério obrigatório falhar, a tentativa recebe zero.

Isso importa para agentes que produzem um patch aparentemente correto, mas deixam uma regressão, uma correção incompleta ou uma mudança incompatível com as regras do projeto.

No comunicado de 14 de novembro, a Artificial Analysis apresentou os seguintes dados:

  • Todas as 23 configurações avaliadas nas duas versões do FrontierCode tiveram pontuações menores no novo conjunto de tarefas.
  • A média do FrontierCode caiu de 45% para 29%.
  • O Coding Agent Index completo caiu cerca de cinco pontos, em média.

Esses números refletem uma avaliação diferente. Eles não demonstram que os modelos ficaram subitamente piores para programar.

A queda de 16 pontos no FrontierCode equivale, isoladamente, a aproximadamente 5.3 pontos de um índice com três componentes de peso igual. Essa conta pressupõe que os outros dois componentes permaneçam constantes e explica boa parte da redução anunciada.

Portanto, não compare diretamente uma pontuação da v2.0 com uma da v2.1 para escolher seu modelo.

Também não confunda FrontierCode-AA 2.0 com os resultados independentes da Cognition ou com o Intelligence Index da Artificial Analysis. Eles utilizam ferramentas de agentes diferentes. O mesmo nome de benchmark não torna os resultados diretamente comparáveis.

Terminal-Bench 4.1 mudou os verificadores, não as tarefas

Terminal-Bench 4.1 mantém as 66 tarefas da versão 4.0.

A atualização melhora a verificação dos resultados e procura impedir reward hacking. Esse termo descreve situações em que um agente consegue pontos manipulando a avaliação sem realizar o trabalho esperado.

As notas oficiais do Terminal-Bench 4.1 documentam melhor isolamento do código produzido pelos agentes e correções para falsos negativos dos verificadores.

Na versão 4.1, o código submetido pode ser executado em um processo separado, com permissões de um usuário não confiável. Isso impede o acesso direto aos testes protegidos ou a alteração do arquivo com a pontuação.

A atualização também corrigiu verificadores que presumiam uma única maneira válida de resolver determinadas tarefas.

Por exemplo, freecad-platform-drawing antes rejeitava modelos corretos construídos diretamente com primitivas 3D. O verificador esperava objetos feitos por extrusão de desenhos 2D. Na versão 4.1, essa solução alternativa correta passou a ser aceita.

A Artificial Analysis informou que cada uma das 23 configurações testadas nas duas versões do Terminal-Bench mudou menos de três pontos.

Assim, FrontierCode é a principal explicação para a queda do índice geral.

A versão 2.1 também alterou o cálculo dos custos de API. O histórico de versões da metodologia registra o alinhamento ao método do Artificial Analysis Intelligence Index.

Agora, o cálculo combina a quantidade de tokens informada pelo provedor com medições atuais da taxa típica de acertos de cache de cada modelo. Ele também inclui cobranças pela gravação de cache quando o provedor aplica esse custo.

Isso é diferente de depender apenas da taxa observada durante uma execução específica do benchmark. Uma rota de API com outro comportamento de cache pode gerar uma cobrança diferente.

Fable 5.2 high, xhigh ou max: qual esforço vale o custo?

high é o melhor ponto de partida para Fable 5.2 quando você precisa de bons resultados de programação sem gastar com raciocínio adicional que ainda não demonstrou benefício.

Os resultados de Claude Code versus Codex, consultados em 15 de novembro de 2026, mostram:

Esforço do Fable 5.2Index v2.1Custo de API/tarefaTempo do agente/tarefa
low48$2.4913.4 min
medium53$2.8915.1 min
high58$7.5131.3 min
xhigh58$15.4753.3 min
max56$44.222.2 hours

Os custos são médias em USD, calculadas a partir de tarifas de API cobradas por token nas tarefas do benchmark.

Eles não representam os limites de uma assinatura nem estimam quanto custará qualquer demanda do seu projeto.

Há três decisões úteis para começar.

Escolha medium para tarefas delimitadas. Ele marca 53 pontos e custa $2.89 por tarefa. Pode ser uma boa opção para pequenas correções com testes claros, quando o custo pesa mais que a qualidade máxima na primeira tentativa.

Escolha high para alterações difíceis no repositório. Ele alcança a maior pontuação inteira publicada do Fable 5.2, com 58 pontos e custo de $7.51 por tarefa.

Exija um ganho medido antes de usar xhigh. Ele custa aproximadamente 2.06 vezes mais que high, embora ambos apareçam com 58 pontos arredondados.

A Artificial Analysis informa que medium, high e xhigh estão na fronteira de Pareto de custo e desempenho. Isso significa que cada configuração apresenta alguma vantagem nos dados originais.

O empate entre números inteiros não comprova que as pontuações sem arredondamento sejam iguais. Mesmo assim, o gasto adicional de xhigh precisa trazer benefício no seu tipo de tarefa.

A maior diferença está em max:

[ \frac{$44.22}{$7.51}\approx5.89 ]

Nessa avaliação, max custa aproximadamente 5.9 vezes o valor de high e ainda obtém dois pontos a menos no índice.

São $36.71 extras por tarefa avaliada, sem melhoria mensurada na pontuação agregada.

Por que Fable 5.2 max pontuou menos?

A Artificial Analysis atribui a pontuação menor de max principalmente às tarefas que atingem o limite de tempo.

Seu detalhamento de esforço e timeouts apresenta estas taxas:

BenchmarkTimeouts do Fable 5.2 xhighTimeouts do Fable 5.2 max
FrontierCode-AA 2.01%16%
SWE-Atlas-QnA-AA0%13%

Esses percentuais representam tentativas encerradas por limite de tempo, não a taxa total de tarefas malsucedidas.

O mesmo relatório indica que max utiliza aproximadamente três vezes mais tokens de saída por tarefa do FrontierCode-AA 2.0 que xhigh.

Mais raciocínio consome tempo. Quando o agente não conclui a tarefa antes do prazo, aquela tentativa recebe zero.

Isso explica como um nível de esforço mais caro pode produzir um resultado pior.

Não significa que max seja necessariamente inferior quando não existe limite de tempo. Significa que ele teve desempenho pior nas tarefas e restrições desta avaliação.

A diferença também importa em produção. Se sua automação ou seu CI interrompe a execução após o prazo, um patch potencialmente melhor não terá valor se o agente não conseguir entregá-lo a tempo.

Fable 5.2, Opus 5.5, GPT-6.1 Sol ou Kimi K3.1 Pro?

Escolha a configuração pelo tipo de tarefa, pelo benchmark mais relevante e pelo orçamento. O índice combina diferentes formas de trabalho em engenharia de software. Um empate na pontuação total pode esconder diferenças importantes.

Fable se destaca na implementação; Opus, na análise de repositórios

A Artificial Analysis apresenta o seguinte detalhamento:

ConfiguraçãoFrontierCode-AA 2.0Terminal-Bench 4.1SWE-Atlas-QnA-AAIndex
Claude Code + Fable 5.2 high49%64%62%58
Claude Code + Fable 5.2 xhigh49%64%62%58
Claude Code + Opus 5.5 max44%65%66%58

Para alterações difíceis em um repositório, teste primeiro Fable 5.2 com high. Ele supera Opus 5.5 max em cinco pontos no FrontierCode-AA 2.0.

Para investigar um repositório e explicar como o código funciona, teste Opus 5.5 max. Ele marca 66% no SWE-Atlas-QnA-AA, contra 62% do Fable.

No Terminal-Bench 4.1, a diferença é pequena: 64% e 65%.

Opus 5.5 max custa $12.61 por tarefa no mesmo Coding Agent Index. É mais barato que Fable 5.2 xhigh, com $15.47, mas mais caro que Fable high, com $7.51.

Portanto, Opus 5.5 max é uma alternativa razoável ao Fable xhigh, principalmente para perguntas sobre repositórios. Para produzir alterações prontas para revisão e merge, teste Fable high primeiro.

Se quiser comparar Opus diretamente no seu projeto, siga o guia para selecionar Opus 5.5 no Claude Code. Assim você escolhe a versão pretendida sem depender de um alias configurado anteriormente.

GPT-6.1 Sol é a referência de baixo custo

Codex com GPT-6.1 Sol em max obtém 52 pontos e custa $1.51 por tarefa.

Suas pontuações por componente são:

ComponenteGPT-6.1 Sol max
FrontierCode-AA 2.042%
Terminal-Bench 4.154%
SWE-Atlas-QnA-AA60%

Sol não lidera nenhum desses benchmarks. Sua vantagem é oferecer desempenho útil para programação com um custo de API bem menor.

Para um grande volume de tarefas verificáveis, comece com Sol quando controlar o gasto for mais importante que alcançar a maior pontuação.

Mude para Fable 5.2 high quando encontrar categorias de tarefas em que Sol produz muitas alterações rejeitadas ou exige revisão e novas tentativas demais.

Se o modelo mais caro não aumentar suficientemente a proporção de resultados aceitos para compensar a diferença, mantenha Sol.

O comparativo entre GPT-6.1 Sol, GPT-6 Astra e Claude Opus 5.5 traz critérios adicionais de escolha.

Kimi K3.1 Pro lidera as tarefas de terminal

Kimi K3.1 Pro com Kimi Code CLI alcança 68% no Terminal-Bench 4.1, conforme o detalhamento do benchmark publicado pela Artificial Analysis.

Os outros resultados destacados são:

  • Claude Code + Sonnet 5.5 max: 66%
  • Claude Code + Opus 5.5 max: 65%
  • Antigravity CLI + Gemini 4 Carbon high: 65%
  • Claude Code + Fable 5.2 high ou xhigh: 64%

Porém, o resultado geral do Kimi Code CLI é 49, com custo médio de API de $2.94 por tarefa.

Sua vantagem no componente de terminal não se estende ao índice completo.

Teste Kimi K3.1 Pro primeiro em automações que dependem muito do terminal, correções de ambiente, execução de comandos e operações de configuração.

Se o objetivo principal for implementar mudanças no código-fonte, compare com Fable high. O custo maior do Fable pode se justificar caso sua vantagem no FrontierCode também apareça nos seus repositórios.

Use o guia de configuração do Kimi K3.1 Pro para programação para preparar o modelo e a ferramenta de agentes.

Como recusas de segurança e fallback afetam os resultados?

O Coding Agent Index v2.1 mede a configuração completa de cada agente. Em alguns casos, isso inclui mudar de modelo depois de uma recusa por motivos de segurança.

Essa troca é chamada de fallback. Quando o modelo principal se recusa a continuar uma tarefa, o agente pode encaminhá-la para outro modelo.

O levantamento de recusas de segurança da Artificial Analysis informa as seguintes taxas:

Configuração avaliadaTentativas concluídas por um modelo fallback
Devin Fusion CLI: Opus 5.5 max + GPT-6 Luna high9%
Claude Code + Opus 5.5 max9%
Claude Code + Fable 5.2 xhigh6%
Claude Code + Sonnet 5.5 max5%

O benchmark também indica que Codex bloqueia aproximadamente 1% das tentativas com GPT-6.1 Sol max e GPT-6 Astra max.

Uma tentativa concluída pelo modelo fallback não significa necessariamente que a solução esteja correta. Significa que outro modelo terminou a execução depois da recusa inicial.

Segundo as regras de pontuação publicadas, essas tentativas são avaliadas normalmente. Se uma recusa interromper definitivamente o trabalho, a tentativa recebe zero.

Isso exige dois cuidados na interpretação dos resultados.

Primeiro, os 58 pontos do Opus 5.5 não representam exclusivamente respostas isoladas do Opus em todas as tarefas. Outro modelo concluiu parte das tentativas avaliadas.

Segundo, a porcentagem de fallback não informa qual seria a pontuação sem esse mecanismo. A proporção de tentativas transferidas também não revela quantas foram resolvidas corretamente.

Tarefas ligadas à segurança podem provocar recusas do modelo ou do provedor. Em produção, sua política de segurança, o roteamento e os modelos de fallback podem funcionar de forma diferente.

Ao comparar agentes, registre se houve mudança de modelo. Caso contrário, você pode atribuir ao modelo principal uma diferença de custo ou qualidade causada pelo roteamento.

Como configurar o esforço no Claude Code e controlar os gastos

Use high como configuração inicial do Fable 5.2. Altere o nível somente quando encontrar uma categoria de tarefas em que outro esforço traga um ganho mensurável.

A documentação da Anthropic sobre esforço confirma que Fable 5.2 oferece low, medium, high, xhigh e max. O padrão da API é high.

Opus 5.5 também oferece os cinco níveis, mas seu padrão de API é medium.

Essa condição é importante na comparação. O resultado do Opus 5.5 max no benchmark não corresponde a uma chamada comum com as configurações padrão.

Configurar e verificar o esforço no Claude Code

Você precisa ter o Claude Code instalado e acesso ao Fable 5.2 já configurado.

Abra um terminal no diretório do repositório.

No Bash, execute:

claude --model claude-fable-5-2 --effort high

Na sessão interativa do Claude Code, execute:

/model
/effort

Confira se o modelo e o nível de esforço esperados estão ativos.

O tutorial oficial de esforço no Claude Code também documenta estes comandos:

/effort medium
/effort high
/effort xhigh
/effort auto

Execute um comando por vez, conforme o nível desejado. O último comando define o esforço solicitado na sessão.

/effort auto restaura o padrão do modelo selecionado.

Para manter uma configuração específica por modelo, use /effort em uma sessão interativa local. A partir do Claude Code v2.1.251, o programa salva o nível escolhido em modelSettings, no arquivo de configurações do usuário ~/.claude/settings.json.

Não dependa de um effortLevel no nível principal desse arquivo para configurar Fable 5.2. A referência de configurações do Claude Code informa que Opus 5.5 e modelos posteriores ignoram essa configuração antiga de usuário até que um nível específico seja salvo para o modelo.

Outra opção é definir o esforço com a variável de ambiente CLAUDE_CODE_EFFORT_LEVEL.

Conforme a referência de variáveis de ambiente, ela tem prioridade sobre --effort, /effort, modelSettings e effortLevel.

Se /effort ou --effort parecer não funcionar, confira primeiro se CLAUDE_CODE_EFFORT_LEVEL está definida. Remova essa substituição se quiser usar o comando interativo ou o parâmetro de inicialização.

Para testes comuns, prefira /effort ou --effort. O parâmetro de inicialização vale por uma sessão, enquanto uma escolha interativa salva pode continuar ativa nas sessões seguintes.

Claude Code mantém max apenas na sessão atual, a menos que você o defina explicitamente pela variável de ambiente.

Administradores do Enterprise também podem limitar o esforço máximo permitido. Se você solicitar um nível superior, Claude Code poderá executar com o limite estabelecido.

Para outros detalhes de conexão, consulte o guia do Claude Fable 5.2 para Claude Code e API.

Comparar os níveis de esforço no seu repositório

Escolha uma tarefa representativa com critérios claros de aceitação.

Por exemplo, peça ao agente para investigar um teste com falha em um parser, fazer a menor correção adequada, executar os testes afetados e listar os arquivos modificados.

Comece com Fable 5.2 high. Registre o resultado dos testes, a aceitação ou rejeição da alteração, o tempo, os gastos de API e qualquer timeout ou fallback.

Repita a tarefa com medium e xhigh, restaurando sempre o repositório ao mesmo estado inicial.

Mantenha iguais as permissões das ferramentas, os comandos de teste, a revisão do repositório e o limite de tempo.

Avalie quatro questões:

  1. A alteração passou nos testes e na revisão de código exigidos?
  2. O esforço adicional evitou uma rejeição ou nova tentativa?
  3. O agente concluiu o trabalho dentro do prazo operacional?
  4. A melhoria compensou o custo extra de API?

Se sua equipe executa muitas tarefas recorrentes, use vários exemplos de cada categoria importante. Uma execução isolada não basta para definir o padrão de todo o projeto.

Calcule o custo total por resultado aceito. Inclua tentativas que falharam e execuções repetidas. Registre os custos de revisão humana e infraestrutura separadamente das cobranças de API.

Essa medida ajuda mais na decisão de orçamento do que dividir o custo de uma tarefa do benchmark pela pontuação do índice.

A recomendação muda com outro provedor de API?

A recomendação de começar com high pode ser testada em outra rota de API. Porém, os custos publicados por tarefa não devem ser transferidos diretamente.

Em 2026-11-15, o catálogo de modelos da BetterToken listava claude-fable-5-2, claude-opus-5-5, gpt-6.1-sol e kimi-k3.1-pro para acesso com pagamento por uso.

A documentação de integração com Claude Code indica o Base URL compatível com Anthropic https://bettertoken.ai, sem /v1.

O acesso pela API da BetterToken é separado das assinaturas do Claude. O roteamento, o comportamento do cache e as funcionalidades disponíveis podem mudar os gastos e os resultados observados.

Verifique como seu endpoint trata o nível de esforço e meça as cobranças reais antes de aplicar os custos por tarefa da Artificial Analysis a essa rota.

Para um fluxo recorrente de programação cobrado por tokens, comece com Fable 5.2 high nas implementações difíceis. Reduza o esforço onde a aceitação continuar satisfatória e reserve xhigh para ganhos comprovados.

Não torne max o padrão global só por ser o maior nível. Para sua equipe, importa mais o custo das alterações que o agente consegue concluir dentro do prazo e que passam na revisão.

Quer otimizar seu fluxo de trabalho com LLMs?

Conecte modelos por uma única API, gerencie chaves e controle os gastos com IA.

Começar grátis