Artificial Analysis Coding Agent Index v2.0: custo por tarefa

No Artificial Analysis Coding Agent Index v2.0, comece com Codex + GPT-6.1 Sol (max) para uma combinação de tarefas de programação, ou teste Codex + DeepSeek V4.1 Flash (max) primeiro quando o gasto com API for a principal restrição. Claude Code + Claude Opus 5.5 (max) é a opção com maior pontuação a testar quando uma alteração aceita justifica um orçamento maior. Essas recomendações partem dos resultados do benchmark para diferentes cargas de trabalho; os valores em dólares medem o uso da API, não preços de assinaturas nem custos garantidos em produção.

Esta comparação usa o anúncio de lançamento da Artificial Analysis de 23 de outubro, com a metodologia e a comparação atual verificadas em 2026-10-25. A unidade comparada é o modelo junto com o aplicativo que executa o agente, chamado de agent harness: ele gerencia o contexto, as ferramentas, a execução e a interação com o modelo.

Compare as quatro configurações destacadas

Entre estas quatro configurações, GPT-6.1 Sol é o ponto de partida mais útil para testar uma carga de trabalho variada dentro de um orçamento. DeepSeek reduz bastante a conta de API, enquanto Opus eleva a pontuação geral; Astra precisa de uma justificativa mais específica.

A AA destacou as seguintes combinações no anúncio de lançamento. Todas as quatro usam o nível de raciocínio max informado nos resultados.

Agente + modelo	Pontuação do índice v2.0	Pontuação no FrontierCode v1.1	Custo de API por tarefa
Codex + DeepSeek V4.1 Flash	47.3	52.6%	$0.39
Codex + GPT-6.1 Sol	54.1	49.4%	$1.50
Codex + GPT-6 Astra	54.7	49.3%	$7.04
Claude Code + Claude Opus 5.5	61.7	56.0%	$11.42

Os custos são médias em USD para a carga de trabalho do benchmark. A comparação atual entre Claude Code e Codex continua apresentando esses quatro custos em 2026-10-25, embora arredonde as pontuações exibidas.

Esta é uma seleção inicial, não o ranking completo nem todos os pontos da fronteira de custo e desempenho. A comparação atual também lista Codex + GPT-6 Luna (max) a $0.16 por tarefa, com pontuação arredondada de 31 no índice. DeepSeek é a opção mais barata entre as quatro destacadas, não entre todas as configurações avaliadas.

Opus lidera o ranking do lançamento. Claude Code + Sonnet 5.5 (max) vem em seguida, com 59.3, e Muse Code + Muse Wonder Full (max) aparece com 58.9. Uma posição elevada, por si só, não determina a melhor escolha para sua carga de trabalho ou seu limite de gastos.

Escolha de acordo com o trabalho que precisa concluir

Use a pontuação do componente relevante para decidir qual combinação testar primeiro. O índice geral atribui a mesma importância a três tipos de trabalho; sua lista de tarefas provavelmente não tem essa distribuição.

Alterações recorrentes no repositório: teste DeepSeek primeiro

Comece com Codex + DeepSeek V4.1 Flash quando houver muitas alterações com escopo delimitado e for possível verificar cada resultado com testes e revisão. Sua pontuação de 52.6% no FrontierCode supera os 49.4% de Sol e os 49.3% de Astra, embora o índice geral seja menor.

Isso justifica experimentar uma fila de alterações com baixo custo, mas não demonstra que o resultado se repetirá em produção. Reveja a escolha se alterações rejeitadas, tentativas adicionais ou correções feitas pelo revisor consumirem a economia na API.

Programação e trabalho no terminal: comece com Sol

Escolha Codex + GPT-6.1 Sol como referência inicial para trabalhos que alternam entre alterações no código e operações no ambiente de desenvolvimento. Ele fica 6.8 pontos acima de DeepSeek no índice, por mais $1.11 em cada tentativa no benchmark.

Os resultados arredondados do Terminal-Bench 4.0 na comparação oficial são 53% para Sol e 28% para DeepSeek. Essa diferença favorece testar Sol primeiro em trabalhos com uso intenso do terminal; ela não comprova que haverá a mesma diferença ao corrigir seu CI ou seus scripts de implantação. Prefira DeepSeek se ele atingir seus critérios de aceitação com um custo total menor.

Falhas caras: compare Opus com sua configuração de referência

Teste Claude Code + Opus 5.5 quando o custo de um resultado inadequado superar o aumento da conta de API. Ele tem a maior pontuação geral anunciada, 61.7, e a maior pontuação no FrontierCode entre estas quatro opções, 56.0%.

A $11.42 por tentativa no benchmark, custa cerca de 7.61 vezes os $1.50 de Sol. Mantenha essa opção para uma categoria de tarefas somente se sua comparação mostrar melhora suficiente nas alterações aceitas, no tempo de revisão ou nas novas tentativas para justificar o custo adicional.

Pensando em Astra: exija uma vantagem nas suas tarefas

Não troque Sol por Astra apenas pelo aumento de 54.1 para 54.7 no índice. O custo publicado passa de $1.50 para $7.04: cerca de 4.69 vezes o gasto por 0.6 ponto adicional.

Astra ainda pode ser melhor em uma distribuição específica de tarefas. Por exemplo, sua pontuação arredondada no Terminal-Bench é 56%, contra 53% de Sol. Comece com Sol e adote Astra somente depois de observar uma vantagem relevante no seu trabalho; a pequena diferença agregada, sozinha, não demonstra essa vantagem.

Calcule o orçamento sem transformar pontos em taxas de sucesso

Multiplique o custo informado pelo número de tentativas e trate o resultado como uma estimativa que depende da carga de trabalho. Não multiplique a quantidade de tarefas pelo percentual do índice e chame o resultado de correções concluídas.

Para ilustrar, considere 1,000 tentativas com a mesma composição de tarefas da AA e sem mudanças no custo médio dos tokens:

Configuração	Gasto estimado com API em 1,000 tentativas
Codex + DeepSeek V4.1 Flash	$390
Codex + GPT-6.1 Sol	$1,500
Codex + GPT-6 Astra	$7,040
Claude Code + Opus 5.5	$11,420

O cálculo é simplesmente o número de tentativas multiplicado pelo custo médio de API informado por tentativa: attempts × reported mean API cost per attempt. Essas estimativas não incluem sua infraestrutura, ferramentas externas pagas nem revisão humana. Elas não estimam o custo de 1,000 pull requests aceitos.

Para reproduzir o cálculo de custo por ponto do índice, use a escala publicada de 0–100:

• DeepSeek: $0.39 / 47.3 ≈ $0.00825 por ponto do índice.
• Sol: $1.50 / 54.1 ≈ $0.02773 por ponto do índice.
• Astra: $7.04 / 54.7 ≈ $0.12870 por ponto do índice.
• Opus: $11.42 / 61.7 ≈ $0.18509 por ponto do índice.

Essa razão descreve o conjunto de resultados daquele momento; ela não representa o custo por tarefa concluída com sucesso. O índice combina sistemas de pontuação diferentes, e os pesos dos benchmarks não correspondem à forma como os custos são agregados. Uma razão baixa também pode favorecer uma configuração barata cujo desempenho absoluto fique abaixo do seu mínimo aceitável.

Para decidir onde gastar, meça o gasto total dividido pelo número de resultados aceitos no seu próprio conjunto de tarefas. Inclua no numerador os custos das tentativas malsucedidas e dos encaminhamentos para uma configuração mais forte.

O que mudou no Coding Agent Index v2.0?

A versão 2.0 substitui o componente de engenharia de software e altera a avaliação das respostas a perguntas sobre repositórios. Terminal-Bench 4.0 permanece igual ao usado no índice v1.5.

A metodologia publicada do índice especifica:

Componente	Tarefas	O que mede	Pontuação
FrontierCode v1.1 Main	100	Alterações em repositórios reais	Zero se uma verificação obrigatória falhar; caso contrário, 70–100%
Terminal-Bench 4.0	66	Tarefas executadas por meio do terminal	Aprovação ou reprovação na suíte de testes
SWE-Atlas-QnA-AA	124	Perguntas sobre o comportamento de repositórios	A tarefa só é aprovada se todos os critérios da rubrica forem atendidos

São 290 tarefas distintas. A AA executa três tentativas por tarefa e calcula a média; ela não escolhe a melhor das três. Depois, calcula a média das pontuações dos três benchmarks com pesos iguais.

Portanto, o componente de 124 perguntas não tem mais peso que o de 66 tarefas de terminal. E uma pontuação de 61.7 no índice não significa que 61.7% das tarefas comuns de programação serão concluídas.

FrontierCode valoriza alterações que atendem aos padrões dos mantenedores

FrontierCode substitui DeepSWE v1.1 e incorpora a qualidade do código à avaliação. O benchmark criado pela Cognition considera se uma alteração atende aos requisitos do mantenedor do repositório, incluindo escopo e qualidade do código, em vez de verificar apenas a correção funcional.

A AA usa o conjunto privado Main, com 100 tarefas. Falhar em qualquer requisito obrigatório resulta em zero; cumprir todos eles permite uma pontuação de 70–100%, determinada pelas demais verificações.

O acesso à internet continua disponível. Pelas regras de uso permitido da internet do FrontierCode 1.1, consultar documentação é permitido, mas obter material que contenha a solução pode invalidar uma execução. A AA aplica uma versão modificada do scanner da Cognition e atribui zero às tentativas sinalizadas.

Manter o conjunto de tarefas privado reduz uma das fontes de contaminação do benchmark; isso não significa que uma solução no repositório de origem não possa existir na internet.

SWE-Atlas-QnA-AA muda o avaliador e a redação dos critérios

As perguntas sobre repositórios continuam iguais, mas a avaliação muda. A AA mantém 124 tarefas e 1,306 critérios, reformula 127 critérios e usa GPT-6 Luna em xhigh como avaliador, com cinco votos por critério.

O dataset e a configuração de avaliação publicados especificam uma decisão por maioria para cada critério. A aprovação da tarefa ainda exige atender a todos os critérios, de modo que uma resposta tecnicamente plausível pode ser reprovada se omitir um único detalhe obrigatório.

A AA afirma que as revisões tornam os pareceres mais consistentes. Para a comparação, a consequência importante é que a pontuação pertence a esse avaliador revisado, não à combinação anterior de rubrica e modelo avaliador.

Por que pontuações menores não comprovam uma regressão dos modelos

A queda entre versões do índice reflete uma avaliação diferente, portanto não pode ser interpretada como uma piora dos mesmos modelos. Compare as configurações dentro da v2.0 antes de confrontar suas pontuações com as de um índice anterior.

Na discussão oficial do anúncio, a AA informa que a média do índice para 21 configurações presentes nas duas versões caiu de 54.8 para 47.4, com queda em 20 das 21. As mesmas configurações tinham média de 65.6% no DeepSWE v1.1 e de 45.1% no seu substituto, FrontierCode v1.1.

A média das pontuações nas perguntas sobre repositórios também caiu, de 58.8% para 57.1%; 14 das 21 configurações perderam pontos. Terminal-Bench permaneceu igual. Com pesos iguais para os benchmarks, essas variações publicadas dos componentes explicam a queda geral de 7.4 pontos:

((45.1 - 65.6) + (57.1 - 58.8) + 0) / 3 = -7.4

A escala de medição mudou. Os resultados relativos também mudam: uma avaliação mais rigorosa não reduz a pontuação de todas as configurações na mesma quantidade.

O que o custo de API inclui e o que fica de fora

A métrica de custo da AA considera a cobrança por tokens, incluindo cache quando há suporte. Ela não representa o preço de uma assinatura do Claude ou do ChatGPT, nem todo o trabalho de engenharia necessário para colocar uma alteração em produção.

As seções de custo e uso de tokens distinguem entrada sem cache, entrada em cache, gravações no cache e saída. A página pública também oferece visualizações da distribuição de tokens e da taxa de acerto do cache. Tratar todo token de entrada como uma consulta sem cache cobrada pelo preço integral distorceria esse cálculo.

O custo é agregado entre as tentativas das tarefas, enquanto o índice geral atribui pesos iguais aos três benchmarks. Ao calcular uma média de eficiência, a AA exclui os registros sem a telemetria correspondente, em vez de tratá-los como zero. Essas escolhas são mais um motivo para não interpretar o custo dividido pela pontuação do índice como custo por problema resolvido.

Seus custos podem mudar com o tamanho do contexto, as novas tentativas, o nível de raciocínio e o comportamento do cache do provedor. Outro endpoint ou outro harness pode alterar a comparação, mesmo que o nome do modelo pareça familiar.

Também mantenha separada a avaliação de modelos no FrontierCode feita à parte pela AA: ela usa o harness Stirrup da AA. Suas pontuações de modelos não são intercambiáveis com as pontuações das configurações de Claude Code e Codex mostradas acima.

Faça uma pequena comparação no seu repositório

Teste duas configurações com os mesmos critérios de aceitação antes de encaminhar toda a fila de tarefas para uma delas. Um piloto pequeno deve ajudar a decidir sobre sua categoria de tarefas, não sustentar uma alegação de que você reproduziu o benchmark privado da AA.

1. Selecione tarefas representativas. Comece com dez tarefas reais da categoria que pretende automatizar. Defina o comportamento esperado e o escopo aceitável antes de executar qualquer um dos agentes.
2. Mantenha as mesmas condições iniciais. Use o mesmo commit do repositório, a mesma instrução da tarefa, as mesmas ferramentas e permissões. Registre a versão da CLI, o ID ou a revisão exata do modelo, o nível de raciocínio e a rota de acesso ao provedor.
3. Execute cada configuração de forma independente. Use uma cópia limpa do código e uma nova sessão para cada tentativa. Registre falhas e tentativas adicionais, em vez de guardar apenas a alteração que parece melhor.
4. Avalie se o resultado pode ser usado. Para alterações de código, execute os testes relevantes e revise correção, escopo e facilidade de manutenção. Para perguntas sobre o repositório, confira a explicação com o código e com as evidências de execução exigidas.
5. Compare os resultados aceitos e os custos completos. Registre cobranças de API, uso de ferramentas pagas e custos de execução, e converta o tempo de revisão em dinheiro usando a taxa por hora escolhida pela equipe. Divida o gasto total pelos resultados aceitos; registre custos de assinatura e cobranças por excedente separadamente se estiver avaliando uma opção por assinatura.

A identificação do modelo merece atenção especial no caso do DeepSeek. Em 2026-10-25, a documentação da API nativa indica deepseek-flash, atualmente atendido por DeepSeek-V4.1-Flash-1017. O nome abreviado no ranking, sozinho, não comprova que uma nova requisição encaminhada ao modelo reproduza a versão avaliada pela AA.

Se usar BetterToken no piloto, siga os guias separados de integração por API para Codex e Claude Code e meça os custos dessa conexão; trata-se de acesso à API, separado das assinaturas dos aplicativos dos fornecedores.

Mantenha a configuração mais barata nas tarefas em que ela atende aos seus critérios de aceitação. Encaminhe para a configuração mais forte as categorias em que o custo adicional se justifica por melhores resultados aceitos ou por menos trabalho de revisão.