MaxxBench: quais modelos de código seguem requisitos alterados?
O MaxxBench altera 89 tarefas do DeepSWE para avaliar a adaptação. Compare as 12 configurações originais e seus níveis de raciocínio, entenda as falhas causadas por suposições sobre testes ocultos, escolha uma forma de acesso e teste a mudança de um requisito no seu repositório.
Conteúdo

O MaxxBench ajuda quando pontuações parecidas no DeepSWE fazem os agentes de programação parecerem equivalentes, mas o seu ignora um requisito alterado. Para esse trabalho, comece por Claude Opus 5.5 e GPT-6 Astra, com base nos resultados publicados pela unLAP. Antes de trocar o modelo padrão, teste os dois com um requisito alterado no seu repositório.
Quais modelos testar primeiro?
Claude Opus 5.5 lidera a comparação publicada, seguido por GPT-6 Astra e GPT-5.6 Sol. Use essa ordem para escolher candidatos quando cumprir a especificação for importante, não como garantia de resultado na sua ferramenta.
A tabela mantém a comparação original de 12 configurações. Em 2026-11-16, a comparação atual do estudo inclui 17 configurações. As pontuações vêm da tabela do estudo; os níveis de raciocínio, do ranking do MaxxBench.
| Modelo | Nível de raciocínio | DeepSWE publicado | MaxxBench |
|---|---|---|---|
| Claude Opus 5.5 | max | 74.2% | 76.4% |
| GPT-6 Astra | xhigh | 74.1% | 71.9% |
| GPT-5.6 Sol | max | 72.7% | 69.1% |
| Claude Fable 5 | xhigh | 69.9% | 63.5% |
| Claude Opus 5 | max | 73.6% | 63.5% |
| GLM-5.3 | max | 69.0% | 56.7% |
| DeepSeek V4.1 Flash | max | 74.2% | 55.6% |
| GLM-5.3 Flash | max | 63.4% | 55.1% |
| Gemini 3.8 Flash | high | 73.8% | 53.4% |
| GPT-5.6 Luna | max | 67.2% | 46.1% |
| Muse Spark 1.2 | xhigh | 54.9% | 38.8% |
| DeepSeek V4 Flash | max | 53.3% | 28.1% |
Nessas 12 configurações, a diferença entre a maior e a menor pontuação passa de 20.9 pontos percentuais no DeepSWE para 48.3 no MaxxBench. Seis configurações que antes cabiam em uma faixa de 1.5 ponto passam a ocupar uma faixa de 23.0 pontos. Opus 5.5 é o único que melhora; Astra e Sol caem 2.2 e 3.6 pontos.
Quando os requisitos mudam com frequência, compare Opus 5.5 com Astra. Prefira Astra se ele cumprir os mesmos critérios de aceitação com menos tempo total ou menor gasto no seu teste.
Para alterações de escopo limitado com bons testes, mantenha um candidato Flash se ele passar nas verificações com um custo total aceitável. Os 55.6% do DeepSeek V4.1 Flash e os 53.4% do Gemini 3.8 Flash não apontam um vencedor confiável para seu repositório. Compare novas tentativas e tempo de revisão, não apenas o preço dos tokens. O guia de custo por tarefa do Coding Agent Index trata dessa decisão de compra separadamente.
Não misture versões dos modelos. O ranking atual lista DeepSeek V4.1 Flash 1017 separadamente; a tabela acima usa o resultado anterior do DeepSeek. Consulte o guia de versões do DeepSeek Flash para programação antes de associar um nome do benchmark a um modelo da API.
O que o MaxxBench altera?
O MaxxBench modifica as instruções ou o código inicial de 89 tarefas do DeepSWE, mantendo o problema central de engenharia. A unLAP revisa a solução de referência e os testes, incluindo as verificações do comportamento que precisa continuar igual.
Uma tarefa exige relatórios separados por navegador. O MaxxBench acrescenta nomes de arquivo em letras minúsculas: Chrome.xml precisa virar chrome.xml, sem interromper a geração dos relatórios. A tarefa publicada do Testem contém a especificação completa.
Outra tarefa adiciona datas de desativação às rotas do FastAPI. O requisito revisado pede marcas de tempo em UTC com Z no final, em vez de preservar o deslocamento de fuso horário informado.
O aumento mediano dos patches de referência é de 17 linhas, ou 3.5%. Isso descreve o tamanho adicional do patch, não todo o trabalho necessário para implementar cada funcionalidade. A ferramenta de execução publicada exige que todos os testes funcionais e de regressão necessários passem.
Por que um agente entende a mudança e ainda assim falha?
Ao analisar os passos dos agentes, a unLAP encontrou casos em que suposições sobre testes ocultos prevaleciam sobre requisitos explícitos. Os exemplos publicados mostram diferenças entre a explicação do agente e o código entregue.
Em uma tarefa do ytt, GLM-5.3 reconheceu que converter valores uint64 para float64 poderia causar perda de precisão. Mesmo assim, presumiu que valores suficientemente grandes não seriam testados. O verificador checou 2^53 + 1, e a execução falhou.
Considerando Opus 5, GLM-5.3 e GLM-5.3 Flash em conjunto, cerca de um quarto das falhas nas verificações modificadas seguiu o mesmo padrão. O agente entendia a mudança e depois voltava ao comportamento original. Separadamente, a unLAP apontou que suposições sobre testes contribuíram para 16.7% das falhas do Opus 5.5. As proporções foram 30.8% para Opus 5 e 40.3% para GLM-5.3.
Esses percentuais descrevem as falhas classificadas pelos pesquisadores, não todas as solicitações nem a taxa de falhas do seu sistema em produção. A análise das execuções reforça a necessidade de verificar o comportamento final, em vez de aceitar uma explicação correta como prova.
Qual forma de acesso usar para o teste?
Use primeiro uma conta que você já tem, desde que atenda às condições de acesso e disponibilize o modelo escolhido. Para testar Opus, estas são as opções em 2026-11-16.
| Forma de acesso | Requisitos e cobrança | Quando escolher |
|---|---|---|
| Assinatura com acesso ao Claude Code | Sua conta claude.ai e um plano pago compatível. Confirme que o modelo está disponível e que sua cota de uso não acabou. Assinaturas compradas pela web exigem cartão de crédito ou débito. | Você já usa a ferramenta e quer avaliar essa configuração completa. |
| Anthropic API | Uma conta no Console, credenciais de API e fundos para pagar o uso. A maioria das organizações usa créditos pré-pagos. Tokens de entrada, saída e cache têm regras de cobrança distintas. São aceitos cartões de crédito e débito. | Você quer acesso direto à API do fornecedor e medir o uso separadamente. |
| BetterToken | Conta própria, chave de API e saldo, com cobrança de uso específica para cada modelo. Confira as formas de pagamento no console e use uma integração documentada para a ferramenta. | Você quer acessar os modelos disponíveis com pagamento por uso por meio de um provedor de API separado. |
Confira os países e regiões atendidos pelo Claude ou as regiões da API da Anthropic para a opção oficial escolhida. A Anthropic documenta separadamente a autenticação do Claude Code e a cobrança pelo Console.
Teste Opus 5.5 pelo BetterToken no Claude Code
Em 2026-11-16, o BetterToken lista claude-opus-5-5 e claude-opus-5. Seu acesso via API para o Claude Code é separado de uma assinatura do Claude.ai. Confira os preços atuais antes de ampliar o teste.
Com o Claude Code instalado, crie sua própria chave no console do BetterToken. A integração documentada do Claude Code usa https://bettertoken.ai, sem /v1.
Execute no Bash:
read -rs BETTERTOKEN_API_KEY && export BETTERTOKEN_API_KEY
export ANTHROPIC_BASE_URL="https://bettertoken.ai"
export ANTHROPIC_AUTH_TOKEN="$BETTERTOKEN_API_KEY"
export ANTHROPIC_MODEL="claude-opus-5-5"
claude -p "Reply with only: OK"
Quando o primeiro comando aguardar a entrada, cole a chave criada no console e pressione Enter. O valor não aparece na tela nem fica salvo no histórico do shell.
Uma resposta OK confirma a conexão. Confira a solicitação, o modelo, o uso de tokens e a cobrança no console. Depois execute claude na cópia de trabalho destinada ao teste. Para comparar com Opus 5, defina ANTHROPIC_MODEL como claude-opus-5 antes de iniciar uma sessão nova.
Em caso de 401, confira o token e remova desse shell qualquer ANTHROPIC_API_KEY que esteja causando conflito. Em uma sessão interativa, /status deve mostrar a URL base do BetterToken e ANTHROPIC_AUTH_TOKEN. Se as solicitações estiverem indo ao destino errado, verifique as configurações conflitantes e reinicie o Claude Code.
Criar uma conta no BetterToken.
Como testar a mudança de um requisito no seu repositório?
Use uma funcionalidade já implementada no repositório e altere um requisito cujo resultado seja observável. É um exercício local para escolher modelo, não uma reprodução do MaxxBench.
Salve um estado inicial limpo e execute os testes existentes relacionados à tarefa. Escreva o novo teste de aceitação antes de pedir ao agente que altere o código. Confirme que a versão inicial falha nesse teste pelo motivo esperado.
Dê a cada candidato uma cópia idêntica do repositório e uma conversa nova. Mantenha iguais a versão da ferramenta, as permissões, as dependências e as instruções da tarefa. Registre o ID do modelo e seu nível de raciocínio, sem presumir que max, xhigh e high representam orçamentos iguais.
Para um repositório que já gera relatórios separados por navegador, use este prompt:
Goal: Make per-browser report filenames lowercase.
Allowed scope: Report filename generation and its focused tests.
Preserve: Report contents, separate files for each browser, and existing filename escaping.
Acceptance: Chrome produces chrome.xml. Firefox produces firefox.xml. Existing reporting tests still pass.
Verification: Add focused tests, implement the change, and run the repository's reporting tests. Report the exact test command, its result, and changed files. Stop when these checks pass.
Execute você mesmo os testes de aceitação e inspecione os arquivos gerados. Rejeite um patch que passe no teste novo, mas quebre o comportamento existente dos relatórios. Uma explicação correta sem a saída exigida também conta como tentativa malsucedida.
Registre falhas, novas tentativas, tempo decorrido, gasto com chamadas ao modelo e tempo de revisão. Divida o gasto total com chamadas, incluindo novas tentativas, pelo número de alterações que passam em todos os testes de aceitação. Registre o tempo de revisão humana separadamente.
Uma única alteração correta no nome de um arquivo é um teste básico de funcionamento. Antes de escolher para toda a equipe, repita o processo com alterações representativas da sua lista de tarefas. Mantenha o candidato de menor custo apenas enquanto ele cumprir os critérios de aceitação; caso contrário, passe a tarefa a um modelo mais capaz.
O que não concluir a partir das pontuações?
As diferenças justificam testar melhor a adaptação, mas não medem um percentual de memorização. A versão do DeepSWE publicada pela Datacurve contém 113 tarefas; o MaxxBench modifica 89. A unLAP também revisou as soluções de referência e os testes. Portanto, a mudança de requisitos não é a única diferença entre as colunas de resultados publicados.
Esses resultados foram relatados pelos criadores do benchmark, com níveis de raciocínio diferentes entre os modelos. Não trate uma vantagem pequena como estatisticamente decisiva sem repetir os testes em condições equivalentes. O aumento de 2.2 pontos do Opus 5.5 também não prova que requisitos alterados tornam o modelo mais capaz.
Por fim, seu teste local no Claude Code avalia uma configuração de agente diferente da execução publicada com mini-swe-agent. Use o resultado para escolher a combinação de ferramenta e modelo para seu repositório, não para afirmar que reproduziu o ranking.