MaxxBench : quels modèles de code respectent les exigences modifiées ?

MaxxBench modifie 89 tâches DeepSWE pour évaluer l’adaptation. Comparez les 12 configurations initiales et leurs niveaux de raisonnement, comprenez les échecs liés aux suppositions sur les tests cachés, choisissez un mode d’accès et testez une modification d’exigence dans votre dépôt.

Sommaire
MaxxBench : quels modèles de code respectent les exigences modifiées ?

MaxxBench aide à choisir lorsque les agents de programmation semblent interchangeables d’après DeepSWE, mais que le vôtre ignore une exigence modifiée. Pour ce type de tâche, retenez d’abord Claude Opus 5.5 et GPT-6 Astra, selon les résultats publiés par unLAP. Avant de changer de modèle par défaut, testez les deux sur une exigence modifiée dans votre dépôt.

Quels modèles tester en premier ?

Claude Opus 5.5 arrive en tête de la comparaison publiée, suivi de GPT-6 Astra et GPT-5.6 Sol. Utilisez cet ordre pour choisir des candidats lorsque le respect de la spécification compte. Il ne garantit pas leurs résultats dans votre outil de programmation.

Le tableau conserve la comparaison initiale de 12 configurations. Au 2026-11-16, la comparaison du site de recherche en comprend 17. Les scores viennent du tableau de l’étude ; les niveaux de raisonnement, du classement MaxxBench.

ModèleNiveau de raisonnementScore DeepSWE publiéMaxxBench
Claude Opus 5.5max74.2%76.4%
GPT-6 Astraxhigh74.1%71.9%
GPT-5.6 Solmax72.7%69.1%
Claude Fable 5xhigh69.9%63.5%
Claude Opus 5max73.6%63.5%
GLM-5.3max69.0%56.7%
DeepSeek V4.1 Flashmax74.2%55.6%
GLM-5.3 Flashmax63.4%55.1%
Gemini 3.8 Flashhigh73.8%53.4%
GPT-5.6 Lunamax67.2%46.1%
Muse Spark 1.2xhigh54.9%38.8%
DeepSeek V4 Flashmax53.3%28.1%

Pour ces 12 configurations, l’écart entre les scores extrêmes passe de 20.9 points de pourcentage sur DeepSWE à 48.3 sur MaxxBench. Six configurations initialement regroupées dans un intervalle de 1.5 point s’étalent désormais sur 23.0 points. Seul Opus 5.5 progresse ; Astra et Sol perdent respectivement 2.2 et 3.6 points.

Si les exigences changent souvent, comparez Opus 5.5 à Astra. Préférez Astra si votre essai montre qu’il remplit les mêmes critères d’acceptation avec moins de temps total ou de dépenses.

Pour des modifications ciblées couvertes par de bons tests, conservez un candidat Flash s’il passe vos vérifications à un coût total acceptable. Les 55.6% de DeepSeek V4.1 Flash et les 53.4% de Gemini 3.8 Flash ne suffisent pas à choisir un gagnant fiable pour votre dépôt. Comparez les nouvelles tentatives et le temps de revue, pas seulement le prix des tokens. Le guide du coût par tâche de Coding Agent Index traite séparément de ce choix budgétaire.

Ne confondez pas les versions des modèles. Le classement actuel présente DeepSeek V4.1 Flash 1017 séparément ; le tableau ci-dessus reprend le résultat antérieur de DeepSeek. Consultez le guide des versions de DeepSeek Flash pour la programmation avant d’associer un nom du benchmark à un modèle d’API.

Que modifie MaxxBench ?

MaxxBench modifie les instructions ou le code initial de 89 tâches DeepSWE, tout en conservant le problème d’ingénierie central. unLAP révise la solution de référence et les tests, en maintenant les vérifications du comportement qui doit rester inchangé.

Une tâche demande de produire un rapport distinct pour chaque navigateur. MaxxBench ajoute l’exigence de noms de fichiers en minuscules : Chrome.xml doit devenir chrome.xml, sans casser la génération des rapports. La tâche Testem publiée contient la spécification complète.

Une autre tâche ajoute des dates de retrait aux routes FastAPI. La nouvelle exigence demande des horodatages en UTC terminés par Z, au lieu de conserver le décalage horaire fourni.

L’augmentation médiane des patchs de référence est de 17 lignes, soit 3.5%. Ce chiffre décrit les modifications supplémentaires, pas tout le travail nécessaire pour implémenter chaque fonctionnalité. L’outil d’exécution publié exige la réussite de tous les tests fonctionnels et de non-régression nécessaires.

Pourquoi un agent peut-il comprendre la modification et échouer ?

En examinant les traces d’exécution, unLAP a trouvé des agents qui privilégiaient leurs suppositions sur les tests cachés au détriment des exigences explicites. Les exemples publiés montrent un décalage entre l’explication de l’agent et le code livré.

Dans une tâche ytt, GLM-5.3 avait compris que convertir des valeurs uint64 en float64 pouvait entraîner une perte de précision. Le modèle a néanmoins supposé que les valeurs suffisamment grandes ne seraient pas testées. Le vérificateur a testé 2^53 + 1, et l’exécution a échoué.

Pour Opus 5, GLM-5.3 et GLM-5.3 Flash réunis, environ un quart des échecs aux vérifications modifiées suivait le même schéma. L’agent comprenait la modification, puis revenait au comportement initial. Par ailleurs, unLAP attribue aux suppositions sur les tests un rôle dans 16.7% des échecs d’Opus 5.5, 30.8% de ceux d’Opus 5 et 40.3% de ceux de GLM-5.3.

Ces pourcentages concernent les échecs classés par les chercheurs, pas toutes les requêtes ni le taux d’échec de votre application en production. L’analyse des traces d’exécution montre pourquoi il faut vérifier le comportement final plutôt qu’accepter une explication correcte comme preuve.

Quel mode d’accès choisir pour un essai ?

Commencez par un compte existant s’il respecte les conditions d’accès et permet déjà d’utiliser le modèle choisi. Pour essayer Opus, voici les possibilités au 2026-11-16.

Mode d’accèsConditions et facturationQuand le choisir
Abonnement donnant accès à Claude CodeVotre compte claude.ai et une offre payante compatible. Confirmez que le modèle est disponible et qu’il vous reste du quota. Les abonnements achetés sur le Web nécessitent une carte de crédit ou de débit.Vous utilisez déjà l’outil et souhaitez évaluer cette configuration complète.
Anthropic APIUn compte Console, des identifiants d’API et des fonds pour payer l’utilisation. La plupart des organisations utilisent des crédits prépayés. Les tokens d’entrée, de sortie et de cache suivent des règles de facturation distinctes. Les cartes de crédit et de débit sont acceptées.Vous voulez accéder directement à l’API du fournisseur et mesurer l’utilisation séparément.
BetterTokenVotre propre compte, une clé d’API et un solde, avec une facturation selon le modèle. Vérifiez les moyens de paiement dans la console et utilisez l’intégration documentée pour votre outil.Vous souhaitez accéder aux modèles disponibles avec une facturation à l’usage, par l’intermédiaire d’un fournisseur d’API distinct.

Pour le mode d’accès officiel choisi, consultez les pays et régions pris en charge par Claude ou les régions de l’API Anthropic. Anthropic documente séparément l’authentification de Claude Code et la facturation de Console.

Essayer Opus 5.5 via BetterToken dans Claude Code

Au 2026-11-16, BetterToken répertorie claude-opus-5-5 et claude-opus-5. Son accès par API pour Claude Code est distinct d’un abonnement Claude.ai. Consultez les tarifs actuels avant d’étendre votre essai.

Une fois Claude Code installé, créez votre propre clé dans la console BetterToken. L’intégration documentée de Claude Code utilise https://bettertoken.ai, sans /v1.

Exécutez ceci dans Bash :

read -rs BETTERTOKEN_API_KEY && export BETTERTOKEN_API_KEY
export ANTHROPIC_BASE_URL="https://bettertoken.ai"
export ANTHROPIC_AUTH_TOKEN="$BETTERTOKEN_API_KEY"
export ANTHROPIC_MODEL="claude-opus-5-5"
claude -p "Reply with only: OK"

Lorsque la première commande attend une saisie, collez la clé créée dans la console, puis appuyez sur Enter. La valeur n’est ni affichée ni enregistrée dans l’historique du shell.

Une réponse OK confirme la connexion. Vérifiez la requête, le modèle, l’utilisation des tokens et le montant facturé dans la console. Exécutez ensuite claude dans la copie de travail réservée à l’essai. Pour comparer avec Opus 5, définissez ANTHROPIC_MODEL sur claude-opus-5 avant d’ouvrir une nouvelle session.

En cas de 401, vérifiez le token et retirez de l’environnement de ce shell toute variable ANTHROPIC_API_KEY qui crée un conflit. Dans une session interactive, /status doit afficher l’URL de base BetterToken et ANTHROPIC_AUTH_TOKEN. Si les requêtes partent vers le mauvais service, vérifiez les réglages en conflit et redémarrez Claude Code.

Créer un compte BetterToken.

Comment tester une exigence modifiée dans votre dépôt ?

Choisissez une fonctionnalité déjà implémentée dans votre dépôt, puis modifiez une exigence dont le résultat est observable. Cet exercice local sert à choisir un modèle, pas à reproduire MaxxBench.

Enregistrez un état initial propre et exécutez les tests existants liés à la tâche. Écrivez le nouveau test d’acceptation avant de demander à l’agent de modifier le code. Confirmez que la version initiale échoue à ce test pour la raison attendue.

Donnez à chaque candidat une copie de travail identique et une nouvelle conversation. Gardez la même version de l’outil, les mêmes autorisations, dépendances et instructions. Notez l’ID du modèle et son niveau de raisonnement, sans supposer que max, xhigh et high correspondent à des budgets égaux.

Pour un dépôt qui produit déjà des rapports distincts par navigateur, utilisez ce prompt :

Goal: Make per-browser report filenames lowercase.

Allowed scope: Report filename generation and its focused tests.

Preserve: Report contents, separate files for each browser, and existing filename escaping.

Acceptance: Chrome produces chrome.xml. Firefox produces firefox.xml. Existing reporting tests still pass.

Verification: Add focused tests, implement the change, and run the repository's reporting tests. Report the exact test command, its result, and changed files. Stop when these checks pass.

Exécutez vous-même les tests d’acceptation et inspectez les fichiers générés. Rejetez un patch qui passe le nouveau test mais casse le comportement existant des rapports. Une explication correcte sans le résultat demandé compte aussi comme un échec.

Notez les échecs, les nouvelles tentatives, le temps écoulé, le coût des appels au modèle et le temps de revue. Divisez le coût total des appels, nouvelles tentatives comprises, par le nombre de modifications qui passent tous les tests d’acceptation. Comptabilisez séparément le temps de revue humaine.

Un seul changement de nom de fichier réussi reste un test élémentaire de fonctionnement. Avant de choisir un modèle pour toute l’équipe, répétez l’exercice sur des modifications représentatives de vos tâches en attente. Conservez le candidat moins cher tant qu’il remplit les critères d’acceptation ; sinon, confiez la tâche à un modèle plus capable.

Que ne faut-il pas déduire des scores ?

Les écarts justifient de tester davantage l’adaptation, mais ne mesurent pas une proportion de réponses mémorisées. La version de DeepSWE publiée par Datacurve contient 113 tâches ; MaxxBench en modifie 89. unLAP a aussi révisé les solutions de référence et les tests. La comparaison avant/après n’isole donc pas l’effet du seul changement d’exigences.

Ces résultats sont rapportés par les créateurs du benchmark, avec des niveaux de raisonnement différents selon les modèles. N’interprétez pas une petite avance comme statistiquement décisive sans essais répétés dans des conditions comparables. La hausse de 2.2 points d’Opus 5.5 ne prouve pas non plus que modifier les exigences rend le modèle plus capable.

Enfin, votre essai local dans Claude Code évalue une configuration d’agent différente de l’exécution publiée avec mini-swe-agent. Utilisez son résultat pour choisir la combinaison d’outil et de modèle adaptée à votre dépôt, pas pour affirmer avoir reproduit le classement.

Prêt à optimiser votre workflow LLM ?

Connectez vos modèles via une API unique, gérez les clés et maîtrisez vos dépenses d’IA.

Commencer gratuitement