Coding Agent Index v2.1 : effort de Fable 5.2 vs Opus 5.5
Dans Coding Agent Index v2.1, Claude Fable 5.2 en high et xhigh atteint 58 points, tout comme Opus 5.5 en max. Fable max descend à 56 points et coûte $44.22 par tâche, contre $7.51 en high. Comprenez la nouvelle difficulté de FrontierCode-AA 2.0, les dépassements de délai et les modèles de secours après un refus de sécurité. Comparez les modèles et configurez l'effort de Claude Code pour maîtriser vos dépenses API.
Sommaire

Pour coder avec un agent utilisant Claude Fable 5.2, commencez par le niveau d’effort high plutôt que max. Dans Coding Agent Index v2.1 d’Artificial Analysis, Fable 5.2 obtient 58 points en high et en xhigh. En revanche, max descend à 56 points et coûte $44.22 par tâche, contre $7.51 en high.
Claude Opus 5.5 atteint également 58 points avec max, mais ses points forts se situent dans d’autres composantes du benchmark.
La version publiée le 14 novembre 2026 donne une raison concrète de revoir les niveaux d’effort par défaut. Augmenter l’effort peut consommer davantage de temps et de tokens de sortie. Si l’agent atteint la limite de temps sans terminer, sa performance mesurée peut diminuer.
Ces résultats concernent des modèles, des environnements d’agents, des paramètres et des délais précis. Ils ne garantissent pas les mêmes taux de réussite dans votre code de production.
Qu’est-ce qui change dans Coding Agent Index v2.1 ?
La version 2.1 rend l’évaluation des modifications de dépôts plus exigeante. Elle met aussi à jour les vérificateurs des tâches de terminal et la méthode de calcul des coûts API liés au cache.
Artificial Analysis combine désormais trois évaluations :
| Composante | Tâches | Ce qu’elle mesure | Changement dans v2.1 |
|---|---|---|---|
| FrontierCode-AA 2.0 | 132 | Modifications qu’un mainteneur accepterait de fusionner | Remplace FrontierCode 1.1 |
| Terminal-Bench 4.1 | 66 | Exécution de tâches par un agent dans un terminal | Mêmes tâches, vérificateurs actualisés |
| SWE-Atlas-QnA-AA | 124 | Compréhension et explication du comportement d’un dépôt | Conservé depuis v2.0 |
Selon la méthodologie officielle, chaque composante représente un tiers de l’indice final. Chaque tâche fait l’objet de trois tentatives. Les résultats des tentatives sont moyennés, puis ceux des tâches de chaque benchmark.
Ainsi, les 66 tâches de terminal ont autant de poids dans l’indice que les 132 tâches de modification de code.
FrontierCode-AA 2.0 explique la baisse des scores
FrontierCode-AA 2.0 correspond à l’implémentation par Artificial Analysis du benchmark FrontierCode 2.0 de Cognition.
L’évaluation passe de 100 à 132 tâches. Le critère central reste le même : un mainteneur accepterait-il de fusionner la modification proposée par l’agent ?
Les nouvelles tâches demandent toutefois des changements plus importants et plus complets.
Dans son annonce de FrontierCode 2.0, Cognition indique que les solutions de référence modifient en moyenne 67% de fichiers supplémentaires et 89% de lignes de plus. Elles comportent également 43% de critères bloquants supplémentaires.
Ces blocking criteria correspondent aux exigences obligatoires pour obtenir une note positive. Une tentative qui échoue à un seul critère bloquant reçoit zéro.
C’est important pour les agents capables de produire un correctif crédible, mais qui laissent une régression ou un problème incomplètement résolu. Une modification contraire aux conventions du dépôt peut aussi être rejetée.
Dans sa publication du 14 novembre, Artificial Analysis indique :
- Les 23 configurations évaluées sur les deux versions de FrontierCode ont obtenu un score inférieur sur le nouveau jeu de tâches.
- Leur score FrontierCode moyen est passé de 45% à 29%.
- L’indice global a perdu environ cinq points en moyenne.
Ces résultats reflètent une modification de l’évaluation. Ils ne démontrent pas que les modèles ont soudainement perdu des capacités de programmation.
La baisse de 16 points dans FrontierCode représente à elle seule environ 5.3 points dans un indice composé de trois parties de poids égal, à condition que les deux autres restent constantes. Ce calcul explique l’essentiel du recul moyen annoncé.
Ne comparez donc pas directement un score de v2.0 à un score de v2.1 pour choisir un modèle.
Il faut aussi distinguer FrontierCode-AA 2.0 des résultats publiés directement par Cognition et de l’Intelligence Index d’Artificial Analysis. Ces évaluations utilisent des environnements d’agents différents. Des tâches portant le même nom ne garantissent pas des scores comparables.
Terminal-Bench 4.1 améliore les vérifications sans changer les tâches
Terminal-Bench 4.1 conserve les 66 tâches de la version 4.0.
Les changements visent à mieux vérifier les résultats des agents et à limiter le reward hacking. Ce terme désigne l’obtention de points en contournant la vérification plutôt qu’en réalisant le travail demandé.
Les notes de version de Terminal-Bench 4.1 décrivent une meilleure isolation du code produit par les agents. Elles documentent aussi la correction de faux négatifs, lorsque des solutions valides étaient rejetées.
Dans la version 4.1, le vérificateur peut exécuter le code soumis dans un processus séparé avec les droits d’un utilisateur non fiable. Ce code ne peut alors pas lire directement les tests protégés ni modifier le fichier de résultats.
L’équipe a également corrigé des hypothèses trop restrictives sur la manière de résoudre certaines tâches.
Par exemple, le vérificateur freecad-platform-drawing n’acceptait auparavant que des modèles construits par extrusion d’esquisses 2D. Il rejetait des solutions pourtant valides utilisant directement des primitives 3D. La version 4.1 accepte désormais cette autre méthode correcte.
Artificial Analysis rapporte que les scores des 23 configurations testées sur les deux versions de Terminal-Bench ont tous varié de moins de trois points.
FrontierCode reste donc la principale explication de la baisse des scores globaux.
La version 2.1 change également le calcul des coûts API. L’historique de la méthodologie confirme son alignement sur la méthode employée pour l’Artificial Analysis Intelligence Index.
Le calcul actualisé combine les nombres de tokens déclarés par les fournisseurs API et des mesures récentes du taux habituel de réussite du cache pour chaque modèle. Il inclut aussi les frais d’écriture du cache lorsque le fournisseur les facture.
Cette approche diffère de l’utilisation du seul taux de cache mesuré pendant une exécution du benchmark. Un autre routage API peut modifier les résultats du cache et donc le montant facturé.
Fable 5.2 high, xhigh ou max : que gagne-t-on pour le prix ?
high constitue le meilleur point de départ avec Fable 5.2 si vous recherchez de solides résultats de programmation sans payer pour un raisonnement supplémentaire dont l’utilité reste à démontrer.
Les résultats comparant Claude Code à Codex, consultés le 15 novembre 2026, présentent les configurations suivantes :
| Effort de Fable 5.2 | Index v2.1 | Coût API/tâche | Temps agent/tâche |
|---|---|---|---|
low | 48 | $2.49 | 13.4 min |
medium | 53 | $2.89 | 15.1 min |
high | 58 | $7.51 | 31.3 min |
xhigh | 58 | $15.47 | 53.3 min |
max | 56 | $44.22 | 2.2 hours |
Ces montants représentent des coûts API moyens en USD, calculés selon la facturation des tokens pour les tâches du benchmark. Ils ne correspondent ni à des quotas d’abonnement ni à des prévisions pour chaque ticket de développement.
Trois choix pratiques se dégagent du tableau.
Choisissez medium pour les tâches limitées et faciles à vérifier. Ce niveau obtient 53 points pour $2.89 par tâche. Il mérite un essai sur de petites corrections avec des tests clairs, lorsque la dépense compte davantage que la meilleure qualité possible dès la première tentative.
Choisissez high pour les modifications complexes d’un dépôt. Il atteint le meilleur score entier affiché pour Fable 5.2, soit 58 points, pour $7.51 par tâche.
Demandez une preuve de gain avant de choisir xhigh. Il coûte environ 2.06 fois plus cher que high, alors que les deux niveaux affichent le même score arrondi de 58.
Artificial Analysis indique que medium, high et xhigh appartiennent tous à sa frontière de Pareto du coût et de la performance. Cela signifie que chaque configuration présente un avantage dans les données d’origine.
Deux scores entiers identiques ne prouvent pas que les valeurs non arrondies sont égales. Le surcoût de xhigh doit néanmoins être justifié par un avantage concret sur vos propres tâches.
Le contraste le plus important concerne max :
[ \frac{$44.22}{$7.51}\approx5.89 ]
Dans cette évaluation, max coûte environ 5.9 fois le prix de high, tout en obtenant deux points de moins dans l’indice.
Il représente un supplément de $36.71 par tâche évaluée, sans amélioration mesurée du score global.
Pourquoi Fable 5.2 max obtient-il un score inférieur ?
Artificial Analysis attribue principalement le recul de max au nombre de tâches qui atteignent leur limite de temps.
Son analyse des niveaux d’effort et des dépassements de délai présente les taux suivants :
| Benchmark | Dépassements avec Fable 5.2 xhigh | Dépassements avec Fable 5.2 max |
|---|---|---|
| FrontierCode-AA 2.0 | 1% | 16% |
| SWE-Atlas-QnA-AA | 0% | 13% |
Ces pourcentages indiquent la part des tentatives interrompues pour dépassement du temps imparti. Ils ne représentent pas le taux global d’échec des tâches.
La même publication précise qu’avec FrontierCode-AA 2.0, max utilise environ trois fois plus de tokens de sortie par tâche que xhigh.
Le raisonnement supplémentaire prend du temps. Si l’agent atteint la limite avant d’avoir terminé, la tentative reçoit zéro.
Cela explique pourquoi un niveau d’effort plus coûteux peut produire une note inférieure.
Ce résultat ne démontre pas que max serait systématiquement moins performant sans limite de temps. Il montre une performance inférieure dans les conditions et les délais de l’évaluation.
Cette distinction compte aussi en production. Une tâche qui dépasse le délai de votre CI ou de votre automatisation peut échouer, même si le modèle aurait éventuellement produit un meilleur correctif avec davantage de temps.
Fable 5.2, Opus 5.5, GPT-6.1 Sol ou Kimi K3.1 Pro ?
Choisissez une configuration selon votre type de travail, le benchmark le plus pertinent et votre budget. L’indice agrège des tâches d’ingénierie différentes. Un même score total peut masquer des écarts significatifs.
Fable se distingue sur les modifications ; Opus sur les questions de code
Artificial Analysis donne les résultats suivants par composante :
| Configuration | FrontierCode-AA 2.0 | Terminal-Bench 4.1 | SWE-Atlas-QnA-AA | Index |
|---|---|---|---|---|
Claude Code + Fable 5.2 high | 49% | 64% | 62% | 58 |
Claude Code + Fable 5.2 xhigh | 49% | 64% | 62% | 58 |
Claude Code + Opus 5.5 max | 44% | 65% | 66% | 58 |
Pour les changements difficiles dans un dépôt, commencez par Fable 5.2 en high. Il dépasse Opus 5.5 max de cinq points sur FrontierCode-AA 2.0.
Pour explorer un dépôt et expliquer le fonctionnement de son code, essayez Opus 5.5 max. Il atteint 66% sur SWE-Atlas-QnA-AA, contre 62% pour Fable.
Sur Terminal-Bench 4.1, les deux configurations sont proches : 64% et 65%.
Opus 5.5 max coûte $12.61 par tâche dans le même Coding Agent Index. C’est moins que Fable 5.2 xhigh à $15.47, mais davantage que Fable high à $7.51.
Ainsi, Opus 5.5 max peut remplacer Fable xhigh, particulièrement pour l’analyse de dépôts et les questions techniques. Pour produire des modifications prêtes à être fusionnées, Fable high reste le premier essai le moins coûteux.
Pour comparer directement Opus dans votre projet, consultez le guide de sélection d’Opus 5.5 dans Claude Code. Vous pourrez choisir le bon modèle sans dépendre d’un alias configuré précédemment.
GPT-6.1 Sol offre un point de départ économique
Codex avec GPT-6.1 Sol en max obtient 52 points pour $1.51 par tâche.
Ses résultats détaillés sont les suivants :
| Composante | GPT-6.1 Sol max |
|---|---|
| FrontierCode-AA 2.0 | 42% |
| Terminal-Bench 4.1 | 54% |
| SWE-Atlas-QnA-AA | 60% |
Sol ne termine en tête d’aucune de ces évaluations. Son avantage réside dans un coût API bien plus faible pour des performances de programmation utiles.
Pour un volume élevé de tâches vérifiables par des tests, commencez avec Sol si la maîtrise des dépenses compte davantage que le score maximal.
Passez à Fable 5.2 high lorsque vous identifiez une catégorie où Sol produit trop de modifications rejetées ou impose trop de nouvelles tentatives et de relectures.
Si le coût supplémentaire de Fable n’améliore pas suffisamment la proportion de résultats acceptés, conservez Sol.
La comparaison de GPT-6.1 Sol, Astra et Opus fournit d’autres critères de sélection.
Kimi K3.1 Pro arrive en tête des tâches de terminal
Kimi Code CLI avec Kimi K3.1 Pro atteint 68% sur Terminal-Bench 4.1, selon les résultats par benchmark d’Artificial Analysis.
Il devance les configurations suivantes :
- Claude Code + Sonnet 5.5
max: 66% - Claude Code + Opus 5.5
max: 65% - Antigravity CLI + Gemini 4 Carbon
high: 65% - Claude Code + Fable 5.2
highouxhigh: 64%
Cependant, le résultat global de Kimi Code CLI n’est que de 49 points, avec un coût API moyen de $2.94 par tâche.
Sa première place sur les tâches de terminal ne se traduit donc pas par une première place dans l’indice complet.
Essayez d’abord Kimi K3.1 Pro pour l’automatisation qui utilise beaucoup le terminal, la réparation d’environnements, les commandes système et les procédures de configuration.
Pour des tâches principalement consacrées à modifier le code source, comparez-le à Fable high. Si l’avantage de FrontierCode se retrouve dans vos dépôts, le surcoût de Fable peut se justifier.
Le guide de configuration de Kimi K3.1 Pro pour la programmation explique comment préparer le modèle et son environnement d’agent.
Comment les refus de sécurité et le fallback influencent-ils les scores ?
Coding Agent Index v2.1 mesure des configurations d’agents complètes, y compris leur comportement lorsqu’un modèle refuse une tâche pour des raisons de sécurité.
Certains agents utilisent alors un fallback, c’est-à-dire un modèle de secours. Quand le modèle principal refuse de poursuivre, l’agent peut transmettre la tâche à un autre modèle.
Dans son analyse des refus de sécurité, Artificial Analysis publie la proportion de tentatives terminées par un modèle de secours :
| Configuration évaluée | Tentatives terminées par un modèle fallback |
|---|---|
| Devin Fusion CLI: Opus 5.5 max + GPT-6 Luna high | 9% |
Claude Code + Opus 5.5 max | 9% |
Claude Code + Fable 5.2 xhigh | 6% |
Claude Code + Sonnet 5.5 max | 5% |
L’évaluation indique aussi que Codex bloque environ 1% des tentatives avec GPT-6.1 Sol max et GPT-6 Astra max.
Une tentative terminée par un modèle fallback n’est pas nécessairement réussie. Cela signifie simplement qu’un autre modèle a terminé l’exécution après le refus du modèle initial.
Selon les règles de notation publiées, une tentative terminée par le modèle de secours reçoit une évaluation normale. Une tentative définitivement bloquée par un refus reçoit zéro.
Deux précautions s’imposent donc pour interpréter les résultats.
Premièrement, les 58 points d’Opus 5.5 ne mesurent pas exclusivement les réponses d’Opus sur toutes les tâches. Certaines tentatives ont été terminées par un autre modèle.
Deuxièmement, le taux de fallback ne permet pas de connaître le score qui aurait été obtenu sans ce mécanisme. Il ne mesure pas non plus la contribution des tentatives transférées aux résultats corrects.
Les tâches de benchmark liées à la sécurité peuvent déclencher des refus du modèle ou du fournisseur. En production, les règles de sécurité, les modèles de secours et le routage peuvent être différents.
Lorsque vous comparez des agents, notez si un changement de modèle a eu lieu. Sinon, vous risquez d’attribuer au modèle principal un écart de coût ou de qualité dû au routage.
Configurer l’effort dans Claude Code et maîtriser les dépenses
Utilisez high comme réglage initial de Fable 5.2. Ne changez de niveau que lorsqu’une catégorie précise de tâches justifie cette décision.
La documentation d’Anthropic sur l’effort confirme que Fable 5.2 prend en charge low, medium, high, xhigh et max. La valeur par défaut de son API est high.
Opus 5.5 accepte les mêmes cinq niveaux, mais la valeur par défaut de son API est medium.
Cette différence est essentielle pour comparer les résultats. Le score d’Opus 5.5 en max ne correspond pas à une requête API ordinaire utilisant les paramètres par défaut.
Définir et vérifier l’effort dans Claude Code
Installez Claude Code et configurez d’abord votre accès à Fable 5.2.
Ouvrez ensuite un terminal dans votre dépôt.
Avec Bash, exécutez :
claude --model claude-fable-5-2 --effort high
Dans la session interactive de Claude Code, exécutez :
/model
/effort
Vérifiez que le modèle souhaité et le bon niveau d’effort sont actifs.
Le tutoriel officiel sur l’effort dans Claude Code décrit aussi ces commandes :
/effort medium
/effort high
/effort xhigh
/effort auto
Exécutez-les une par une, selon le réglage recherché. La dernière commande définit le niveau demandé pour la session.
/effort auto rétablit la valeur par défaut du modèle sélectionné.
Pour conserver un choix propre à chaque modèle, utilisez /effort dans une session interactive locale. À partir de Claude Code v2.1.251, le client enregistre le niveau choisi sous modelSettings, dans le fichier utilisateur ~/.claude/settings.json.
Ne comptez pas sur un effortLevel placé à la racine de ce fichier utilisateur pour configurer Fable 5.2. La référence des paramètres de Claude Code précise qu’Opus 5.5 et les modèles plus récents ignorent cet ancien paramètre utilisateur tant qu’un niveau propre au modèle n’a pas été enregistré.
Vous pouvez aussi définir l’effort avec la variable d’environnement CLAUDE_CODE_EFFORT_LEVEL.
D’après la référence des variables d’environnement, elle est prioritaire sur --effort, /effort, modelSettings et effortLevel.
Si /effort ou --effort ne semblent pas fonctionner, vérifiez d’abord si CLAUDE_CODE_EFFORT_LEVEL est définie. Supprimez cette surcharge pour que la commande interactive ou l’option de lancement soit prise en compte.
Pour les comparaisons ordinaires, privilégiez /effort ou --effort. L’option de lancement ne s’applique qu’à une session, tandis qu’un choix interactif enregistré peut rester actif lors des sessions suivantes.
Claude Code limite max à la session en cours, sauf si ce niveau est explicitement défini par la variable d’environnement.
Les administrateurs Enterprise peuvent également plafonner l’effort disponible. Si vous demandez un niveau supérieur, Claude Code peut exécuter la tâche au niveau maximal autorisé.
Pour les autres paramètres, consultez le guide de configuration de Claude Fable 5.2 dans Claude Code et l’API.
Mesurer l’effort sur votre propre dépôt
Choisissez une tâche représentative avec des critères d’acceptation précis.
Par exemple, demandez à l’agent d’examiner un test d’analyseur qui échoue, d’appliquer la correction minimale, de lancer les tests concernés et de lister les fichiers modifiés.
Commencez avec Fable 5.2 high. Notez les résultats des tests, l’acceptation ou le rejet du changement, la durée, les frais d’API et les éventuels délais dépassés ou changements de modèle.
Recommencez ensuite avec medium et xhigh, en restaurant à chaque fois le même état initial du dépôt.
Conservez les mêmes autorisations d’outils, commandes de test, révisions du dépôt et limites de temps.
Évaluez les résultats avec quatre questions :
- Le changement a-t-il passé les tests et la revue de code nécessaires ?
- L’effort supplémentaire a-t-il évité un rejet ou une nouvelle tentative ?
- L’agent a-t-il terminé dans le délai opérationnel prévu ?
- L’amélioration justifie-t-elle les frais d’API supplémentaires ?
Pour une équipe qui traite régulièrement de nombreuses tâches, utilisez plusieurs exemples dans chaque catégorie importante. Une seule exécution ne suffit pas pour choisir un réglage applicable à tout le projet.
Calculez le coût total par résultat accepté, en incluant les tentatives échouées et les répétitions. Comptabilisez séparément le temps de revue humaine et les frais d’infrastructure.
Cet indicateur vous aidera davantage à gérer le budget que la simple division du coût d’une tâche du benchmark par le score de l’indice.
Le fournisseur d’API change-t-il la recommandation ?
Vous pouvez tester le conseil de commencer par high sur une autre route API. En revanche, les coûts par tâche publiés ne s’y appliquent pas nécessairement.
Au 2026-11-15, le catalogue de modèles de BetterToken répertoriait claude-fable-5-2, claude-opus-5-5, gpt-6.1-sol et kimi-k3.1-pro pour un accès facturé à l’usage.
Sa documentation d’intégration à Claude Code utilise l’URL de base compatible Anthropic https://bettertoken.ai, sans /v1.
L’accès API via BetterToken est distinct des abonnements Claude. Le routage, le comportement du cache et les fonctionnalités prises en charge peuvent modifier les coûts réels et les résultats observés.
Vérifiez que votre endpoint applique correctement le niveau d’effort et mesurez les frais facturés avant de transposer les coûts d’Artificial Analysis à cette route.
Pour les tâches récurrentes facturées au token, commencez par Fable 5.2 high sur les implémentations difficiles. Réduisez l’effort lorsque le taux d’acceptation reste satisfaisant et réservez xhigh aux gains mesurés.
Ne définissez pas max comme valeur globale uniquement parce qu’il s’agit du niveau le plus élevé. Pour votre projet, le bon indicateur reste le coût des modifications terminées dans les délais et acceptées après vérification.