Artificial Analysis Coding Agent Index v2.0 : coût par tâche

Pour exploiter Artificial Analysis Coding Agent Index v2.0, commencez par Codex + GPT-6.1 Sol (max) pour des travaux de développement variés, ou testez d’abord Codex + DeepSeek V4.1 Flash (max) si le budget API est votre principale contrainte. Claude Code + Claude Opus 5.5 (max), mieux noté, mérite un essai lorsqu’un changement accepté justifie un budget plus élevé. Ces recommandations s’appuient sur les résultats des benchmarks selon le type de travail ; les montants en dollars mesurent l’usage de l’API, pas le prix d’un abonnement ni un coût garanti en production.

Cette comparaison reprend l’annonce de lancement publiée le 23 octobre par Artificial Analysis, avec une méthodologie et un comparatif en ligne vérifiés au 2026-10-25. L’unité comparée est un modèle associé à son environnement d’exécution d’agent, ou harness : l’application qui gère le contexte, les outils, l’exécution et les échanges avec le modèle.

Comparer les quatre configurations mises en avant

Parmi ces quatre configurations, GPT-6.1 Sol constitue le point de départ le plus utile pour tester qualité et budget sur des travaux variés. DeepSeek réduit nettement la facture API, tandis qu’Opus obtient un meilleur score global. Le choix d’Astra demande une justification plus précise.

AA a mis en avant les associations ci-dessous dans son annonce. Les quatre utilisent le réglage de raisonnement max indiqué dans les résultats.

Agent et modèle associé	Score de l’indice v2.0	Score FrontierCode v1.1	Coût API par tâche
Codex avec DeepSeek V4.1 Flash	47.3	52.6%	$0.39
Codex avec GPT-6.1 Sol	54.1	49.4%	$1.50
Codex avec GPT-6 Astra	54.7	49.3%	$7.04
Claude Code avec Claude Opus 5.5	61.7	56.0%	$11.42

Ces coûts sont des moyennes en USD calculées sur les tâches du benchmark. Au 2026-10-25, le comparatif actuel entre Claude Code et Codex affiche toujours ces quatre montants, mais arrondit les scores présentés.

Il s’agit d’une sélection, pas du classement complet ni de tous les points de sa frontière coût-performance. Le comparatif en ligne mentionne aussi Codex + GPT-6 Luna (max), à $0.16 par tâche pour un score d’indice arrondi à 31. DeepSeek est le moins cher des quatre choix mis en avant, pas de toutes les configurations mesurées.

Opus arrive en tête du classement de lancement. Claude Code + Sonnet 5.5 (max) suit avec 59.3, puis Muse Code + Muse Wonder Full (max) avec 58.9. Une bonne place ne suffit pas à déterminer le meilleur choix pour vos tâches ou votre plafond de dépenses.

Choisir selon le travail à accomplir

Utilisez le score du composant pertinent pour décider quelle association tester en premier. L’indice global accorde la même importance à trois types de travail différents ; votre liste de tâches n’a probablement pas cette répartition.

Modifications répétées de dépôts : tester DeepSeek d’abord

Commencez par Codex + DeepSeek V4.1 Flash si vous avez de nombreux changements bien délimités et pouvez vérifier chaque résultat par des tests et une revue. Son score FrontierCode de 52.6% dépasse les 49.4% de Sol et les 49.3% d’Astra, malgré un indice global inférieur.

Ces résultats justifient un essai sur une file de modifications à faible coût, sans démontrer le résultat que vous obtiendrez en production. Changez de choix si les correctifs rejetés, les tentatives supplémentaires ou les reprises manuelles des réviseurs annulent l’économie d’API.

Développement et terminal : commencer par Sol

Prenez Codex + GPT-6.1 Sol comme référence initiale lorsque le travail alterne entre modification du code et manipulation d’un environnement de développement. Il gagne 6.8 points d’indice par rapport à DeepSeek pour $1.11 de plus par tentative du benchmark.

Dans le comparatif officiel, les scores arrondis de Terminal-Bench 4.0 sont de 53% pour Sol et de 28% pour DeepSeek. Cet écart justifie de tester Sol d’abord pour des travaux qui sollicitent beaucoup le terminal ; il ne prouve pas que vous retrouverez le même écart sur vos corrections de CI ou vos scripts de déploiement. Choisissez plutôt DeepSeek s’il atteint votre seuil d’acceptation à un coût total inférieur.

Échecs coûteux : comparer Opus à votre référence

Testez Claude Code + Opus 5.5 lorsque le coût d’un résultat insuffisant dépasse celui d’une facture API plus élevée. Il obtient le meilleur score global annoncé, 61.7, ainsi que le meilleur score FrontierCode de ces quatre configurations, 56.0%.

À $11.42 par tentative du benchmark, il coûte environ 7.61 fois les $1.50 de Sol. Ne le retenez pour une catégorie de tâches que si votre comparaison montre une amélioration suffisante du nombre de changements acceptés, du temps de revue ou des tentatives nécessaires pour justifier ce supplément.

Envisager Astra : exiger un avantage sur vos tâches

Ne passez pas de Sol à Astra uniquement pour faire monter l’indice de 54.1 à 54.7. Le coût publié passe de $1.50 à $7.04, soit environ 4.69 fois la dépense pour 0.6 point d’indice supplémentaire.

Astra peut néanmoins prendre l’avantage sur un ensemble particulier de tâches. Son score Terminal-Bench arrondi est par exemple de 56%, contre 53% pour Sol. Commencez par Sol et ne retenez Astra qu’après avoir constaté un avantage utile dans votre travail ; le faible écart global ne suffit pas à l’établir.

Calculer un budget sans confondre score et taux de réussite

Multipliez le coût publié par le nombre de tentatives et considérez le résultat comme une estimation dépendant des tâches. Ne multipliez pas un nombre de tâches par le pourcentage de l’indice pour en déduire un nombre de correctifs terminés.

Prenons à titre d’exemple 1,000 tentatives, avec la même répartition des tâches qu’AA et des coûts moyens de tokens inchangés :

Agent et modèle associé	Dépense API estimée pour 1,000 tentatives
Codex avec DeepSeek V4.1 Flash	$390
Codex avec GPT-6.1 Sol	$1,500
Codex avec GPT-6 Astra	$7,040
Claude Code avec Opus 5.5	$11,420

Le calcul consiste à multiplier les tentatives par le coût API moyen publié par tentative : attempts × reported mean API cost per attempt. Ces estimations excluent votre infrastructure, les outils externes payants et la revue humaine. Elles n’estiment pas le coût de 1,000 pull requests acceptées.

Pour calculer le coût par point d’indice, utilisez l’échelle publiée de 0–100 :

• DeepSeek : $0.39 / 47.3 ≈ $0.00825 par point d’indice.
• Sol : $1.50 / 54.1 ≈ $0.02773 par point d’indice.
• Astra : $7.04 / 54.7 ≈ $0.12870 par point d’indice.
• Opus : $11.42 / 61.7 ≈ $0.18509 par point d’indice.

Ce ratio décrit les résultats à cette date ; il ne donne pas le coût par tâche réussie. L’indice combine plusieurs systèmes de notation, et la pondération de ses benchmarks diffère de l’agrégation utilisée pour les coûts. Un ratio faible peut aussi favoriser une configuration bon marché dont le niveau de performance reste inférieur à votre minimum acceptable.

Pour décider où investir, mesurez la dépense totale divisée par le nombre de résultats acceptés sur vos propres tâches. Incluez dans la dépense les tentatives échouées et les reprises par une configuration plus performante.

Qu’est-ce qui change dans Coding Agent Index v2.0 ?

La version 2.0 remplace le composant de génie logiciel et modifie la notation des questions sur les dépôts. Terminal-Bench 4.0 reste inchangé par rapport à l’indice v1.5.

La méthodologie publiée de l’indice précise les composants suivants :

Composant	Tâches	Ce qu’il mesure	Notation
FrontierCode v1.1 Main	100	Modifications de dépôts réels	Zéro si une vérification bloquante échoue ; sinon 70–100%
Terminal-Bench 4.0	66	Tâches accomplies depuis un terminal	Réussite ou échec selon la suite de tests
SWE-Atlas-QnA-AA	124	Questions sur le comportement d’un dépôt	Une tâche ne réussit que si tous les critères d’évaluation sont satisfaits

Cela représente 290 tâches distinctes. AA effectue trois tentatives par tâche et en calcule la moyenne ; il ne retient pas la meilleure des trois. Il fait ensuite la moyenne des trois scores de benchmark en leur donnant le même poids.

Le composant de 124 questions ne pèse donc pas plus lourd que celui des 66 tâches de terminal. Et un indice de 61.7 ne signifie pas que 61.7% des tickets de développement ordinaires seront résolus.

FrontierCode valorise les changements conformes aux exigences des mainteneurs

FrontierCode remplace DeepSWE v1.1 et intègre la qualité du code à l’évaluation. Le benchmark conçu par Cognition examine si un changement répond aux exigences du mainteneur du dépôt, notamment en matière de périmètre et de qualité du code, au-delà du seul bon fonctionnement.

AA utilise l’ensemble privé Main de 100 tâches. L’échec d’une seule exigence bloquante donne zéro ; satisfaire toutes ces exigences ouvre l’accès à un score de 70–100%, déterminé par les autres vérifications.

L’accès à Internet reste autorisé. Selon les règles d’usage de FrontierCode 1.1, consulter la documentation est permis, mais récupérer des éléments de solution peut invalider une tentative. AA applique une version modifiée du scanner de Cognition et attribue zéro aux tentatives signalées.

Le caractère privé des tâches réduit une source de contamination du benchmark. Il n’implique pas qu’une solution issue du dépôt d’origine soit introuvable en ligne.

SWE-Atlas-QnA-AA change le juge et la formulation des critères

Les questions sur les dépôts restent les mêmes, mais leur notation change. AA conserve 124 tâches et 1,306 critères, reformule 127 critères et utilise GPT-6 Luna au niveau xhigh comme juge, avec cinq votes par critère.

Le jeu de données et la configuration du juge publiés prévoient un vote majoritaire pour chaque critère. La réussite d’une tâche exige toujours de satisfaire tous les critères : une réponse techniquement plausible peut donc échouer si un seul détail requis manque.

AA indique que les révisions rendent les verdicts plus cohérents. Pour les comparaisons, il faut surtout retenir que le score dépend désormais de cette évaluation révisée, et non de l’ancienne combinaison de critères et de juge.

Pourquoi la baisse des scores ne prouve pas une régression des modèles

La baisse entre les versions de l’indice reflète une évaluation différente ; elle ne permet pas de conclure que les mêmes modèles se sont dégradés. Comparez les configurations au sein de v2.0 avant de confronter leurs scores à ceux d’une ancienne version.

Dans le fil de son annonce officielle, AA indique que l’indice moyen des 21 configurations présentes dans les deux versions passe de 54.8 à 47.4, avec une baisse pour 20 des 21. Ces mêmes configurations obtenaient en moyenne 65.6% sur DeepSWE v1.1, contre 45.1% sur FrontierCode v1.1, qui le remplace.

La moyenne des questions sur les dépôts baisse également, de 58.8% à 57.1% ; 14 des 21 configurations reculent. Terminal-Bench reste inchangé. Avec des benchmarks pondérés à égalité, ces variations publiées expliquent la baisse globale de 7.4 points.

Le calcul est le suivant : ((45.1 - 65.6) + (57.1 - 58.8) + 0) / 3 = -7.4.

L’échelle de mesure a changé. Les résultats relatifs évoluent aussi : une notation plus stricte ne retire pas le même nombre de points à toutes les configurations.

Ce que comprend le coût API, et ce qu’il exclut

La mesure de coût d’AA modélise la facturation des tokens, y compris le cache lorsqu’il est pris en charge. Elle ne représente ni le prix d’un abonnement Claude ou ChatGPT, ni tout le travail d’ingénierie nécessaire pour livrer un changement.

Les rubriques consacrées au coût et à l’usage des tokens distinguent les entrées non mises en cache, les entrées en cache, les écritures dans le cache et les sorties. La page publique propose aussi des vues sur la répartition des tokens et le taux de succès du cache. Facturer fictivement chaque token d’entrée au tarif plein, comme s’il était absent du cache, fausserait ce calcul.

Le coût est moyenné sur l’ensemble des tentatives, tandis que l’indice global pondère les trois benchmarks à égalité. AA exclut les données de télémétrie manquantes de la moyenne d’efficacité, au lieu de les remplacer par zéro. C’est une raison supplémentaire de ne pas interpréter le coût divisé par l’indice comme un coût par problème résolu.

Vos dépenses peuvent varier selon la taille du contexte, les nouvelles tentatives, l’effort de raisonnement et le fonctionnement du cache du fournisseur. Un autre endpoint ou harness peut modifier la comparaison, même si le nom du modèle paraît identique.

Distinguez également l’évaluation séparée des modèles sur FrontierCode publiée par AA : elle utilise son harness Stirrup. Ses scores de modèles ne sont pas interchangeables avec ceux des configurations Claude Code et Codex présentés plus haut.

Comparer deux configurations dans votre dépôt

Testez deux configurations avec les mêmes critères d’acceptation avant de confier toutes vos tâches à l’une d’elles. Un petit pilote doit aider à choisir pour votre catégorie de travail, pas servir à prétendre que vous avez reproduit le benchmark privé d’AA.

1. Sélectionnez des tâches représentatives. Commencez par dix tâches réelles de la catégorie que vous souhaitez automatiser. Décrivez le comportement attendu et le périmètre acceptable avant de lancer un agent.
2. Conservez les mêmes conditions initiales. Utilisez le même commit du dépôt, le même prompt, les mêmes outils disponibles et les mêmes permissions. Notez la version de la CLI, l’ID exact du modèle ou sa révision, le réglage de raisonnement et le chemin d’accès via le fournisseur.
3. Exécutez chaque configuration indépendamment. Repartez d’une copie de travail neuve et d’une nouvelle session à chaque tentative. Consignez les échecs et les essais supplémentaires, au lieu de ne conserver que le correctif le plus convaincant.
4. Évaluez le résultat utilisable. Pour les correctifs, lancez les tests pertinents et examinez la justesse, le périmètre et la maintenabilité. Pour les questions sur le dépôt, vérifiez l’explication à partir du code et des éventuelles preuves d’exécution requises.
5. Comparez les résultats acceptés et les coûts complets. Relevez les frais API, l’usage des outils payants et les coûts d’exécution, puis valorisez le temps de revue au taux horaire choisi par votre équipe. Divisez la dépense totale par le nombre de résultats acceptés ; notez séparément les frais d’abonnement et de dépassement si vous évaluez un accès par abonnement.

L’identité du modèle mérite une attention particulière avec DeepSeek. Au 2026-10-25, sa documentation API native indique deepseek-flash, dont les requêtes sont actuellement traitées par DeepSeek-V4.1-Flash-1017. Le nom abrégé du classement ne suffit pas à établir qu’une nouvelle requête utilisera la version évaluée par AA.

Si vous utilisez BetterToken pour le pilote, suivez ses guides d’intégration API distincts pour Codex et Claude Code, puis mesurez les frais de cet accès. Il s’agit d’un accès API, distinct des abonnements aux applications des fournisseurs.

Conservez la configuration la moins chère là où elle atteint votre seuil d’acceptation. Réservez la configuration plus performante aux catégories de tâches pour lesquelles davantage de résultats acceptés ou moins de travail de revue justifient son coût supplémentaire.