Artificial Analysis Coding Agent Index v2.0: Kosten pro Aufgabe

Für gemischte Programmieraufgaben empfiehlt sich auf Basis des Artificial Analysis Coding Agent Index v2.0 zunächst Codex + GPT-6.1 Sol (max); wenn das API-Budget den Ausschlag gibt, teste zuerst Codex + DeepSeek V4.1 Flash (max). Claude Code + Claude Opus 5.5 (max) erzielt die höhere Punktzahl und ist ein Kandidat, wenn ein akzeptiertes Ergebnis einen größeren finanziellen Einsatz rechtfertigt. Diese Empfehlungen leiten sich aus den Benchmark-Ergebnissen für unterschiedliche Aufgaben ab; die Dollarbeträge erfassen die API-Nutzung, keine Abopreise oder garantierten Kosten im produktiven Einsatz.

Der Vergleich stützt sich auf die Ankündigung von Artificial Analysis vom 23. Oktober. Methodik und laufend aktualisierter Vergleich wurden mit Stand 2026-10-25 geprüft. Verglichen wird jeweils ein Modell samt Agenten-Harness: der Anwendung, die Kontext, Werkzeuge, Ausführung und Kommunikation mit dem Modell steuert.

Die vier hervorgehobenen Konfigurationen im Vergleich

Unter diesen vier Konfigurationen ist GPT-6.1 Sol der sinnvollste Ausgangspunkt für einen Budgettest mit unterschiedlichen Aufgabenarten. DeepSeek senkt die API-Kosten deutlich, während Opus die höchste Gesamtpunktzahl erzielt. Für Astra brauchst du eine konkretere Begründung.

AA hat die folgenden Kombinationen in der Ankündigung hervorgehoben. Alle vier verwenden die dort angegebene Reasoning-Einstellung max.

Agent mit Modell	Punktzahl im Index v2.0	Punktzahl in FrontierCode v1.1	API-Kosten pro Aufgabe
Codex mit DeepSeek V4.1 Flash	47.3	52.6%	$0.39
Codex mit GPT-6.1 Sol	54.1	49.4%	$1.50
Codex mit GPT-6 Astra	54.7	49.3%	$7.04
Claude Code mit Claude Opus 5.5	61.7	56.0%	$11.42

Die Kosten sind Durchschnittswerte in USD für die Benchmark-Aufgaben. Der aktuelle Vergleich zwischen Claude Code und Codex führt mit Stand 2026-10-25 weiterhin diese vier Beträge auf, rundet jedoch die angezeigten Punktzahlen.

Diese Auswahl bildet weder die gesamte Rangliste noch alle Punkte auf der Kosteneffizienzgrenze ab. Im aktuellen Vergleich steht auch Codex + GPT-6 Luna (max) mit $0.16 pro Aufgabe und einer gerundeten Indexpunktzahl von 31. DeepSeek ist unter den vier hervorgehobenen Optionen am günstigsten, aber nicht unter allen gemessenen Konfigurationen.

Opus führt die Rangliste zum Veröffentlichungszeitpunkt an. Es folgen Claude Code + Sonnet 5.5 (max) mit 59.3 und Muse Code + Muse Wonder Full (max) mit 58.9. Eine hohe Platzierung allein bestimmt noch nicht die beste Wahl für deine Aufgaben oder dein Ausgabenlimit.

Wähle nach den Aufgaben, die du erledigen musst

Entscheide anhand des passenden Teilbenchmarks, welche Kombination du zuerst testest. Der Gesamtindex gewichtet drei unterschiedliche Arten von Arbeit gleich. In deinem Backlog sind sie vermutlich anders verteilt.

Viele begrenzte Änderungen am Repository: zuerst DeepSeek testen

Beginne mit Codex + DeepSeek V4.1 Flash, wenn viele klar abgegrenzte Änderungen anstehen und du jedes Ergebnis mit Tests und Review prüfen kannst. Seine Punktzahl in FrontierCode liegt mit 52.6% über den 49.4% von Sol und den 49.3% von Astra, obwohl der Gesamtindex niedriger ausfällt.

Das spricht dafür, eine Reihe solcher Änderungen mit geringem API-Budget auszuprobieren. Entsprechende Ergebnisse im produktiven Einsatz sind damit noch nicht belegt. Ändere die Auswahl, wenn abgelehnte Patches, weitere Versuche oder manuelle Nacharbeit im Review die API-Ersparnis aufzehren.

Gemischte Code- und Terminalaufgaben: mit Sol beginnen

Wähle Codex + GPT-6.1 Sol als erste Vergleichsbasis, wenn deine Arbeit zwischen Codeänderungen und Arbeiten in der Entwicklungsumgebung wechselt. Für $1.11 mehr pro Benchmark-Versuch erhält die Kombination 6.8 Indexpunkte mehr als DeepSeek.

Die gerundeten Ergebnisse für Terminal-Bench 4.0 im offiziellen Vergleich betragen 53% für Sol und 28% für DeepSeek. Dieser Abstand spricht dafür, Sol bei terminalintensiven Aufgaben zuerst zu testen. Er belegt jedoch keinen ebenso großen Unterschied bei deinen CI-Reparaturen oder Deployment-Skripten. Wähle stattdessen DeepSeek, wenn es deine Abnahmekriterien zu geringeren Gesamtkosten erfüllt.

Wenn Fehler teuer werden: Opus mit deiner Ausgangslösung vergleichen

Teste Claude Code + Opus 5.5, wenn ein unzureichendes Ergebnis teurer wäre als eine höhere API-Rechnung. Die Kombination hat die höchste angekündigte Gesamtpunktzahl von 61.7 und unter diesen vier Varianten auch die höchste FrontierCode-Punktzahl von 56.0%.

Mit $11.42 pro Benchmark-Versuch kostet sie etwa das 7.61-Fache der $1.50 von Sol. Behalte sie für eine Aufgabenkategorie nur dann bei, wenn dein Vergleich genügend Verbesserung bei akzeptierten Änderungen, Review-Zeit oder Wiederholungsversuchen zeigt, um diesen Aufpreis zu rechtfertigen.

Astra erwägen: einen Vorteil für deine Aufgaben verlangen

Wechsle nicht allein wegen des Anstiegs von 54.1 auf 54.7 Indexpunkte von Sol zu Astra. Die veröffentlichten Kosten steigen von $1.50 auf $7.04: ungefähr das 4.69-Fache der Ausgaben für 0.6 zusätzliche Indexpunkte.

Bei einer bestimmten Aufgabenverteilung kann Astra trotzdem gewinnen. Seine gerundete Terminal-Bench-Punktzahl beträgt beispielsweise 56%, gegenüber 53% bei Sol. Beginne mit Sol und wechsle erst zu Astra, wenn du einen Vorteil beobachtest, der für deine Arbeit zählt. Der kleine Abstand im Gesamtindex belegt einen solchen Vorteil allein noch nicht.

Das Budget berechnen, ohne Punktzahlen als Erfolgsquoten zu behandeln

Multipliziere die angegebenen Kosten mit der Anzahl der Versuche und behandle das Ergebnis als aufgabenabhängige Schätzung. Multipliziere nicht die Anzahl deiner Aufgaben mit dem Indexprozentsatz, um daraus die Zahl erledigter Fehlerbehebungen abzuleiten.

Zur Veranschaulichung: 1,000 Versuche mit derselben Aufgabenmischung wie bei AA und unveränderten durchschnittlichen Tokenkosten ergeben folgende Schätzungen:

Agent mit Modell	Geschätzte API-Ausgaben für 1,000 Versuche
Codex mit DeepSeek V4.1 Flash	$390
Codex mit GPT-6.1 Sol	$1,500
Codex mit GPT-6 Astra	$7,040
Claude Code mit Opus 5.5	$11,420

Die Rechnung lautet: Anzahl der Versuche mal veröffentlichte mittlere API-Kosten pro Versuch, also attempts × reported mean API cost per attempt. Diese Schätzungen enthalten weder deine Infrastruktur noch kostenpflichtige externe Werkzeuge oder menschliches Review. Sie schätzen nicht die Kosten für 1,000 akzeptierte Pull Requests.

Für die Berechnung der Kosten pro Indexpunkt verwendest du den Index auf seiner veröffentlichten Skala von 0–100:

• DeepSeek: $0.39 / 47.3 ≈ $0.00825 pro Indexpunkt.
• Sol: $1.50 / 54.1 ≈ $0.02773 pro Indexpunkt.
• Astra: $7.04 / 54.7 ≈ $0.12870 pro Indexpunkt.
• Opus: $11.42 / 61.7 ≈ $0.18509 pro Indexpunkt.

Dieses Verhältnis beschreibt den damaligen Datenstand, nicht die Kosten pro erfolgreich erledigter Aufgabe. Der Index kombiniert unterschiedliche Bewertungssysteme, und seine Benchmark-Gewichte unterscheiden sich von der gemeinsamen Mittelung der Kosten über die Versuche. Ein niedriger Quotient kann auch eine günstige Konfiguration begünstigen, deren tatsächliche Leistung unter deiner Mindestanforderung liegt.

Für eine Kaufentscheidung ermittle auf deinem eigenen Aufgabensatz die Gesamtausgaben geteilt durch die Anzahl akzeptierter Ergebnisse. Rechne auch die Kosten fehlgeschlagener Versuche und der Übergabe an eine leistungsfähigere Konfiguration in die Gesamtausgaben ein.

Was ändert sich im Coding Agent Index v2.0?

Version 2.0 ersetzt den Teil für Softwareentwicklung und überarbeitet die Bewertung von Fragen zu Repositories. Terminal-Bench 4.0 bleibt gegenüber Index v1.5 unverändert.

Die veröffentlichte Indexmethodik legt Folgendes fest:

Bestandteil	Aufgaben	Was gemessen wird	Bewertung
FrontierCode v1.1 Main	100	Änderungen an realen Repositories	Null, wenn eine blockierende Prüfung fehlschlägt; sonst 70–100%
Terminal-Bench 4.0	66	Über das Terminal erledigte Aufgaben	Testsuite bestanden oder nicht bestanden
SWE-Atlas-QnA-AA	124	Fragen zum Verhalten eines Repositorys	Nur bestanden, wenn jedes Kriterium des Bewertungsrasters erfüllt ist

Das sind 290 verschiedene Aufgaben. AA führt pro Aufgabe drei Versuche aus und bildet deren Durchschnitt; es wird nicht das beste Ergebnis aus drei Versuchen ausgewählt. Anschließend werden die drei Benchmark-Punktzahlen mit gleichem Gewicht gemittelt.

Der Bestandteil mit 124 Fragen wiegt deshalb nicht schwerer als der mit 66 Terminalaufgaben. Eine Indexpunktzahl von 61.7 bedeutet auch nicht, dass 61.7% gewöhnlicher Entwicklungstickets erledigt werden.

FrontierCode bewertet Änderungen nach den Maßstäben der Maintainer

FrontierCode ersetzt DeepSWE v1.1 und bezieht die Codequalität in die Bewertung ein. Cognitions Benchmark-Design prüft, ob eine Änderung die Anforderungen der Repository-Maintainer erfüllt, einschließlich Umfang und Codequalität. Funktionale Korrektheit allein reicht dafür nicht aus.

AA nutzt den nichtöffentlichen Main-Satz mit 100 Aufgaben. Scheitert eine einzige blockierende Anforderung, gibt es null Punkte. Sind alle blockierenden Anforderungen erfüllt, bestimmen die übrigen Prüfungen die Punktzahl im Bereich von 70–100%.

Der Internetzugang bleibt verfügbar. Nach den Regeln zur zulässigen Nutzung in FrontierCode 1.1 darf der Agent Dokumentation lesen; das Abrufen von Lösungsmaterial kann einen Versuch dagegen ungültig machen. AA verwendet eine angepasste Version von Cognitions Scanner und bewertet markierte Versuche mit null.

Der nichtöffentliche Aufgabensatz begrenzt eine mögliche Quelle verfälschter Benchmark-Ergebnisse: vorab bekanntes Testmaterial. Lösungen im ursprünglichen Projekt können trotzdem bereits online existieren.

SWE-Atlas-QnA-AA ändert das Bewertungsmodell und die Formulierung der Kriterien

Die Fragen zu den Repositories bleiben gleich, ihre Bewertung ändert sich jedoch. AA behält 124 Aufgaben und 1,306 Kriterien bei, formuliert 127 Kriterien neu und verwendet GPT-6 Luna mit xhigh als Bewertungsmodell. Pro Kriterium werden fünf Stimmen abgegeben.

Der veröffentlichte Datensatz und die Konfiguration des Bewertungsmodells sehen eine Mehrheitsentscheidung für jedes Kriterium vor. Eine Aufgabe gilt weiterhin nur dann als bestanden, wenn sie sämtliche Kriterien erfüllt. Eine technisch plausible Antwort kann deshalb scheitern, wenn ein einziges erforderliches Detail fehlt.

Laut AA sorgen die Überarbeitungen für konsistentere Urteile. Für den Vergleich zählt, dass die neue Punktzahl zu diesem überarbeiteten Bewertungsverfahren gehört, nicht zur früheren Kombination aus Kriterien und Bewertungsmodell.

Warum niedrigere Punktzahlen keinen Rückschritt der Modelle belegen

Der Rückgang zwischen den Indexversionen spiegelt eine veränderte Bewertung wider und lässt sich nicht als Verschlechterung derselben Modelle lesen. Vergleiche zunächst Konfigurationen innerhalb von v2.0, bevor du ihre Punktzahlen einem älteren Index gegenüberstellst.

In der Diskussion zur offiziellen Ankündigung berichtet AA, dass der mittlere Indexwert für 21 in beiden Versionen enthaltene Konfigurationen von 54.8 auf 47.4 fiel; 20 der 21 verzeichneten einen Rückgang. Dieselben Konfigurationen erreichten im Durchschnitt 65.6% bei DeepSWE v1.1 und 45.1% bei dessen Ersatz FrontierCode v1.1.

Auch die durchschnittliche Bewertung der Repository-Fragen sank, von 58.8% auf 57.1%; bei 14 der 21 Konfigurationen ging die Punktzahl zurück. Terminal-Bench blieb unverändert. Bei gleicher Gewichtung erklären diese veröffentlichten Veränderungen der Teilbenchmarks den Gesamtrückgang um 7.4 Punkte.

Die Rechnung mit gleichen Gewichten lautet: ((45.1 - 65.6) + (57.1 - 58.8) + 0) / 3 = -7.4.

Es handelt sich um einen anderen Maßstab. Auch die relativen Ergebnisse verschieben sich: Strengere Bewertung zieht nicht jeder Konfiguration gleich viele Punkte ab.

Was die API-Kosten enthalten und was fehlt

AAs Kostenmetrik bildet die Tokenabrechnung ab, einschließlich Caching, sofern es unterstützt wird. Sie beziffert weder ein Claude- oder ChatGPT-Abo noch den gesamten Entwicklungsaufwand, der nötig ist, um eine Änderung auszuliefern.

Die Abschnitte zu Kosten und Tokenverbrauch unterscheiden zwischen nicht gecachten Eingaben, gecachten Eingaben, Cache-Schreibvorgängen und Ausgaben. Die öffentliche Seite zeigt außerdem Tokenverteilungen und Cache-Trefferraten. Jeden Eingabetoken als Cache-Miss zum vollen Preis anzusetzen, würde diese Rechnung verfälschen.

Für die Kosten werden die Aufgabenversuche gemeinsam gemittelt, während der Gesamtindex die drei Benchmarks gleich gewichtet. AA lässt fehlende Telemetriedaten beim Effizienzdurchschnitt weg, statt sie als null anzusetzen. Auch deshalb ergibt die Division der Kosten durch die Indexpunktzahl keine Kosten pro gelöstem Problem.

Deine Kosten können sich mit Kontextgröße, Wiederholungsversuchen, Reasoning-Aufwand und dem Cache-Verhalten des Providers ändern. Ein anderer Endpunkt oder Harness kann den Vergleich verändern, selbst wenn die Modellbezeichnung vertraut aussieht.

Trenne außerdem AAs separate FrontierCode-Modellbewertung von diesem Vergleich: Sie verwendet AAs Stirrup-Harness. Die dortigen Modellpunktzahlen sind nicht mit den oben aufgeführten Punktzahlen der Konfigurationen mit Claude Code und Codex austauschbar.

Einen kleinen Vergleich im eigenen Repository durchführen

Prüfe zwei Konfigurationen anhand derselben Abnahmekriterien, bevor du einer davon den gesamten Backlog übergibst. Ein kleiner Pilot soll eine Entscheidung für deine Aufgabenkategorie ermöglichen, keine Behauptung, AAs privaten Benchmark reproduziert zu haben.

1. Repräsentative Aufgaben auswählen. Beginne mit zehn realen Aufgaben aus der Kategorie, die du automatisieren möchtest. Halte erwartetes Verhalten und akzeptablen Änderungsumfang fest, bevor du einen der Agenten ausführst.
2. Ausgangsbedingungen gleich halten. Verwende denselben Repository-Commit, Aufgabenprompt, dieselben verfügbaren Werkzeuge und Berechtigungen. Dokumentiere die CLI-Version, die genaue Modell-ID oder Revision, die Reasoning-Einstellung und den verwendeten Provider samt Zugangsweg.
3. Jede Konfiguration unabhängig ausführen. Verwende für jeden Versuch einen frischen Checkout und eine neue Sitzung. Erfasse fehlgeschlagene und zusätzliche Versuche, statt nur den überzeugendsten Patch aufzubewahren.
4. Das nutzbare Ergebnis bewerten. Führe bei Patches die relevanten Tests aus und prüfe Korrektheit, Umfang und Wartbarkeit. Überprüfe bei Repository-Fragen die Erklärung anhand des Codes und gegebenenfalls erforderlicher Ausführungsnachweise.
5. Akzeptierte Ergebnisse und vollständige Kosten vergleichen. Erfasse API-Gebühren, kostenpflichtige Werkzeuge und Laufzeitkosten. Bewerte die Review-Zeit mit dem von deinem Team gewählten Stundensatz. Teile die Gesamtausgaben durch die Anzahl akzeptierter Ergebnisse; erfasse Abogebühren und Gebühren für Mehrverbrauch getrennt, wenn du einen Abozugang bewertest.

Bei DeepSeek verdient die Modellidentität besondere Aufmerksamkeit. Mit Stand 2026-10-25 nennt die Dokumentation der nativen API den Namen deepseek-flash, dessen Anfragen derzeit von DeepSeek-V4.1-Flash-1017 bedient werden. Die kurze Bezeichnung in der Rangliste allein belegt nicht, dass eine neu geroutete Anfrage denselben Modellstand nutzt, den AA bewertet hat.

Wenn du für den Pilotversuch BetterToken nutzt, folge den getrennten API-Integrationsanleitungen für Codex und Claude Code und miss die Gebühren dieses Zugangs. Es handelt sich um API-Zugriff, der von den Abonnements der Anbieteranwendungen getrennt ist.

Behalte die günstigere Konfiguration dort, wo sie deine Abnahmekriterien erfüllt. Übergib der leistungsfähigeren Konfiguration diejenigen Aufgabenkategorien, bei denen bessere akzeptierte Ergebnisse oder weniger Review-Arbeit ihre zusätzlichen Kosten rechtfertigen.