MaxxBench: Welche Coding-Modelle folgen geänderten Anforderungen?
MaxxBench verändert 89 DeepSWE-Aufgaben, um die Anpassung der Modelle zu prüfen. Vergleiche die ursprünglichen 12 Konfigurationen und Denkstufen, verstehe Fehler durch Vermutungen über verborgene Tests, wähle einen Zugangsweg und teste eine geänderte Anforderung im eigenen Repository.
Inhalt

MaxxBench hilft dir bei der Modellauswahl, wenn Agenten laut DeepSWE ähnlich gut abschneiden, dein Agent aber geänderte Anforderungen ignoriert. Teste dafür zuerst Claude Opus 5.5 und GPT-6 Astra, gestützt auf die von unLAP veröffentlichten Ergebnisse. Prüfe beide mit einer geänderten Anforderung in deinem Repository, bevor du dein Standardmodell wechselst.
Welche Modelle solltest du zuerst testen?
Im veröffentlichten Vergleich liegt Claude Opus 5.5 vorn, gefolgt von GPT-6 Astra und GPT-5.6 Sol. Nutze diese Reihenfolge, um Kandidaten für Aufgaben auszuwählen, bei denen die genaue Spezifikation zählt. Sie garantiert kein entsprechendes Ergebnis in deinem Coding-Tool.
Die Tabelle enthält den ursprünglichen Vergleich von 12 Konfigurationen. Stand 2026-11-16 umfasst der Vergleich auf der Forschungsseite 17 Konfigurationen. Die Punktzahlen stammen aus der Vergleichstabelle, die Denkstufen aus der MaxxBench-Rangliste.
| Modell | Denkstufe | Veröffentlichtes DeepSWE-Ergebnis | MaxxBench |
|---|---|---|---|
| Claude Opus 5.5 | max | 74.2% | 76.4% |
| GPT-6 Astra | xhigh | 74.1% | 71.9% |
| GPT-5.6 Sol | max | 72.7% | 69.1% |
| Claude Fable 5 | xhigh | 69.9% | 63.5% |
| Claude Opus 5 | max | 73.6% | 63.5% |
| GLM-5.3 | max | 69.0% | 56.7% |
| DeepSeek V4.1 Flash | max | 74.2% | 55.6% |
| GLM-5.3 Flash | max | 63.4% | 55.1% |
| Gemini 3.8 Flash | high | 73.8% | 53.4% |
| GPT-5.6 Luna | max | 67.2% | 46.1% |
| Muse Spark 1.2 | xhigh | 54.9% | 38.8% |
| DeepSeek V4 Flash | max | 53.3% | 28.1% |
Bei diesen 12 Konfigurationen wächst die Spanne zwischen höchstem und niedrigstem Ergebnis von 20.9 Prozentpunkten bei DeepSWE auf 48.3 bei MaxxBench. Sechs Konfigurationen lagen ursprünglich innerhalb von 1.5 Punkten und verteilen sich nun über 23.0 Punkte. Nur Opus 5.5 verbessert sich; Astra und Sol verlieren 2.2 beziehungsweise 3.6 Punkte.
Bei häufig wechselnden Anforderungen solltest du Opus 5.5 mit Astra vergleichen. Wähle Astra, wenn es in deinem Versuch dieselben Abnahmekriterien mit weniger Gesamtzeit oder geringeren Kosten erfüllt.
Für klar begrenzte Änderungen mit aussagekräftigen Tests kannst du einen Flash-Kandidaten behalten, sofern er deine Prüfungen zu vertretbaren Gesamtkosten besteht. Die 55.6% von DeepSeek V4.1 Flash und die 53.4% von Gemini 3.8 Flash bestimmen keinen verlässlichen Sieger für dein Repository. Vergleiche Wiederholungsversuche und die Zeit für die Codeprüfung, nicht nur Tokenpreise. Der Leitfaden zu den Kosten pro Aufgabe im Coding Agent Index behandelt diese Kostenentscheidung separat.
Halte Modellversionen auseinander. Die aktuelle Rangliste führt DeepSeek V4.1 Flash 1017 separat auf; die Tabelle oben verwendet das frühere DeepSeek-Ergebnis. Lies den Leitfaden zu DeepSeek-Flash-Versionen für Coding-Aufgaben, bevor du einen Benchmark-Namen einem API-Modell zuordnest.
Was verändert MaxxBench?
MaxxBench verändert Anweisungen oder Ausgangscode von 89 DeepSWE-Aufgaben, behält aber die technische Kernaufgabe bei. unLAP überarbeitet die Referenzlösung und die Tests. Prüfungen für Verhalten, das unverändert bleiben muss, bleiben erhalten.
Eine Aufgabe verlangt separate Berichte für jeden Browser. MaxxBench ergänzt die Anforderung, Dateinamen kleinzuschreiben: Aus Chrome.xml muss chrome.xml werden, während die Berichtsfunktion weiter funktioniert. Die veröffentlichte Testem-Aufgabe enthält die vollständige Spezifikation.
Eine andere Aufgabe ergänzt Abschaltdaten für FastAPI-Routen. Die geänderte Anforderung verlangt UTC-Zeitstempel mit abschließendem Z, statt den angegebenen Zeitzonenversatz beizubehalten.
Die Referenzpatches wachsen im Median um 17 Zeilen beziehungsweise 3.5%. Das beschreibt den zusätzlichen Patchumfang, nicht den gesamten Aufwand für die jeweilige Funktion. Der veröffentlichte Test-Runner verlangt, dass alle erforderlichen Funktions- und Regressionstests bestehen.
Warum kann ein Agent die Änderung verstehen und trotzdem scheitern?
unLAP fand in den Ablaufprotokollen Agenten, die Vermutungen über verborgene Tests höher gewichteten als ausdrückliche Anforderungen. Die veröffentlichten Beispiele zeigen Unterschiede zwischen der Erklärung des Agenten und seinem abgegebenen Code.
Bei einer ytt-Aufgabe erkannte GLM-5.3, dass die Umwandlung von uint64-Werten in float64 Präzision verlieren kann. Trotzdem nahm das Modell an, dass ausreichend große Werte nicht getestet würden. Der Prüfer testete 2^53 + 1, und der Lauf scheiterte.
Bei Opus 5, GLM-5.3 und GLM-5.3 Flash zusammen folgte etwa ein Viertel der Fehlschläge bei geänderten Prüfungen demselben Muster. Der Agent verstand die Änderung und kehrte anschließend zum ursprünglichen Verhalten zurück. Separat ordnete unLAP Vermutungen über Tests als Mitursache von 16.7% der Fehlschläge bei Opus 5.5 ein. Bei Opus 5 waren es 30.8%, bei GLM-5.3 40.3%.
Diese Anteile beziehen sich auf die von den Forschern klassifizierten Fehlschläge, nicht auf alle Anfragen oder die Fehlerquote deines Produktivsystems. Die Analyse der Ablaufprotokolle zeigt, warum du das tatsächliche Verhalten prüfen solltest, statt eine richtige Erklärung als Beweis zu akzeptieren.
Welchen Zugang solltest du für einen Versuch nutzen?
Nutze zuerst ein vorhandenes Konto, wenn es die Zugangsbedingungen erfüllt und dein Kandidat darüber bereits verfügbar ist. Für einen Versuch mit Opus stehen dir mit Stand 2026-11-16 folgende Wege offen.
| Zugang | Voraussetzungen und Abrechnung | Wann wählen? |
|---|---|---|
| Abo mit Zugang zu Claude Code | Dein claude.ai-Konto und ein unterstützter kostenpflichtiger Tarif. Prüfe, ob das Modell verfügbar ist und dir noch Nutzungskontingent bleibt. Für ein Abo über die Website brauchst du eine Kredit- oder Debitkarte. | Du nutzt das Tool bereits und möchtest diese vollständige Konfiguration bewerten. |
| Anthropic API | Ein Console-Konto, API-Zugangsdaten und Mittel zur Bezahlung der Nutzung. Die meisten Organisationen verwenden vorausbezahltes Guthaben. Für Eingabe-, Ausgabe- und Cache-Tokens gelten unterschiedliche Abrechnungsregeln. Kredit- und Debitkarten werden akzeptiert. | Du möchtest direkt auf die API des Anbieters zugreifen und die Nutzung separat messen. |
| BetterToken | Dein eigenes Konto, ein API-Schlüssel und Guthaben. Die Nutzung wird nach dem jeweiligen Modelltarif berechnet. Prüfe die Zahlungsmethoden in der Konsole und verwende die dokumentierte Integration für dein Tool. | Du möchtest gelistete Modelle über einen separaten API-Anbieter nutzen und nach Verbrauch bezahlen. |
Prüfe für den gewählten offiziellen Zugang die unterstützten Länder und Regionen von Claude oder die Regionen der Anthropic API. Anthropic dokumentiert die Authentifizierung in Claude Code und die Abrechnung über Console getrennt.
Opus 5.5 über BetterToken in Claude Code testen
Stand 2026-11-16 listet BetterToken claude-opus-5-5 und claude-opus-5. Der API-Zugang für Claude Code ist von einem Claude.ai-Abo getrennt. Prüfe die aktuellen Preise, bevor du deinen Versuch ausweitest.
Wenn Claude Code installiert ist, erstelle deinen eigenen Schlüssel in der BetterToken-Konsole. Die dokumentierte Claude-Code-Integration verwendet https://bettertoken.ai ohne /v1.
Führe Folgendes in Bash aus:
read -rs BETTERTOKEN_API_KEY && export BETTERTOKEN_API_KEY
export ANTHROPIC_BASE_URL="https://bettertoken.ai"
export ANTHROPIC_AUTH_TOKEN="$BETTERTOKEN_API_KEY"
export ANTHROPIC_MODEL="claude-opus-5-5"
claude -p "Reply with only: OK"
Sobald der erste Befehl auf eine Eingabe wartet, füge den Schlüssel aus der Konsole ein und drücke Enter. Die Eingabe wird weder angezeigt noch im Shell-Verlauf gespeichert.
Eine Antwort mit OK bestätigt die Verbindung. Prüfe Anfrage, Modell, Tokenverbrauch und Gebühren in der Konsole. Starte anschließend claude in deiner Arbeitskopie für den Versuch. Für den Vergleich mit Opus 5 setzt du ANTHROPIC_MODEL vor einer neuen Sitzung auf claude-opus-5.
Prüfe bei 401 den Token und entferne einen Konflikt verursachenden ANTHROPIC_API_KEY aus der Umgebung dieser Shell. In einer interaktiven Sitzung sollte /status die BetterToken-Basis-URL und ANTHROPIC_AUTH_TOKEN anzeigen. Gehen Anfragen an das falsche Ziel, prüfe widersprüchliche Einstellungen und starte Claude Code neu.
Wie testest du eine geänderte Anforderung im eigenen Repository?
Wähle eine bereits implementierte Funktion und ändere eine Anforderung, deren Ergebnis sich beobachten lässt. Das ist ein lokaler Versuch zur Modellauswahl, keine Reproduktion von MaxxBench.
Sichere einen sauberen Ausgangsstand und führe die relevanten bestehenden Tests aus. Schreibe den neuen Abnahmetest, bevor du den Agenten mit der Codeänderung beauftragst. Prüfe, ob der Ausgangsstand diesen Test aus dem erwarteten Grund nicht besteht.
Gib jedem Kandidaten eine identische Arbeitskopie und einen neuen Chat. Halte Toolversion, Berechtigungen, Abhängigkeiten und Aufgabenbeschreibung gleich. Notiere Modell-ID und Denkstufe, statt anzunehmen, dass max, xhigh und high gleiche Budgets bedeuten.
Für ein Repository, das bereits separate Berichte pro Browser erzeugt, kannst du diesen Prompt verwenden:
Goal: Make per-browser report filenames lowercase.
Allowed scope: Report filename generation and its focused tests.
Preserve: Report contents, separate files for each browser, and existing filename escaping.
Acceptance: Chrome produces chrome.xml. Firefox produces firefox.xml. Existing reporting tests still pass.
Verification: Add focused tests, implement the change, and run the repository's reporting tests. Report the exact test command, its result, and changed files. Stop when these checks pass.
Führe die Abnahmetests selbst aus und prüfe die erzeugten Dateien. Lehne einen Patch ab, der den neuen Test besteht, aber das bisherige Berichtsverhalten beschädigt. Auch eine richtige Erklärung ohne die geforderte Ausgabe zählt als gescheiterter Versuch.
Erfasse Fehlschläge, Wiederholungsversuche, verstrichene Zeit, Kosten der Modellaufrufe und Zeit für die Codeprüfung. Teile die gesamten Kosten der Modellaufrufe einschließlich Wiederholungsversuchen durch die Anzahl der Änderungen, die alle Abnahmetests bestehen. Erfasse die Zeit für menschliche Codeprüfung separat.
Eine einzelne erfolgreiche Änderung des Dateinamens ist nur ein erster Funktionstest. Wiederhole den Ablauf mit repräsentativen Änderungen aus deiner Aufgabenliste, bevor du ein Modell für das ganze Team auswählst. Behalte den günstigeren Kandidaten nur, solange er die Abnahmekriterien erfüllt. Andernfalls gib die Aufgabe an einen leistungsfähigeren Kandidaten weiter.
Was solltest du aus den Ergebnissen nicht ableiten?
Die Abstände begründen weitere Tests zur Anpassungsfähigkeit, messen aber keinen Anteil auswendig gelernter Lösungen. Die von Datacurve veröffentlichte DeepSWE-Version enthält 113 Aufgaben; MaxxBench verändert 89. unLAP hat außerdem Referenzlösungen und Tests überarbeitet. Die veröffentlichten Vorher-nachher-Werte isolieren deshalb nicht allein den Effekt geänderter Anforderungen.
Die Ergebnisse stammen von den Erstellern des Benchmarks, und die Modelle verwenden unterschiedliche Denkstufen. Werte einen kleinen Vorsprung ohne wiederholte Versuche unter vergleichbaren Bedingungen nicht als statistisch entscheidend. Auch der Anstieg von Opus 5.5 um 2.2 Punkte beweist nicht, dass geänderte Anforderungen das Modell leistungsfähiger machen.
Dein lokaler Versuch mit Claude Code bewertet außerdem eine andere Agentenkonfiguration als der veröffentlichte Lauf mit mini-swe-agent. Nutze das Ergebnis, um Tool und Modell für dein Repository auszuwählen, nicht um eine Reproduktion der Rangliste zu behaupten.