MaxxBench: कौन से कोडिंग मॉडल बदली ज़रूरतें पूरी करते हैं?

MaxxBench में DeepSWE के 89 कार्य बदलकर मॉडलों की अनुकूलन क्षमता परखी जाती है। शुरुआती 12 कॉन्फ़िगरेशन और तर्क सेटिंग की तुलना करें, छिपे टेस्ट का अनुमान लगाने से होने वाली विफलताएँ समझें, पहुँच का तरीका चुनें और अपनी रिपॉज़िटरी में एक ज़रूरत बदलकर जाँच करें।

विषय-सूची
MaxxBench: कौन से कोडिंग मॉडल बदली ज़रूरतें पूरी करते हैं?

DeepSWE के मिलते-जुलते स्कोर के बावजूद आपका कोडिंग एजेंट बदली ज़रूरत अनदेखी करता है, तो MaxxBench उपयोगी है। unLAP के प्रकाशित नतीजों के आधार पर ऐसे काम के लिए पहले Claude Opus 5.5 और GPT-6 Astra को आज़माएँ। डिफ़ॉल्ट मॉडल बदलने से पहले अपनी रिपॉज़िटरी में एक ज़रूरत बदलकर दोनों को जाँचें।

पहले किन मॉडलों को आज़माएँ?

प्रकाशित तुलना में Claude Opus 5.5 आगे है, फिर GPT-6 Astra और GPT-5.6 Sol आते हैं। जहाँ तय विवरण का सटीक पालन ज़रूरी हो, वहाँ इस क्रम से उम्मीदवार चुनें। इसे अपने कोडिंग टूल में सफलता की गारंटी न मानें।

नीचे मूल 12 कॉन्फ़िगरेशन की तुलना दी गई है। 2026-11-16 तक शोध की मौजूदा तुलना में 17 कॉन्फ़िगरेशन शामिल हैं। स्कोर शोध की तालिका से और तर्क के स्तर की सेटिंग MaxxBench की रैंकिंग से ली गई हैं।

मॉडलतर्क का स्तरप्रकाशित DeepSWE स्कोरMaxxBench
Claude Opus 5.5max74.2%76.4%
GPT-6 Astraxhigh74.1%71.9%
GPT-5.6 Solmax72.7%69.1%
Claude Fable 5xhigh69.9%63.5%
Claude Opus 5max73.6%63.5%
GLM-5.3max69.0%56.7%
DeepSeek V4.1 Flashmax74.2%55.6%
GLM-5.3 Flashmax63.4%55.1%
Gemini 3.8 Flashhigh73.8%53.4%
GPT-5.6 Lunamax67.2%46.1%
Muse Spark 1.2xhigh54.9%38.8%
DeepSeek V4 Flashmax53.3%28.1%

इन 12 कॉन्फ़िगरेशन में सबसे अधिक और सबसे कम स्कोर का अंतर DeepSWE पर 20.9 प्रतिशत अंक से बढ़कर MaxxBench पर 48.3 हो जाता है। पहले 1.5 अंक के दायरे में रहे छह कॉन्फ़िगरेशन के बीच अब 23.0 अंक का अंतर है। केवल Opus 5.5 का स्कोर बढ़ता है; Astra और Sol के स्कोर 2.2 और 3.6 अंक घटते हैं।

ज़रूरतें बार-बार बदलती हों, तो Opus 5.5 और Astra की तुलना करें। अपने परीक्षण में Astra चुनें, अगर वह कम कुल समय या खर्च में स्वीकृति की वही शर्तें पूरी करता है।

सीमित दायरे के बदलावों और अच्छे टेस्ट के लिए Flash मॉडल रख सकते हैं, बशर्ते वह स्वीकार्य कुल खर्च में आपकी जाँचें पास करे। DeepSeek V4.1 Flash के 55.6% और Gemini 3.8 Flash के 53.4% से आपकी रिपॉज़िटरी के लिए भरोसेमंद विजेता तय नहीं होता। सिर्फ़ टोकन की कीमत नहीं, दोबारा कोशिशों और कोड जाँचने के समय की भी तुलना करें। लागत के इस अलग निर्णय के लिए Coding Agent Index की प्रति-कार्य लागत गाइड पढ़ें।

मॉडल के अलग संस्करणों को एक न मानें। मौजूदा रैंकिंग में DeepSeek V4.1 Flash 1017 अलग दर्ज है; ऊपर की तालिका में DeepSeek का पहले वाला नतीजा है। बेंचमार्क के नाम को किसी API मॉडल से मिलाने से पहले DeepSeek Flash के संस्करणों और कोडिंग की गाइड देखें।

MaxxBench में क्या बदला जाता है?

MaxxBench में DeepSWE के 89 कार्यों के निर्देश या शुरुआती कोड बदले जाते हैं, जबकि मूल इंजीनियरिंग समस्या वही रहती है। unLAP संदर्भ समाधान और टेस्ट बदलता है। जिन व्यवहारों को जस का तस रहना चाहिए, उनकी जाँच भी रखी जाती है।

एक कार्य में हर ब्राउज़र के लिए अलग रिपोर्ट बनानी होती है। MaxxBench फ़ाइल नाम छोटे अक्षरों में रखने की शर्त जोड़ता है: Chrome.xml को chrome.xml बनना चाहिए, और रिपोर्ट बनना जारी रहना चाहिए। पूरी ज़रूरतें प्रकाशित Testem कार्य में हैं।

दूसरे कार्य में FastAPI रूट बंद किए जाने की तारीखें जोड़ी जाती हैं। बदली ज़रूरत के अनुसार टाइमस्टैम्प UTC में होने चाहिए और अंत में Z होना चाहिए। दिए गए समय-क्षेत्र का ऑफ़सेट बनाए रखना अब सही नहीं है।

संदर्भ पैच में बढ़ोतरी का माध्यिका मान 17 पंक्तियाँ, यानी 3.5% है। यह पैच में अतिरिक्त बदलाव का आकार है, पूरी सुविधा बनाने का कुल काम नहीं। प्रकाशित परीक्षण रनर में सभी ज़रूरी कार्यात्मक और रिग्रेशन टेस्ट पास होने चाहिए।

ज़रूरत समझने के बाद भी एजेंट असफल क्यों हो सकता है?

unLAP ने एजेंटों के काम के क्रम की समीक्षा में पाया कि छिपे टेस्ट के अनुमान कभी-कभी स्पष्ट ज़रूरतों पर हावी हो जाते हैं। प्रकाशित उदाहरणों में एजेंट की व्याख्या और उसके जमा किए गए कोड में अंतर है।

ytt के एक कार्य में GLM-5.3 ने पहचाना कि uint64 को float64 में बदलने से सटीकता घट सकती है। फिर भी उसने मान लिया कि बहुत बड़े मानों की जाँच नहीं होगी। सत्यापन प्रोग्राम ने 2^53 + 1 जाँचा, और वह प्रयास असफल रहा।

Opus 5, GLM-5.3 और GLM-5.3 Flash की बदली हुई जाँचों पर हुई विफलताओं में लगभग एक चौथाई का क्रम ऐसा था: बदलाव समझना, फिर मूल व्यवहार पर लौटना। अलग से, unLAP के अनुसार टेस्ट का अनुमान लगाने ने Opus 5.5 की 16.7%, Opus 5 की 30.8% और GLM-5.3 की 40.3% विफलताओं में योगदान दिया।

ये प्रतिशत शोधकर्ताओं द्वारा वर्गीकृत विफलताओं के हैं, सभी अनुरोधों या आपके चालू ऐप में विफलता की दर के नहीं। एजेंटों के काम का विश्लेषण दिखाता है कि सही व्याख्या को प्रमाण मानने के बजाय अंतिम व्यवहार जाँचना चाहिए।

परीक्षण के लिए पहुँच का कौन सा तरीका चुनें?

पहले अपना मौजूदा खाता इस्तेमाल करें, अगर वह सेवा की शर्तें पूरी करता है और चुना मॉडल पहले से उपलब्ध है। Opus को आज़माने के लिए 2026-11-16 तक ये रास्ते उपलब्ध हैं।

तरीकाज़रूरतें और बिलिंगकब चुनें
Claude Code की सदस्यताअपना claude.ai खाता और समर्थित सशुल्क प्लान। चुना मॉडल उपलब्ध होना चाहिए और उपयोग सीमा में जगह बची होनी चाहिए। वेबसाइट पर सदस्यता खरीदने के लिए क्रेडिट या डेबिट कार्ड चाहिए।आप टूल पहले से इस्तेमाल करते हैं और उसी पूरे सेटअप को परखना चाहते हैं।
Anthropic APIConsole खाता, API के प्रमाणीकरण विवरण और अनुरोधों के भुगतान की व्यवस्था। अधिकतर संगठन पहले से खरीदे क्रेडिट इस्तेमाल करते हैं। इनपुट, आउटपुट और कैश टोकन की बिलिंग के अलग नियम हैं। क्रेडिट या डेबिट कार्ड स्वीकार किए जाते हैं।आपको प्रदाता के API तक सीधी पहुँच और उपयोग का अलग हिसाब चाहिए।
BetterTokenअपना खाता, API कुंजी और बैलेंस; खर्च मॉडल के अनुसार लगता है। कंसोल में भुगतान के तरीके देखें और टूल जोड़ने के लिए उसकी प्रकाशित निर्देशिका इस्तेमाल करें।आपको अलग API प्रदाता के ज़रिए सूचीबद्ध मॉडल इस्तेमाल करने हैं और वास्तविक उपयोग के हिसाब से भुगतान करना है।

आधिकारिक रास्ता चुनते समय Claude के समर्थित स्थान या Anthropic API के समर्थित क्षेत्र जाँचें। Anthropic ने Claude Code में प्रमाणीकरण और Console की बिलिंग के अलग निर्देश दिए हैं।

Claude Code में BetterToken के ज़रिए Opus 5.5 आज़माएँ

2026-11-16 तक BetterToken में claude-opus-5-5 और claude-opus-5 सूचीबद्ध हैं। इसका Claude Code के लिए API इस्तेमाल करने का तरीका Claude.ai की सदस्यता से अलग है। परीक्षण बढ़ाने से पहले मौजूदा कीमतें देखें।

Claude Code इंस्टॉल करने के बाद BetterToken कंसोल में अपनी कुंजी बनाएँ। Claude Code जोड़ने की निर्देशिका में बेस URL https://bettertoken.ai है, जिसके अंत में /v1 नहीं लगाना है।

Bash में यह चलाएँ:

read -rs BETTERTOKEN_API_KEY && export BETTERTOKEN_API_KEY
export ANTHROPIC_BASE_URL="https://bettertoken.ai"
export ANTHROPIC_AUTH_TOKEN="$BETTERTOKEN_API_KEY"
export ANTHROPIC_MODEL="claude-opus-5-5"
claude -p "Reply with only: OK"

पहली कमांड जब इनपुट का इंतज़ार करे, तब कंसोल से बनाई कुंजी पेस्ट करें और Enter दबाएँ। दर्ज की गई कुंजी दिखाई नहीं देती और शेल के कमांड इतिहास में सेव नहीं होती।

OK उत्तर आने से कनेक्शन की पुष्टि होती है। कंसोल में अनुरोध, मॉडल, टोकन उपयोग और कटे शुल्क देखें। फिर परीक्षण वाली रिपॉज़िटरी की कार्यशील प्रति में claude चलाएँ। Opus 5 से तुलना करने के लिए नया सत्र शुरू करने से पहले ANTHROPIC_MODEL को claude-opus-5 पर सेट करें।

401 आने पर टोकन जाँचें। अगर उसी शेल में ANTHROPIC_API_KEY टकराव पैदा कर रहा है, तो उसे हटाएँ। संवादात्मक सत्र में /status को BetterToken का बेस URL और ANTHROPIC_AUTH_TOKEN दिखाना चाहिए। अनुरोध गलत सेवा को जा रहा हो, तो टकराती सेटिंग जाँचें और Claude Code दोबारा शुरू करें।

BetterToken खाता बनाएँ।

अपनी रिपॉज़िटरी में एक ज़रूरत बदलकर कैसे जाँचें?

अपनी रिपॉज़िटरी की पहले से मौजूद सुविधा लें और उसकी एक ऐसी ज़रूरत बदलें जिसका परिणाम देखा जा सके। यह स्थानीय स्तर पर मॉडल चुनने का अभ्यास है, MaxxBench के नतीजे दोहराने का प्रयास नहीं।

बिना असंबंधित बदलावों वाली शुरुआती स्थिति सहेजें और संबंधित मौजूदा टेस्ट चलाएँ। एजेंट से कोड बदलवाने से पहले नई स्वीकृति जाँच लिखें। पुष्टि करें कि शुरुआती कोड उसी अपेक्षित कारण से नई जाँच में असफल होता है।

हर उम्मीदवार को रिपॉज़िटरी की समान कार्यशील प्रति और नया संवाद दें। टूल का संस्करण, अनुमतियाँ, निर्भरताएँ और कार्य के निर्देश समान रखें। मॉडल ID और तर्क के स्तर की सेटिंग दर्ज करें; max, xhigh और high को बराबर बजट न मानें।

जिस रिपॉज़िटरी में हर ब्राउज़र के लिए अलग रिपोर्ट पहले से बनती है, उसमें यह प्रॉम्प्ट इस्तेमाल करें:

Goal: Make per-browser report filenames lowercase.

Allowed scope: Report filename generation and its focused tests.

Preserve: Report contents, separate files for each browser, and existing filename escaping.

Acceptance: Chrome produces chrome.xml. Firefox produces firefox.xml. Existing reporting tests still pass.

Verification: Add focused tests, implement the change, and run the repository's reporting tests. Report the exact test command, its result, and changed files. Stop when these checks pass.

स्वीकृति जाँच खुद चलाएँ और बनी फ़ाइलें देखें। नई जाँच पास करने वाला पैच भी अस्वीकार करें, अगर उससे रिपोर्ट का मौजूदा व्यवहार बिगड़ता है। सही व्याख्या के साथ ज़रूरी परिणाम न मिले, तो वह भी असफल प्रयास है।

विफलताएँ, दोबारा कोशिशें, कुल समय, मॉडल के इस्तेमाल का खर्च और समीक्षा का समय दर्ज करें। दोबारा कोशिशों समेत कुल मॉडल खर्च को सभी स्वीकृति जाँचें पास करने वाले बदलावों की संख्या से भाग दें। इंसान द्वारा की गई समीक्षा का समय अलग दर्ज करें।

एक फ़ाइल नाम सफलतापूर्वक बदलना सिर्फ़ शुरुआती जाँच है। पूरी टीम के लिए मॉडल चुनने से पहले अपनी काम की सूची के प्रतिनिधि बदलावों पर यही प्रक्रिया दोहराएँ। कम खर्च वाला उम्मीदवार तभी तक रखें जब तक वह स्वीकृति की शर्तें पूरी करे; वरना कार्य अधिक सक्षम उम्मीदवार को दें।

स्कोर से क्या निष्कर्ष नहीं निकालना चाहिए?

स्कोर का अंतर बदलाव अपनाने की क्षमता को और परखने का आधार है, याद किए गए समाधानों का मापा हुआ प्रतिशत नहीं। Datacurve के DeepSWE रिलीज़ में 113 कार्य हैं; MaxxBench उनमें से 89 बदलता है। unLAP ने संदर्भ समाधान और टेस्ट भी बदले हैं। इसलिए प्रकाशित पहले और बाद के स्कोर में केवल बदली ज़रूरतों का असर अलग से नहीं मापा गया है।

ये बेंचमार्क बनाने वालों के प्रकाशित नतीजे हैं, और मॉडलों की तर्क सेटिंग भी अलग हैं। समान परिस्थितियों में बार-बार परीक्षण किए बिना छोटे अंतर को सांख्यिकीय रूप से निर्णायक न मानें। Opus 5.5 की 2.2 अंक की बढ़त भी यह साबित नहीं करती कि ज़रूरत बदलने से मॉडल की क्षमता बढ़ जाती है।

अंत में, आपकी स्थानीय Claude Code जाँच का एजेंट सेटअप प्रकाशित mini-swe-agent रनर से अलग है। नतीजे का इस्तेमाल अपनी रिपॉज़िटरी के लिए टूल और मॉडल चुनने में करें, यह दावा करने में नहीं कि आपने रैंकिंग के परिणाम दोहरा दिए।

अपना LLM वर्कफ़्लो बेहतर बनाना चाहते हैं?

एक API से मॉडल जोड़ें, कुंजियाँ प्रबंधित करें और AI खर्च नियंत्रित करें।

मुफ़्त शुरू करें