Artificial Analysis Coding Agent Index v2.0: प्रति टास्क लागत

Artificial Analysis Coding Agent Index v2.0 के आधार पर अलग-अलग तरह के कोडिंग कामों के लिए Codex + GPT-6.1 Sol (max) से शुरुआत करें। अगर API खर्च सबसे बड़ी सीमा है, तो पहले Codex + DeepSeek V4.1 Flash (max) को आज़माएँ; और जब स्वीकृत बदलाव के लिए बड़ा बजट उचित हो, तब अधिक स्कोर वाले Claude Code + Claude Opus 5.5 (max) की तुलना करें। ये सुझाव अलग-अलग कामों के बेंचमार्क परिणामों पर आधारित हैं: डॉलर में दिए गए आँकड़े API उपयोग की लागत हैं, सदस्यता की कीमत या प्रोडक्शन में उतनी ही लागत आने की गारंटी नहीं।

यह तुलना Artificial Analysis की 23 अक्टूबर की घोषणा पर आधारित है। इसकी कार्यप्रणाली और मौजूदा तुलना को 2026-10-25 को जाँचा गया था। यहाँ तुलना की इकाई मॉडल और उसका एजेंट हार्नेस (agent harness) है: वह एप्लिकेशन जो संदर्भ, टूल, क्रियाओं के निष्पादन और मॉडल के साथ संवाद को संभालता है।

प्रमुख चार कॉन्फ़िगरेशन की तुलना

इन चार विकल्पों में अलग-अलग तरह के कामों की गुणवत्ता और बजट जाँचने के लिए GPT-6.1 Sol सबसे उपयोगी शुरुआती विकल्प है। DeepSeek API खर्च काफी कम करता है, जबकि Opus का कुल स्कोर अधिक है। Astra चुनने के लिए किसी खास काम से जुड़ा कारण चाहिए।

AA ने अपनी घोषणा में नीचे दी गई जोड़ियों को प्रमुखता दी थी। चारों के प्रकाशित परिणामों में तर्क करने का स्तर max है।

एजेंट में इस्तेमाल किया गया मॉडल	इंडेक्स v2.0 स्कोर	FrontierCode v1.1 स्कोर	प्रति टास्क API लागत
Codex में DeepSeek V4.1 Flash	47.3	52.6%	$0.39
Codex में GPT-6.1 Sol	54.1	49.4%	$1.50
Codex में GPT-6 Astra	54.7	49.3%	$7.04
Claude Code में Claude Opus 5.5	61.7	56.0%	$11.42

लागत के ये आँकड़े बेंचमार्क के कामों पर आधारित USD औसत हैं। 2026-10-25 को Claude Code और Codex की मौजूदा तुलना में भी यही चार लागतें दर्ज थीं, हालाँकि उस पेज पर स्कोर पूर्णांक में दिखाए जाते हैं।

यह चुने हुए विकल्पों की सूची है, पूरा लीडरबोर्ड या लागत और स्कोर के लिहाज़ से सबसे कुशल संयोजनों की पूरी सूची नहीं। मौजूदा तुलना में Codex + GPT-6 Luna (max) भी है, जिसकी प्रति टास्क लागत $0.16 और पूर्णांक में दिखाया गया इंडेक्स स्कोर 31 है। DeepSeek इन चार प्रमुख विकल्पों में सबसे सस्ता है, सभी मापे गए कॉन्फ़िगरेशन में नहीं।

घोषणा के समय की रैंकिंग में Opus पहले स्थान पर है। इसके बाद Claude Code + Sonnet 5.5 (max) का स्कोर 59.3 और Muse Code + Muse Wonder Full (max) का 58.9 है। ऊँची रैंक अपने-आप यह नहीं बताती कि आपके काम या खर्च की सीमा के लिए कौन-सा विकल्प बेहतर है।

अपने काम के अनुसार जोड़ी चुनें

पहले किस जोड़ी को आज़माना है, यह तय करने के लिए संबंधित बेंचमार्क घटक का स्कोर देखें। कुल इंडेक्स तीन अलग प्रकार के कामों को बराबर महत्व देता है। आपके लंबित कामों में उनका अनुपात शायद अलग हो।

बार-बार रिपॉज़िटरी में बदलाव करने हों: पहले DeepSeek आज़माएँ

अगर आपको स्पष्ट दायरे वाले बहुत से बदलाव करने हैं और हर परिणाम को टेस्ट तथा समीक्षा से जाँच सकते हैं, तो Codex + DeepSeek V4.1 Flash से शुरुआत करें। इसका FrontierCode स्कोर 52.6% है, जो Sol के 49.4% और Astra के 49.3% से अधिक है, हालाँकि इसका कुल इंडेक्स कम है।

इससे कम लागत पर ऐसे बदलावों की कतार चलाने का प्रयोग उचित लगता है; प्रोडक्शन में उसकी सफलता सिद्ध नहीं होती। अगर अस्वीकृत पैच, अतिरिक्त प्रयास या समीक्षक को हाथ से करने पड़ने वाले सुधार API की बचत खत्म कर दें, तो चुनाव बदलें।

कोडिंग और टर्मिनल के मिले-जुले काम: Sol से शुरुआत करें

जहाँ कभी कोड बदलना और कभी डेवलपमेंट परिवेश में काम करना हो, वहाँ Codex + GPT-6.1 Sol को शुरुआती आधार बनाएँ। बेंचमार्क के प्रति प्रयास पर $1.11 अधिक खर्च के बदले इसका इंडेक्स DeepSeek से 6.8 अंक ऊँचा है।

आधिकारिक तुलना में Terminal-Bench 4.0 के पूर्णांक में दिखाए गए परिणाम Sol के लिए 53% और DeepSeek के लिए 28% हैं। यह अंतर टर्मिनल पर अधिक निर्भर कामों के लिए पहले Sol जाँचने का आधार देता है। इससे यह सिद्ध नहीं होता कि आपके CI सुधारों या डिप्लॉयमेंट स्क्रिप्ट में भी इतना ही अंतर होगा। अगर DeepSeek आपकी स्वीकृति की कसौटी कम कुल लागत पर पूरी करता है, तो उसे चुनें।

नाकामी महँगी पड़ती हो: Opus को अपने आधार विकल्प से मिलाएँ

जब अपर्याप्त परिणाम की कीमत अधिक API खर्च से बड़ी हो, तब Claude Code + Opus 5.5 की जाँच करें। घोषणा में इसका कुल स्कोर सबसे ऊँचा, 61.7, है। इन चार विकल्पों में FrontierCode पर भी इसका स्कोर सबसे अधिक, 56.0%, है।

बेंचमार्क के प्रति प्रयास की $11.42 लागत, Sol की $1.50 लागत की लगभग 7.61 गुनी है। किसी काम की श्रेणी के लिए इसे तभी बनाए रखें, जब आपकी तुलना में स्वीकृत बदलावों, समीक्षा के समय या दोबारा प्रयासों में इतना सुधार दिखे कि अतिरिक्त खर्च उचित हो।

Astra पर विचार कर रहे हों: अपने काम में लाभ पहले साबित करें

सिर्फ इंडेक्स के 54.1 से 54.7 होने के कारण Sol से Astra पर न जाएँ। प्रकाशित लागत $1.50 से $7.04 हो जाती है: अतिरिक्त 0.6 इंडेक्स अंक के लिए लगभग 4.69 गुना खर्च।

फिर भी किसी खास प्रकार के कामों के समूह पर Astra बेहतर हो सकता है। उदाहरण के लिए, Terminal-Bench पर इसका पूर्णांक में दिखाया गया स्कोर 56% है, जबकि Sol का 53% है। Sol से शुरुआत करें और Astra तभी चुनें, जब अपनी वास्तविक जरूरत में महत्वपूर्ण लाभ दिखे। कुल स्कोर का छोटा अंतर अकेले ऐसा लाभ सिद्ध नहीं करता।

स्कोर को सफलता दर माने बिना बजट निकालें

प्रकाशित लागत को प्रयासों की संख्या से गुणा करें और परिणाम को काम के प्रकार पर निर्भर अनुमान मानें। टास्क की संख्या को इंडेक्स प्रतिशत से गुणा करके उसे पूरे हुए सुधारों की संख्या न कहें।

उदाहरण के लिए, AA जैसे कामों के मिश्रण और समान औसत टोकन लागत के साथ 1,000 प्रयास मानें:

एजेंट में इस्तेमाल किया गया मॉडल	1,000 प्रयासों का अनुमानित API खर्च
Codex में DeepSeek V4.1 Flash	$390
Codex में GPT-6.1 Sol	$1,500
Codex में GPT-6 Astra	$7,040
Claude Code में Opus 5.5	$11,420

हिसाब सिर्फ प्रयासों की संख्या को प्रति प्रयास प्रकाशित औसत API लागत से गुणा करना है: attempts × reported mean API cost per attempt। इन अनुमानों में आपकी अवसंरचना, भुगतान वाले बाहरी टूल और मानवीय समीक्षा शामिल नहीं हैं। ये 1,000 स्वीकृत पुल रिक्वेस्ट की लागत के अनुमान नहीं हैं।

इंडेक्स के प्रति अंक लागत निकालने के लिए इंडेक्स का प्रकाशित 0–100 का पैमाना इस्तेमाल करें:

• DeepSeek: $0.39 / 47.3 ≈ $0.00825 प्रति इंडेक्स अंक।
• Sol: $1.50 / 54.1 ≈ $0.02773 प्रति इंडेक्स अंक।
• Astra: $7.04 / 54.7 ≈ $0.12870 प्रति इंडेक्स अंक।
• Opus: $11.42 / 61.7 ≈ $0.18509 प्रति इंडेक्स अंक।

यह अनुपात उस समय के परिणामों का वर्णन करता है; यह सफल टास्क की लागत नहीं है। इंडेक्स अलग-अलग स्कोरिंग प्रणालियों को जोड़ता है। इसके बेंचमार्क घटकों के भार भी लागत को एकत्र करके औसत निकालने की विधि से अलग हैं। कम अनुपात ऐसे सस्ते विकल्प को भी बेहतर दिखा सकता है, जिसका वास्तविक प्रदर्शन आपकी न्यूनतम स्वीकार्य सीमा से नीचे हो।

खर्च का फैसला करने के लिए अपने टास्क समूह पर कुल खर्च को स्वीकृत परिणामों की संख्या से भाग दें। कुल खर्च में असफल प्रयास और कठिन टास्क को अधिक सक्षम कॉन्फ़िगरेशन पर दोबारा चलाने की लागत भी जोड़ें।

Coding Agent Index v2.0 में क्या बदला?

संस्करण 2.0 में सॉफ़्टवेयर इंजीनियरिंग वाला घटक बदला गया है और रिपॉज़िटरी से जुड़े सवाल-जवाब की जाँच संशोधित हुई है। इंडेक्स v1.5 की तुलना में Terminal-Bench 4.0 नहीं बदला है।

इंडेक्स की प्रकाशित कार्यप्रणाली में ये घटक दिए गए हैं:

घटक	टास्क	क्या मापता है	स्कोरिंग
FrontierCode v1.1 Main	100	वास्तविक रिपॉज़िटरी में बदलाव	किसी अनिवार्य जाँच के असफल होने पर शून्य; अन्यथा 70–100%
Terminal-Bench 4.0	66	टर्मिनल के जरिए टास्क पूरे करना	टेस्ट सूट पास या फ़ेल
SWE-Atlas-QnA-AA	124	रिपॉज़िटरी के व्यवहार से जुड़े सवाल	हर मूल्यांकन मानदंड पूरा होने पर ही टास्क पास

कुल 290 अलग टास्क हैं। AA हर टास्क के तीन प्रयास करता है और उनका औसत लेता है; तीनों में से सबसे अच्छा परिणाम नहीं चुनता। इसके बाद तीन बेंचमार्क स्कोर का बराबर भार के साथ औसत निकाला जाता है।

इसलिए 124 सवालों वाला घटक, 66 टर्मिनल टास्क वाले घटक से अधिक प्रभाव नहीं डालता। और 61.7 का इंडेक्स स्कोर यह नहीं बताता कि सामान्य कोडिंग टास्क में से 61.7% पूरे हो जाएँगे।

FrontierCode में बदलाव को मेंटेनर के मानकों पर खरा उतरना चाहिए

FrontierCode ने DeepSWE v1.1 की जगह ली है और कोड की गुणवत्ता को मूल्यांकन का हिस्सा बनाया है। Cognition के बेंचमार्क डिज़ाइन में केवल यह नहीं देखा जाता कि कोड सही काम करता है या नहीं। यह भी जाँचा जाता है कि बदलाव रिपॉज़िटरी को संभालने वाले मेंटेनर की अपेक्षाएँ पूरी करता है या नहीं, जिनमें बदलाव का दायरा और कोड की गुणवत्ता शामिल हैं।

AA निजी Main सेट के 100 टास्क इस्तेमाल करता है। किसी भी अनिवार्य शर्त के असफल होने पर शून्य मिलता है। सभी अनिवार्य जाँचें पास होने के बाद शेष जाँचों के आधार पर 70–100% स्कोर मिलता है।

इंटरनेट का इस्तेमाल उपलब्ध रहता है। FrontierCode 1.1 के उचित उपयोग नियमों के अनुसार दस्तावेज़ पढ़ना स्वीकार्य है, लेकिन तैयार समाधान की सामग्री हासिल करने से प्रयास अमान्य हो सकता है। AA, Cognition के स्कैनर का संशोधित संस्करण चलाता है और चिह्नित प्रयासों को शून्य देता है।

टास्क सेट निजी रखने से बेंचमार्क सामग्री के पहले से मॉडल तक पहुँच जाने के एक स्रोत का जोखिम घटता है। इसका मतलब यह नहीं कि मूल रिपॉज़िटरी का समाधान इंटरनेट पर मौजूद नहीं हो सकता।

SWE-Atlas-QnA-AA में जज और मानदंडों की भाषा बदली है

रिपॉज़िटरी के सवाल वही हैं, लेकिन जाँच बदल गई है। AA ने 124 टास्क और 1,306 मानदंड बनाए रखे, 127 मानदंडों को दोबारा लिखा और GPT-6 Luna को xhigh पर जज बनाया। हर मानदंड के लिए पाँच वोट लिए जाते हैं।

प्रकाशित डेटासेट और जज कॉन्फ़िगरेशन के अनुसार हर मानदंड पर फैसला बहुमत से होता है। सफल होने के लिए टास्क को अभी भी हर मानदंड पूरा करना होता है। इसलिए तकनीकी रूप से उचित लगने वाला उत्तर भी किसी एक जरूरी विवरण के छूट जाने पर असफल हो सकता है।

AA के अनुसार इन संशोधनों से फैसलों में अधिक संगति आती है। तुलना के लिए महत्वपूर्ण बात यह है कि अब स्कोर संशोधित जाँच प्रणाली का है, पुराने मानदंडों और जज के संयोजन का नहीं।

कम स्कोर का मतलब मॉडल का खराब होना क्यों नहीं है?

इंडेक्स संस्करणों के बीच गिरावट बदली हुई मूल्यांकन प्रणाली को दर्शाती है; इसे उन्हीं मॉडलों का प्रदर्शन बिगड़ना नहीं माना जा सकता। पुराने इंडेक्स के अंकों से तुलना करने से पहले v2.0 के भीतर कॉन्फ़िगरेशन की तुलना करें।

आधिकारिक घोषणा की चर्चा में AA बताता है कि दोनों संस्करणों में शामिल 21 कॉन्फ़िगरेशन का औसत इंडेक्स 54.8 से घटकर 47.4 हुआ। इनमें 20 का स्कोर गिरा। इन्हीं कॉन्फ़िगरेशन का DeepSWE v1.1 पर औसत 65.6% था और उसकी जगह आए FrontierCode v1.1 पर 45.1% रहा।

रिपॉज़िटरी सवाल-जवाब का औसत भी 58.8% से घटकर 57.1% हुआ; 21 में से 14 कॉन्फ़िगरेशन का स्कोर गिरा। Terminal-Bench नहीं बदला। बराबर बेंचमार्क भार के साथ घटकों में ये प्रकाशित बदलाव कुल 7.4 अंक की गिरावट समझाते हैं।

कुल बदलाव की गणना इस तरह होती है: ((45.1 - 65.6) + (57.1 - 58.8) + 0) / 3 = -7.4।

यह मापने का अलग पैमाना है। इससे आपसी परिणाम भी बदलते हैं: अधिक सख्त जाँच हर कॉन्फ़िगरेशन के स्कोर से समान अंक नहीं घटाती।

API लागत में क्या शामिल है और क्या नहीं?

AA की लागत मेट्रिक टोकन बिलिंग पर आधारित है, जहाँ उपलब्ध हो वहाँ कैशिंग सहित। इसमें Claude या ChatGPT की सदस्यता अथवा बदलाव को जारी करने के लिए जरूरी पूरी इंजीनियरिंग मेहनत की कीमत नहीं है।

लागत और टोकन उपयोग के खंड बिना कैश वाले इनपुट, कैश किए गए इनपुट, कैश में लिखने और आउटपुट को अलग करते हैं। सार्वजनिक पेज पर टोकन वितरण और कैश हिट दर भी देखी जा सकती है। हर इनपुट टोकन को बिना कैश की पूरी दर पर गिनने से यह गणना गलत हो जाएगी।

लागत के औसत में सभी टास्क प्रयास एक साथ शामिल होते हैं, जबकि मुख्य इंडेक्स तीन बेंचमार्क को बराबर भार देता है। जिन प्रयासों की संबंधित टेलीमेट्री नहीं मिलती, AA उन्हें दक्षता के औसत से बाहर रखता है, उनकी जगह शून्य नहीं रखता। यह भी एक कारण है कि लागत को इंडेक्स स्कोर से भाग देने पर हल किए गए मुद्दे की लागत नहीं मिलती।

आपके खर्च संदर्भ के आकार, दोबारा प्रयासों, तर्क के स्तर और प्रदाता के कैश व्यवहार से बदल सकते हैं। अलग एंडपॉइंट या हार्नेस इस्तेमाल करने से तुलना का परिणाम बदल सकता है, भले ही मॉडल का नाम परिचित लगे।

AA के अलग FrontierCode मॉडल मूल्यांकन को भी इन परिणामों से अलग रखें: उसमें AA का Stirrup हार्नेस इस्तेमाल होता है। वहाँ के मॉडल स्कोर को ऊपर दिए गए Claude Code और Codex कॉन्फ़िगरेशन के स्कोर की जगह नहीं रखा जा सकता।

अपनी रिपॉज़िटरी पर छोटा तुलनात्मक परीक्षण करें

पूरा लंबित काम किसी एक विकल्प को देने से पहले दो कॉन्फ़िगरेशन को समान स्वीकृति मानदंडों पर जाँचें। छोटे पायलट का उद्देश्य अपनी टास्क श्रेणी के लिए निर्णय लेना होना चाहिए, AA के निजी बेंचमार्क को दोहराने का दावा करना नहीं।

1. प्रतिनिधि काम चुनें। जिस श्रेणी को स्वचालित करना चाहते हैं, उसके दस वास्तविक टास्क से शुरुआत करें। किसी भी एजेंट को चलाने से पहले अपेक्षित व्यवहार और स्वीकार्य दायरा लिखें।
2. शुरुआती स्थितियाँ समान रखें। एक ही रिपॉज़िटरी कमिट, टास्क प्रॉम्प्ट, उपलब्ध टूल और अनुमतियाँ इस्तेमाल करें। CLI संस्करण, सटीक मॉडल ID या संशोधन, तर्क का स्तर और किस प्रदाता के जरिए अनुरोध भेजे गए, यह दर्ज करें।
3. दोनों कॉन्फ़िगरेशन स्वतंत्र रूप से चलाएँ। हर प्रयास के लिए नई कार्य-प्रति और नया सत्र लें। सिर्फ सबसे अच्छा दिखने वाला पैच रखने के बजाय असफल प्रयास और अतिरिक्त कोशिशें भी दर्ज करें।
4. परिणाम की उपयोगिता जाँचें। पैच के लिए संबंधित टेस्ट चलाएँ और शुद्धता, दायरे तथा रखरखाव की समीक्षा करें। रिपॉज़िटरी के सवालों के लिए उत्तर को कोड और जहाँ जरूरी हो वहाँ वास्तविक निष्पादन के प्रमाण से मिलाएँ।
5. स्वीकृत परिणामों और पूरी लागत की तुलना करें। API शुल्क, भुगतान वाले टूल और रनटाइम लागत दर्ज करें। समीक्षा में लगे समय की कीमत टीम की चुनी हुई प्रति घंटे की दर से निकालें। कुल खर्च को स्वीकृत परिणामों से भाग दें; सदस्यता वाले विकल्प की जाँच में सदस्यता शुल्क और सीमा से अधिक उपयोग के शुल्क अलग दर्ज करें।

DeepSeek के मामले में मॉडल की पहचान पर खास ध्यान दें। 2026-10-25 को उसके अपने API दस्तावेज़ में नाम deepseek-flash दिया गया है, जिसके अनुरोध फिलहाल DeepSeek-V4.1-Flash-1017 से पूरे किए जाते हैं। लीडरबोर्ड का छोटा नाम अपने-आप यह नहीं बताता कि नया अनुरोध उसी मॉडल संस्करण तक पहुँचेगा, जिसे AA ने जाँचा था।

अगर पायलट के लिए BetterToken इस्तेमाल करते हैं, तो Codex और Claude Code के अलग API एकीकरण निर्देश अपनाएँ और उस कनेक्शन पर लगे शुल्क मापें। यह API पहुँच है, जो वेंडर के एप्लिकेशन की सदस्यता से अलग है।

जहाँ सस्ता कॉन्फ़िगरेशन आपकी स्वीकृति की कसौटी पूरी करता है, वहाँ उसे बनाए रखें। अधिक सक्षम कॉन्फ़िगरेशन को वे टास्क श्रेणियाँ दें, जहाँ बेहतर स्वीकृत परिणाम या कम समीक्षा कार्य उसके अतिरिक्त खर्च को उचित ठहराते हों।