Coding Agent Index v2.1: Fable 5.2 बनाम Opus 5.5 — effort स्तर

Coding Agent Index v2.1 में Claude Fable 5.2 के high और xhigh स्तरों को 58 अंक मिले, जबकि max को 56 अंक मिले और प्रति टास्क लागत $44.22 रही। high की लागत केवल $7.51 थी। जानें कि FrontierCode-AA 2.0 से स्कोर क्यों गिरे, अधिक effort से टाइमआउट कैसे बढ़े, safety fallback नतीजों को कैसे प्रभावित करता है और Claude Code में सही effort सेट करके API खर्च कैसे नियंत्रित करें। Opus 5.5, GPT-6.1 Sol और Kimi K3.1 Pro की तुलना भी शामिल है।

विषय-सूची
Coding Agent Index v2.1: Fable 5.2 बनाम Opus 5.5 — effort स्तर

Claude Fable 5.2 से कोडिंग कराते समय max के बजाय high effort से शुरुआत करें। Artificial Analysis के Coding Agent Index v2.1 में Fable 5.2 के high और xhigh दोनों को 58 अंक मिले। वहीं max को केवल 56 अंक मिले, जबकि उसकी प्रति टास्क लागत $44.22 रही, जबकि high की लागत $7.51 थी।

Claude Opus 5.5 ने भी max पर 58 अंक प्राप्त किए। हालाँकि, अलग-अलग बेंचमार्क में उसकी बढ़त Fable से अलग प्रकार के कामों में दिखाई देती है।

14 नवंबर 2026 को जारी इस अपडेट से पता चलता है कि हर काम के लिए सबसे अधिक effort चुनना सही नहीं है। अतिरिक्त reasoning से टोकन और समय अधिक लग सकते हैं। समय सीमा पार होने पर एजेंट बेहतर समाधान तक पहुँचने से पहले ही असफल हो सकता है।

ये नतीजे खास मॉडल, कोडिंग एजेंट, सेटिंग और समय सीमाओं पर आधारित हैं। इन्हें अपने प्रोडक्शन रिपॉज़िटरी में सफलता की गारंटी न मानें।

Coding Agent Index v2.1 में क्या बदला?

v2.1 में रिपॉज़िटरी में किए गए बदलावों की जाँच कठिन हुई है। टर्मिनल से जुड़े टास्क के सत्यापन और API लागत की गणना में भी बदलाव हुए हैं।

Artificial Analysis अब तीन बेंचमार्क को मिलाकर अंतिम इंडेक्स तैयार करता है:

बेंचमार्कटास्कक्या जाँचता हैv2.1 में बदलाव
FrontierCode-AA 2.0132ऐसे कोड बदलाव जिन्हें रिपॉज़िटरी का मेंटेनर स्वीकार करेगाFrontierCode 1.1 की जगह
Terminal-Bench 4.166टर्मिनल के ज़रिए एजेंट से काम करवानावही टास्क, नए सत्यापन नियम
SWE-Atlas-QnA-AA124रिपॉज़िटरी के व्यवहार को समझना और समझानाv2.0 से बरकरार

आधिकारिक मूल्यांकन पद्धति के अनुसार, अंतिम इंडेक्स में हर बेंचमार्क का योगदान एक-तिहाई है। हर टास्क के तीन प्रयास किए जाते हैं। पहले उन प्रयासों का औसत निकलता है, फिर हर बेंचमार्क के टास्क का औसत निकाला जाता है।

इसलिए Terminal-Bench के 66 टास्क का अंतिम स्कोर पर उतना ही प्रभाव पड़ता है जितना FrontierCode के 132 टास्क का।

FrontierCode-AA 2.0 के कारण स्कोर क्यों घटे?

नया FrontierCode-AA 2.0, Cognition के FrontierCode 2.0 का Artificial Analysis द्वारा लागू किया गया संस्करण है।

पुराने संस्करण में 100 टास्क थे और नए में 132 हैं। बुनियादी सवाल वही है: क्या रिपॉज़िटरी का मेंटेनर एजेंट के किए बदलाव को मर्ज करना चाहेगा?

लेकिन नए टास्क में अधिक व्यापक और सही बदलाव करने पड़ते हैं।

Cognition ने अपनी FrontierCode 2.0 घोषणा में पुराने संस्करण से ये अंतर बताए:

  • संदर्भ समाधान औसतन 67% अधिक फ़ाइलें बदलते हैं।
  • बदली गई कोड लाइनों की संख्या औसतन 89% अधिक है।
  • अनिवार्य जाँच शर्तें 43% अधिक हैं।

इन अनिवार्य शर्तों को blocking criteria कहा जाता है। यदि एजेंट एक भी अनिवार्य शर्त पूरी नहीं करता, तो उस प्रयास को शून्य अंक मिलते हैं।

किसी एजेंट का पैच ऊपर से सही दिख सकता है। फिर भी उसमें रिग्रेशन, अधूरा सुधार या प्रोजेक्ट के नियमों का उल्लंघन हो सकता है। नई जाँच में ऐसी चूक का अधिक असर पड़ता है।

Artificial Analysis ने 14 नवंबर की घोषणा में बताया:

  • FrontierCode के दोनों संस्करणों पर जाँचे गए सभी 23 कॉन्फ़िगरेशन के नए स्कोर कम हुए।
  • इनका औसत FrontierCode स्कोर 45% से घटकर 29% रह गया।
  • कुल Coding Agent Index में औसतन लगभग पाँच अंकों की गिरावट आई।

इसका अर्थ यह नहीं कि वही मॉडल अचानक खराब कोड लिखने लगे। बेंचमार्क के टास्क और मूल्यांकन की कठिनाई बदली है।

FrontierCode में 16 अंकों की औसत गिरावट, तीन समान भार वाले घटकों के इंडेक्स में लगभग 5.3 अंकों का अंतर पैदा कर सकती है। यह गणना मानती है कि बाकी दोनों घटकों के स्कोर नहीं बदले। इससे कुल गिरावट का बड़ा हिस्सा समझ आता है।

इसलिए मॉडल चुनते समय v2.0 और v2.1 के स्कोर की सीधी तुलना न करें।

FrontierCode-AA 2.0 को Cognition के स्वतंत्र परीक्षण या Artificial Analysis के Intelligence Index से भी अलग रखें। इनमें एजेंट चलाने के तरीके अलग हैं। केवल टास्क का नाम एक होने से परिणाम तुलनीय नहीं हो जाते।

Terminal-Bench 4.1 में टास्क नहीं, सत्यापन बदला

Terminal-Bench 4.1 में संस्करण 4.0 के सभी 66 टास्क मौजूद हैं।

नए संस्करण में एजेंट के परिणाम की जाँच अधिक भरोसेमंद बनाई गई है। इसमें reward hacking रोकना भी शामिल है। Reward hacking का मतलब वास्तविक काम पूरा किए बिना जाँच को चकमा देकर अंक हासिल करना है।

Terminal-Bench की आधिकारिक रिलीज़ जानकारी बताती है कि एजेंट द्वारा लिखे कोड को अधिक सुरक्षित तरीके से चलाया जाता है। वैध समाधान को गलत घोषित करने वाली जाँचों में भी सुधार किए गए हैं।

संस्करण 4.1 में जाँच के दौरान चलने वाला कोड अलग प्रक्रिया में कम अधिकार वाले उपयोगकर्ता के रूप में चल सकता है। इससे वह सुरक्षित टेस्ट या परिणाम फ़ाइल को सीधे पढ़ या बदल नहीं सकता।

कुछ सत्यापन नियम पहले समाधान बनाने का एक खास तरीका ही स्वीकार करते थे। अब उन्हें सुधारा गया है।

उदाहरण के लिए, freecad-platform-drawing का पुराना सत्यापन 2D स्केच को extrude करके बनाई गई 3D आकृति की अपेक्षा करता था। सीधे 3D primitives से बना सही मॉडल भी अस्वीकृत हो सकता था। संस्करण 4.1 अब इस वैध विकल्प को स्वीकार करता है।

Artificial Analysis के अनुसार, दोनों Terminal-Bench संस्करणों पर जाँचे गए 23 कॉन्फ़िगरेशन में हर स्कोर का अंतर तीन अंकों से कम था।

इसलिए कुल इंडेक्स में गिरावट का मुख्य कारण FrontierCode-AA 2.0 है।

v2.1 में API लागत निकालने का तरीका भी बदला। संस्करण इतिहास के अनुसार, लागत की गणना अब Artificial Analysis Intelligence Index की पद्धति के अनुरूप है।

नया तरीका API प्रदाता द्वारा बताए गए टोकन की संख्या और मॉडल की सामान्य कैश-हिट दर के ताज़ा माप का उपयोग करता है। जहाँ प्रदाता कैश बनाने का शुल्क लेता है, वहाँ वह खर्च भी जुड़ता है।

यह केवल एक बेंचमार्क रन में मिले कैश-हिट अनुपात पर निर्भर रहने से अलग है। दूसरे API रूट में कैश के व्यवहार के कारण वास्तविक बिल बदल सकता है।

Fable 5.2 में high, xhigh या max: किस पर खर्च करना चाहिए?

यदि आपको कठिन कोडिंग टास्क के लिए अच्छा परिणाम चाहिए, तो Fable 5.2 पर high से शुरुआत करें। इससे बिना प्रमाण अतिरिक्त reasoning पर खर्च करने से बचा जा सकता है।

15 नवंबर 2026 को उपलब्ध Artificial Analysis के Claude Code और Codex तुलना परिणामों में ये आँकड़े थे:

Fable 5.2 effortIndex v2.1प्रति टास्क API लागतप्रति टास्क एजेंट समय
low48$2.4913.4 min
medium53$2.8915.1 min
high58$7.5131.3 min
xhigh58$15.4753.3 min
max56$44.222.2 hours

सभी लागतें USD में हैं। ये बेंचमार्क के टास्क पर टोकन-आधारित API शुल्क की औसत राशि हैं।

ये Claude Code की सदस्यता में मिलने वाले उपयोग की सीमा नहीं हैं। किसी सामान्य कोडिंग टिकट की लागत भी आवश्यक नहीं कि इतनी ही हो।

अलग तरह के कामों के लिए चुनाव इस प्रकार करें।

सीमित और जाँचने योग्य काम के लिए medium चुनें। इसका स्कोर 53 और प्रति टास्क लागत $2.89 है। स्पष्ट टेस्ट वाले छोटे सुधारों पर यह उपयोगी शुरुआती विकल्प हो सकता है।

जटिल रिपॉज़िटरी बदलावों के लिए high चुनें। यह Fable 5.2 के सबसे अच्छे प्रकाशित पूर्णांक स्कोर 58 तक पहुँचता है। इसकी लागत $7.51 प्रति टास्क है।

xhigh चुनने से पहले उसका लाभ मापें। इसका स्कोर भी 58 दिखता है, लेकिन प्रति टास्क लागत $15.47 है। यह high से लगभग 2.06 गुना महँगा है।

Artificial Analysis के अनुसार, medium, high और xhigh तीनों लागत और प्रदर्शन के Pareto frontier पर आते हैं। इसका मतलब है कि मूल आँकड़ों में इनके बीच कुछ उपयोगी अंतर हैं।

पूर्णांक में दोनों को 58 अंक मिलने का अर्थ यह नहीं कि वास्तविक, बिना राउंड किए स्कोर समान हैं। फिर भी xhigh के अतिरिक्त खर्च का लाभ आपके अपने टास्क पर दिखाई देना चाहिए।

सबसे बड़ा अंतर max में है:

[ \frac{$44.22}{$7.51}\approx5.89 ]

इस मूल्यांकन में max की लागत high से लगभग 5.9 गुना है, जबकि इंडेक्स में उसे दो अंक कम मिले।

हर बेंचमार्क टास्क पर $36.71 अतिरिक्त खर्च हुए। कुल स्कोर में कोई मापा गया सुधार नहीं मिला।

Fable 5.2 का max स्कोर कम क्यों है?

Artificial Analysis ने इसका मुख्य कारण टास्क की समय सीमा पूरी हो जाना बताया है।

उसके effort और टाइमआउट विश्लेषण में ये दरें हैं:

बेंचमार्कFable 5.2 xhigh टाइमआउटFable 5.2 max टाइमआउट
FrontierCode-AA 2.01%16%
SWE-Atlas-QnA-AA0%13%

ये केवल उन प्रयासों का प्रतिशत है जो समय सीमा पार होने से समाप्त हुए। इन्हें कुल असफल टास्क का प्रतिशत न समझें।

उसी रिपोर्ट के अनुसार, FrontierCode-AA 2.0 में Fable 5.2 का max स्तर प्रति टास्क xhigh से लगभग तीन गुना अधिक आउटपुट टोकन इस्तेमाल करता है।

अधिक reasoning में समय लगता है। यदि एजेंट तय समय तक टास्क पूरा नहीं करता, तो उस प्रयास को शून्य अंक मिलते हैं।

यही कारण है कि अधिक महँगा effort स्तर कभी-कभी कम स्कोर भी ला सकता है।

इससे यह साबित नहीं होता कि असीमित समय मिलने पर max हमेशा खराब होगा। केवल इतना पता चलता है कि इस बेंचमार्क के टास्क और समय सीमाओं में max ने कम अच्छा प्रदर्शन किया।

प्रोडक्शन एजेंट में भी यही जोखिम मौजूद है। यदि आपका CI या ऑटोमेशन समय सीमा पार करने पर काम रोक देता है, तो संभावित बेहतर पैच भी उपयोगी नहीं होगा।

Fable 5.2, Opus 5.5, GPT-6.1 Sol या Kimi K3.1 Pro: क्या चुनें?

अपने काम के प्रकार, संबंधित बेंचमार्क और लागत को देखकर मॉडल चुनें। अंतिम इंडेक्स कई प्रकार के इंजीनियरिंग कामों को एक साथ जोड़ता है। एक ही कुल स्कोर के पीछे अलग क्षमताएँ छिपी हो सकती हैं।

कोड में बदलाव के लिए Fable, रिपॉज़िटरी Q&A के लिए Opus

Artificial Analysis के घटक-स्तर के परिणाम ये हैं:

कॉन्फ़िगरेशनFrontierCode-AA 2.0Terminal-Bench 4.1SWE-Atlas-QnA-AAIndex
Claude Code + Fable 5.2 high49%64%62%58
Claude Code + Fable 5.2 xhigh49%64%62%58
Claude Code + Opus 5.5 max44%65%66%58

कठिन रिपॉज़िटरी बदलावों के लिए Fable 5.2 high को पहले परखें। FrontierCode-AA 2.0 में यह Opus 5.5 max से पाँच अंक आगे है।

मौजूदा कोड का विश्लेषण और तकनीकी सवालों के उत्तर देने के लिए Opus 5.5 max को आज़माएँ। SWE-Atlas-QnA-AA में इसके 66% अंक हैं, जबकि Fable के 62% हैं।

Terminal-Bench 4.1 में इनके बीच बहुत कम अंतर है: 64% और 65%।

इसी Coding Agent Index में Opus 5.5 max की औसत लागत $12.61 प्रति टास्क है। यह Fable 5.2 xhigh के $15.47 से कम है, लेकिन Fable high के $7.51 से अधिक है।

इसलिए रिपॉज़िटरी Q&A में Opus 5.5 max, Fable xhigh का उचित विकल्प हो सकता है। मेंटेनर द्वारा स्वीकार किए जाने योग्य कोड बदलावों के लिए Fable high पहले जाँचें।

दोनों मॉडलों को एक ही प्रोजेक्ट में परखने के लिए Claude Code में Opus 5.5 चुनने की गाइड देखें। इससे पुराने model alias पर निर्भर हुए बिना सही मॉडल चुना जा सकता है।

GPT-6.1 Sol कम लागत वाला आधार विकल्प है

Codex में GPT-6.1 Sol का max कॉन्फ़िगरेशन 52 अंक हासिल करता है और उसकी लागत $1.51 प्रति टास्क है।

अलग-अलग घटकों में परिणाम:

घटकGPT-6.1 Sol max
FrontierCode-AA 2.042%
Terminal-Bench 4.154%
SWE-Atlas-QnA-AA60%

Sol इनमें किसी बेंचमार्क में पहले स्थान पर नहीं है। उसका लाभ है काफी कम खर्च में उपयोगी कोडिंग प्रदर्शन।

यदि टीम बड़ी संख्या में ऐसे टास्क चलाती है जिन्हें टेस्ट से सत्यापित किया जा सकता है, तो लागत नियंत्रित करने के लिए Sol से शुरू करें।

जब किसी प्रकार के टास्क में Sol के बदलाव बार-बार अस्वीकार हों या अधिक समीक्षा और दोबारा प्रयास की ज़रूरत पड़े, तब Fable 5.2 high को परखें।

अगर Fable की अधिक लागत के अनुपात में स्वीकृत समाधान नहीं बढ़ते, तो Sol को ही रखें।

आगे के चयन के लिए GPT-6.1 Sol, Astra और Opus की तुलना उपयोगी है।

टर्मिनल वाले टास्क में Kimi K3.1 Pro आगे है

Artificial Analysis के Terminal-Bench 4.1 के परिणामों के अनुसार, Kimi Code CLI के साथ Kimi K3.1 Pro को 68% अंक मिले। यह उस घटक का सबसे अधिक प्रकाशित परिणाम था।

अन्य प्रमुख कॉन्फ़िगरेशन के स्कोर:

  • Claude Code + Sonnet 5.5 max: 66%
  • Claude Code + Opus 5.5 max: 65%
  • Antigravity CLI + Gemini 4 Carbon high: 65%
  • Claude Code + Fable 5.2 high या xhigh: 64%

लेकिन Kimi Code CLI का कुल Coding Agent Index केवल 49 है और औसत API लागत $2.94 प्रति टास्क है।

यानी टर्मिनल बेंचमार्क में आगे होने से Kimi पूरे इंडेक्स में आगे नहीं आ जाता।

यदि आपके टास्क में टर्मिनल कमांड, वातावरण ठीक करना, कॉन्फ़िगरेशन सुधारना या कमांड-आधारित ऑटोमेशन अधिक है, तो Kimi K3.1 Pro की जाँच करें।

यदि काम मुख्यतः बड़े कोड बदलावों का है, तो पहले Fable high से तुलना करें। रिपॉज़िटरी पर Fable का लाभ सही साबित होने पर उसकी अधिक लागत उचित हो सकती है।

मॉडल और एजेंट सेट करने के लिए Kimi K3.1 Pro कोडिंग गाइड का उपयोग करें।

सुरक्षा कारणों से मॉडल बदलने पर स्कोर कैसे प्रभावित होता है?

Coding Agent Index v2.1 में केवल मॉडल के अकेले उत्तर नहीं जाँचे जाते। पूरा एजेंट कॉन्फ़िगरेशन जाँचा जाता है, जिसमें सुरक्षा संबंधी अस्वीकृति के बाद दूसरी मॉडल पर जाना भी शामिल हो सकता है।

इसे fallback कहते हैं। जब मुख्य मॉडल किसी टास्क को सुरक्षा कारणों से आगे बढ़ाने से मना कर दे, तो एजेंट उसे दूसरी मॉडल को दे सकता है।

Artificial Analysis के सुरक्षा-अस्वीकृति विश्लेषण में fallback मॉडल द्वारा पूरे किए गए प्रयासों का प्रतिशत दिया गया है:

जाँचा गया कॉन्फ़िगरेशनfallback मॉडल द्वारा पूरे प्रयास
Devin Fusion CLI: Opus 5.5 max + GPT-6 Luna high9%
Claude Code + Opus 5.5 max9%
Claude Code + Fable 5.2 xhigh6%
Claude Code + Sonnet 5.5 max5%

रिपोर्ट में यह भी बताया गया कि Codex, GPT-6.1 Sol max और GPT-6 Astra max के साथ लगभग 1% प्रयासों को ब्लॉक करता है।

Fallback द्वारा टास्क पूरा किया जाना, सही समाधान मिलने के बराबर नहीं है। इसका मतलब केवल यह है कि पहली मॉडल के मना करने के बाद दूसरी मॉडल ने प्रयास पूरा किया।

प्रकाशित स्कोरिंग नियमों के अनुसार, ऐसे पूरे हुए प्रयास का सामान्य मूल्यांकन होता है। यदि सुरक्षा अस्वीकृति के कारण प्रयास वहीं रुक जाए, तो उसे शून्य अंक मिलते हैं।

इससे मॉडल की तुलना में दो सावधानियाँ ज़रूरी हैं।

पहली, Opus 5.5 के 58 अंक हर टास्क पर अकेले Opus द्वारा दिए गए उत्तर का स्कोर नहीं हैं। कुछ प्रयास दूसरी मॉडल ने पूरे किए।

दूसरी, fallback वाले प्रयासों का प्रतिशत यह नहीं बताता कि fallback बंद करने पर स्कोर कितना बदलता। ऐसा निष्कर्ष निकालने के लिए अलग परीक्षण चाहिए।

कुछ बेंचमार्क टास्क सुरक्षा से जुड़े हैं और उनसे मॉडल या प्रदाता अस्वीकृति दे सकता है। आपके प्रोडक्शन वातावरण में fallback नियम, प्रदाता की नीतियाँ और मॉडल रूटिंग अलग हो सकती हैं।

अपने एजेंट की तुलना करते समय यह दर्ज करें कि क्या बीच में मॉडल बदला गया था। अन्यथा लागत और गुणवत्ता का अंतर गलत मॉडल के खाते में जा सकता है।

Claude Code में effort कैसे सेट करें और खर्च कैसे जाँचें?

Fable 5.2 के लिए शुरुआती effort high रखें। किसी खास टास्क श्रेणी में मापा गया लाभ दिखने पर ही उसे बदलें।

Anthropic के effort दस्तावेज़ के अनुसार Fable 5.2 में low, medium, high, xhigh और max उपलब्ध हैं। API में डिफ़ॉल्ट स्तर high है।

Opus 5.5 भी ये पाँच स्तर समर्थित करता है, लेकिन उसके API का डिफ़ॉल्ट medium है।

इसलिए बेंचमार्क में Opus 5.5 max का स्कोर, डिफ़ॉल्ट effort वाले साधारण API अनुरोध के बराबर नहीं है।

Claude Code में effort सेट करके उसकी पुष्टि करें

सबसे पहले Claude Code इंस्टॉल होना चाहिए और Fable 5.2 का एक्सेस कॉन्फ़िगर होना चाहिए।

अपनी रिपॉज़िटरी में टर्मिनल खोलें।

Bash में चलाएँ:

claude --model claude-fable-5-2 --effort high

Claude Code के इंटरैक्टिव सेशन में ये कमांड चलाएँ:

/model
/effort

जाँचें कि सही मॉडल और effort स्तर चुने गए हैं।

Anthropic की Claude Code effort गाइड में ये कमांड भी दिए गए हैं:

/effort medium
/effort high
/effort xhigh
/effort auto

आवश्यकता के अनुसार एक बार में एक कमांड चलाएँ। आखिरी कमांड सेशन के लिए अनुरोधित effort तय करती है।

/effort auto चयनित मॉडल के डिफ़ॉल्ट स्तर पर वापस ले जाता है।

किसी मॉडल के लिए स्थायी चयन करना हो, तो स्थानीय इंटरैक्टिव सेशन में /effort उपयोग करें। Claude Code v2.1.251 या उससे नए संस्करण में चुना गया स्तर ~/.claude/settings.json फ़ाइल की modelSettings सेटिंग में सहेजा जाता है।

Fable 5.2 के लिए उसी फ़ाइल के पुराने शीर्ष-स्तरीय effortLevel पर निर्भर न रहें। Claude Code सेटिंग संदर्भ बताता है कि Opus 5.5 और उसके बाद जारी मॉडल इस पुराने उपयोगकर्ता-स्तरीय विकल्प को तब तक अनदेखा करते हैं, जब तक मॉडल-विशिष्ट सेटिंग न सहेजी जाए।

आप CLAUDE_CODE_EFFORT_LEVEL environment variable से भी स्तर तय कर सकते हैं।

Environment variable संदर्भ के अनुसार, इसकी प्राथमिकता --effort, /effort, modelSettings और effortLevel से अधिक है।

अगर /effort या --effort लागू होता दिखाई नहीं देता, तो देखें कि CLAUDE_CODE_EFFORT_LEVEL सेट तो नहीं है। इंटरैक्टिव या लॉन्च विकल्प का उपयोग करने के लिए उस override को हटाएँ।

सामान्य तुलना में /effort या --effort बेहतर विकल्प हैं। फ़्लैग एक सेशन पर लागू होता है। इंटरैक्टिव रूप से सहेजा गया चयन अगले सेशन में भी रह सकता है।

Claude Code में max केवल मौजूदा सेशन के लिए रहता है, जब तक उसे environment variable से स्पष्ट रूप से सेट न किया जाए।

Enterprise में प्रशासक किसी मॉडल के लिए अधिकतम effort सीमा भी लागू कर सकता है। यदि आपने उससे अधिक स्तर माँगा, तो Claude Code स्वीकृत सीमा पर काम कर सकता है।

मॉडल सेटअप की अतिरिक्त जानकारी के लिए Claude Fable 5.2 और Claude Code API गाइड देखें।

अपने रिपॉज़िटरी पर effort की तुलना करें

ऐसा प्रतिनिधि टास्क चुनें जिसके सफल होने की शर्तें स्पष्ट हों।

उदाहरण के लिए, एजेंट से कहें कि वह parser के असफल टेस्ट की वजह खोजे, सबसे छोटा सही बदलाव करे, संबंधित टेस्ट चलाए और बदली हुई फ़ाइलों की सूची दे।

पहला प्रयास Fable 5.2 high पर करें। टेस्ट का नतीजा, बदलाव स्वीकार या अस्वीकार होने की स्थिति, लगा समय, API खर्च, टाइमआउट और fallback दर्ज करें।

फिर रिपॉज़िटरी को उसी शुरुआती स्थिति में लौटाकर medium और xhigh पर टास्क दोहराएँ।

सभी प्रयासों में टूल अनुमति, टेस्ट कमांड, रिपॉज़िटरी का संस्करण और समय सीमा समान रखें।

इन चार सवालों के आधार पर परिणाम जाँचें:

  1. क्या बदलाव ज़रूरी टेस्ट और कोड समीक्षा में पास हुआ?
  2. क्या अतिरिक्त effort ने अस्वीकृति या दोबारा प्रयास की ज़रूरत घटाई?
  3. क्या एजेंट निर्धारित समय के भीतर काम पूरा कर पाया?
  4. क्या गुणवत्ता का लाभ अतिरिक्त API खर्च के योग्य था?

टीम को हर मुख्य टास्क श्रेणी से कई उदाहरण लेने चाहिए। एक सफल रन से पूरे प्रोजेक्ट के लिए उचित effort तय नहीं होता।

हर स्वीकृत बदलाव की पूरी लागत निकालें। इसमें असफल प्रयास और दोबारा चलाए गए टास्क भी शामिल करें। मानव समीक्षा और इंफ्रास्ट्रक्चर का खर्च API शुल्क से अलग दर्ज करें।

इससे सार्वजनिक इंडेक्स स्कोर के मुकाबले आपकी टीम की वास्तविक लागत समझ में आएगी।

API प्रदाता बदलने पर क्या यह सिफ़ारिश बदलती है?

high से शुरुआत करने का सुझाव दूसरे API रूट पर भी परखा जा सकता है। लेकिन बेंचमार्क की प्रति टास्क लागत सीधे वहाँ लागू नहीं होती।

15 नवंबर 2026 तक BetterToken के मॉडल कैटलॉग में claude-fable-5-2, claude-opus-5-5, gpt-6.1-sol और kimi-k3.1-pro पे-एज़-यू-गो एक्सेस के लिए सूचीबद्ध थे।

उसकी Claude Code इंटीग्रेशन गाइड में Anthropic-compatible Base URL https://bettertoken.ai दिया गया है। इसमें /v1 नहीं जोड़ना चाहिए।

BetterToken का API एक्सेस Claude की सदस्यता से अलग है। मॉडल रूटिंग, कैश व्यवहार और समर्थित API सुविधाओं के कारण वास्तविक खर्च और परिणाम बदल सकते हैं।

Artificial Analysis की लागत अपने API प्रदाता पर लागू करने से पहले जाँचें कि endpoint अनुरोधित effort समर्थित करता है। फिर वास्तविक बिलिंग मापें।

बार-बार चलने वाले टोकन-आधारित कोडिंग कामों में कठिन बदलावों के लिए Fable 5.2 high से शुरुआत करें। जहाँ स्वीकार किए जाने वाले परिणाम समान रहें, वहाँ effort घटाएँ। xhigh पर केवल मापे गए लाभ के लिए जाएँ।

केवल सबसे ऊँचा स्तर होने के कारण max को सभी टास्क का डिफ़ॉल्ट न बनाएँ। अधिक उपयोगी माप यह है कि एजेंट समय और बजट के भीतर कितने बदलाव पूरा करता है और उनमें कितने स्वीकार होते हैं।

अपना LLM वर्कफ़्लो बेहतर बनाना चाहते हैं?

एक API से मॉडल जोड़ें, कुंजियाँ प्रबंधित करें और AI खर्च नियंत्रित करें।

मुफ़्त शुरू करें