GPT-6.2 Responses API: प्रिफ़िक्स न बदलें, वरना रीजनिंग हट जाएगी
GPT-6.2 Astra और Sol से, Responses API का पिछला इतिहास बदलने पर उसके बाद के reasoning आइटम हट जाते हैं। append-only टर्न, configuration_update, additional_tools और पहले developer संदेश से प्रिफ़िक्स स्थिर रखें, फिर input_transformations और Prompt Cache Diagnostics से पुष्टि करें।
विषय-सूची

gpt-6.2-astra और gpt-6.2-sol से, OpenAI Responses API बातचीत के बीच में प्रिफ़िक्स बदलने, मॉडल डाउनग्रेड करने, या संगठन अथवा एंड-यूज़र बदलने के बाद के रीजनिंग आइटम हटा देता है। यह हर उस डेवलपर और एजेंट टीम को प्रभावित करता है जिनका कोड पुराने developer संदेश बदलता है, पिछले टूल परिणाम काटता है, या टर्न के बीच reasoning.effort या tools जैसे शीर्ष-स्तरीय पैरामीटर बदलता है। अपने इंटीग्रेशन को केवल जोड़ने वाले (append-only) input इतिहास में बदलें, बीच में बदलाव के लिए configuration_update और additional_tools का उपयोग करें, और हर उत्तर में input_transformations जांचें ताकि पुष्टि हो कि कोई रीजनिंग नहीं हटी।
GPT-6.2 Responses API कॉल के लिए मार्ग चुनें
GPT-6.2 Astra और Sol टेक्स्ट के लिए Chat Completions का समर्थन करते हैं, लेकिन टूल कॉलिंग के लिए Responses API आवश्यक है, और प्रिफ़िक्स सुरक्षित रखने के नियंत्रण (configuration_update, additional_tools, और input_transformations) Responses API की सुविधाएँ हैं। ऐसा API मार्ग चुनें जो POST /v1/responses उपलब्ध कराता हो और आपकी पहुँच व बिलिंग व्यवस्था के अनुकूल हो।
| मार्ग | आवश्यकताएँ | बिलिंग इकाई | Responses API विवरण | कब चुनें |
|---|---|---|---|---|
| BetterToken API गेटवे | BetterToken खाता, कंसोल API Key, उपयोग के अनुसार भुगतान (पे-ऐज़-यू-गो) बैलेंस (खरीदा गया पेड बैलेंस मासिक रीसेट नहीं होता) | मॉडल की मौजूदा बिलिंग इकाई के अनुसार (इनपुट, आउटपुट और कैश टोकन की कीमतें व नियम अलग हो सकते हैं); देखें मौजूदा कीमतें | https://www.bettertoken.ai/v1 (POST /v1/responses) पर gpt-6.2-astra और gpt-6.2-sol सूचीबद्ध हैं; पहले अपनी कुंजी पर स्टेटलेस store: false रीप्ले, configuration_update, और input_transformations पासथ्रू की पुष्टि करें | जब आप उपलब्ध मॉडलों के लिए एक ही पे-ऐज़-यू-गो API Key चाहते हों या सीधी OpenAI बिलिंग का उपयोग न कर सकें |
| सीधा OpenAI API | समर्थित देश या क्षेत्र में OpenAI खाता और API बिलिंग | प्रति 1M इनपुट, कैश्ड इनपुट, कैश-राइट और आउटपुट टोकन | configuration_update, input_transformations, prompt_cache_diagnostics, previous_response_id, बैकग्राउंड कम्प्लीशन विंडो और संगठन-स्तरीय Zero Data Retention (ZDR) के मूल समर्थन का दस्तावेज़ देता है | जब आपके पास सीधी OpenAI पहुँच हो और आप OpenAI-होस्टेड स्टेट, ZDR या दस्तावेज़ीकृत बीटा सुविधाओं पर निर्भर हों |
BetterToken के ज़रिये append-only रीप्ले और प्रिफ़िक्स पहचान की पुष्टि करें
BetterToken आपके BetterToken कंसोल की API Key से प्रमाणित होने वाला OpenAI-संगत API मार्ग https://www.bettertoken.ai/v1 (POST /v1/responses) पर उपलब्ध कराता है। 2026-11-21 तक, gpt-6.2-sol और gpt-6.2-astra दोनों Responses एंडपॉइंट के लिए सूचीबद्ध हैं। BetterToken एक मल्टी-मॉडल प्लेटफ़ॉर्म और API एक्सेस लेयर है, यह OpenAI का आधिकारिक उत्पाद नहीं है। इसका Responses API संदर्भ स्टेटलेस store: false एन्क्रिप्टेड रीजनिंग रीप्ले, configuration_update, input_transformations, या prompt_cache_diagnostics के पासथ्रू की पुष्टि नहीं करता। डिप्लॉय करने से पहले अपनी कुंजी पर यह नियंत्रित दो-टर्न स्टेटलेस जांच चलाएँ।
Bash में बिना स्क्रीन पर दिखाए अपनी BetterToken कुंजी एक्सपोर्ट करें:
read -rs BETTERTOKEN_API_KEY && export BETTERTOKEN_API_KEY
store: false के साथ पहला टर्न भेजें और पुष्टि करें कि उत्तर में encrypted_content के साथ कम से कम एक reasoning आइटम लौटता है। इसके बाद दूसरे टर्न के दो स्टेटलेस अनुरोधों की तुलना करें: पहले अनुरोध (append_only) में पुराना इतिहास ज्यों का त्यों भेजें, जबकि तुलना वाले दूसरे अनुरोध (edited_control) में केवल पहला developer संदेश बदलें:
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["BETTERTOKEN_API_KEY"],
base_url="https://www.bettertoken.ai/v1",
timeout=120.0,
max_retries=0,
)
model = "gpt-6.2-sol" # Or "gpt-6.2-astra"
history = [
{"role": "developer", "content": "You are a backend reviewer. Give concise engineering answers."},
{"role": "user", "content": "Draft a two-step plan to add a non-blocking index on PostgreSQL."},
]
first = client.responses.create(
model=model,
store=False,
reasoning={"effort": "low"},
input=history,
)
reasoning_items = [item for item in first.output if item.type == "reasoning"]
if not reasoning_items:
raise RuntimeError("Turn 1 returned no reasoning items; use a harder prompt or higher effort.")
if not all(getattr(item, "encrypted_content", None) for item in reasoning_items):
raise RuntimeError("Stateless replay unverified: Turn 1 reasoning items lack encrypted_content.")
reasoning_ids = [item.id for item in reasoning_items]
first_output = [item.to_dict() for item in first.output]
follow_up = {"role": "user", "content": "List the failure modes and rollback steps for step 2."}
append_only = client.responses.create(
model=model,
store=False,
reasoning={"effort": "low"},
input=[*history, *first_output, follow_up],
)
edited_history = [{**history[0], "content": history[0]["content"] + " Be brief."}, history[1]]
edited_control = client.responses.create(
model=model,
store=False,
reasoning={"effort": "low"},
input=[*edited_history, *first_output, follow_up],
)
print("reasoning_ids:", reasoning_ids)
print("append_only:", append_only.status, getattr(append_only, "input_transformations", None))
print("edited_control:", edited_control.status, getattr(edited_control, "input_transformations", None))
print("append_only_cached_tokens:", append_only.usage.input_tokens_details.cached_tokens)
प्रोडक्शन में जाने से पहले चार संकेत पढ़ें:
status == "completed"केवल यह पुष्टि करता है कि अनुरोध स्वीकार होकर पूरा हो गया। इससे यह साबित नहीं होता कि गेटवे ने टर्न के बीच रीजनिंग को सुरक्षित रखा।- पुष्टि करें कि
store: falseके साथ पहले टर्न के उत्तर (first.output) से स्क्रिप्ट जोreasoning_idsसूची बनाती है, वह खाली न हो, और API से लौटे हर रीजनिंग आइटम मेंencrypted_contentशामिल हो। यदि गेटवेencrypted_contentहटा देता है, तो स्टेटलेस रीप्ले को असत्यापित मानें क्योंकि दूसरा टर्न अपस्ट्रीम के बीच एन्क्रिप्टेड रीजनिंग टोकन नहीं ले जा सकता। - दूसरे टर्न की दोनों कॉल में
input_transformationsकी तुलना करें। सत्यापित पासथ्रू मेंedited_controlपरreasoning_idsकी किसी ID से मेल खाती हुईprefix_mismatchप्रविष्टि दिखती है औरappend_onlyपर कुछ नहीं दिखता। यदि दोनों बारinput_transformationsका मानNoneया खाली आए, तो जांच को अनिर्णीत मानें क्योंकि संभव है गेटवे यह फ़ील्ड आगे न भेज रहा हो। - प्रिफ़िक्स जांच से अलग
configuration_updateपासथ्रू का परीक्षण करें। आप दूसरे टर्न का एक अलग अनुरोध भेजकरtext.formatअपडेट की पुष्टि कर सकते हैं जोtext.formatको एक सख्त JSON स्कीमा में बदल दे, और जांचें कि आउटपुट उस स्कीमा से मेल खाता है। OpenAI किसी ऐसे उत्तर फ़ील्ड का दस्तावेज़ नहीं देता जो बीच में किए गएreasoning.effortअपडेट की पुष्टि करे (उत्तर काreasoning.effortअब भी अनुरोध-स्तरीय मान ही बताता है), इसलिए BetterToken के ज़रियेreasoning.effortके लिएconfiguration_updateको असत्यापित मानें।
प्रॉम्प्ट कैशिंग के लिए, OpenAI पात्रता शर्त के रूप में GPT-5.6 और उसके बाद के मॉडलों पर कम से कम 1,024 दृश्य इनपुट टोकन का कैश योग्य प्रिफ़िक्स तय करता है। जब आपके पुनः उपयोग योग्य प्रिफ़िक्स में कम से कम 1,024 दृश्य इनपुट टोकन हों, तब वास्तविक पुनः उपयोग देखने के लिए append_only.usage.input_tokens_details.cached_tokens जाँचें। बड़े पैमाने पर चलाने से पहले मॉडल की मौजूदा दरें और कैश नियम मौजूदा कीमतें पर देखें।
यदि आप इसके बजाय सीधे OpenAI को कॉल करते हैं, तो base_url हटा दें, OPENAI_API_KEY का उपयोग करें, और OpenAI की Keep the prefix unchanged गाइड का पालन करें।
GPT-6.2 में प्रिफ़िक्स बदलाव किसे माना जाता है
किसी रीजनिंग आइटम का प्रिफ़िक्स उससे पहले प्रस्तुत किया गया बातचीत का इतिहास होता है। GPT-6.2 पर उस पुराने इतिहास में बदलाव करने से API उस बदलाव के बाद आने वाले रीजनिंग आइटम हटा देता है।
OpenAI प्रिफ़िक्स बदलाव की दो श्रेणियाँ बताता है:
- पिछले
inputआइटम संपादित करना: किसी टूल परिणाम को छोटा करना,developerसंदेश फिर से लिखना, पुरानी छवियों या फ़ाइलों का आकार घटाना, या पुराने टर्न को सारांश से बदलना। - टर्न के बीच अनुरोध-स्तरीय पैरामीटर बदलना:
toolsको अपडेट करना (जोड़ना, हटाना, क्रम बदलना या स्कीमा व विवरण बदलना),text.formatबदलना, शीर्ष-स्तरीयreasoning.effortबदलना, या GPT-6.2 से पुराने मॉडलों परinstructionsबदलना।
OpenAI की Reasoning गाइड के अनुसार, जब आप GPT-6.2 और उसके बाद के मॉडलों में किसी रीजनिंग आइटम से पहले सामग्री जोड़ते या बदलते हैं, तब prefix_mismatch सक्रिय होता है। बाकी आइटम को बदले बिना पूरे आइटम हटाने या रीजनिंग आइटम के बाद नए आइटम जोड़ने से अपने आप prefix_mismatch नहीं होता। फिर भी, पुराने टर्न हटाने से प्रॉम्प्ट कैश का पुन: उपयोग घट सकता है, और जब यह बदलाव पुन: उपयोग रोकता है तब Prompt Cache Diagnostics में input_changed दिख सकता है।
input_transformations में रिपोर्ट होने वाले पाँच हटाने के कारणों में से प्रिफ़िक्स संपादन एक है:
हटाने का reason | API रीजनिंग आइटम कब हटाता है |
|---|---|
prefix_mismatch | GPT-6.2 और उसके बाद, रीजनिंग आइटम से पहले सामग्री जोड़ी या संपादित की गई हो |
end_user_mismatch | GPT-6.2 और उसके बाद, आइटम बनाने वाले और पुन: उपयोग करने वाले अनुरोध के बीच safety_identifier अलग हो, जिसमें किसी एक ही अनुरोध में इसे छोड़ना भी शामिल है |
model_mismatch | आपने मॉडल परिवार बदला हो या उसी परिवार में निचले मॉडल पर गए हों (अन्य जांच पास होने पर उसी परिवार में ऊँचे मॉडल पर जाने पर संगत रीजनिंग बनी रहती है) |
organization_mismatch | आपने किसी अन्य संगठन या किसी दूसरे उपयोगकर्ता के अलग वर्कस्पेस का आइटम पुन: उपयोग किया हो |
turn_boundary | आइटम किसी भी पहले के टर्न का हो और मॉडल केवल मौजूदा टर्न की रीजनिंग का उपयोग करता हो (समर्थित मॉडलों पर पात्रता reasoning.context से तय होती है) |
रीजनिंग आइटम हटने पर क्या होता है
रीजनिंग आइटम रोके जाने पर भी Responses API अनुरोध पूरा हो सकता है, इसलिए जब तक आप उत्तर में input_transformations न जांचें, रीजनिंग का नुकसान चुपचाप होता रहता है। बातचीत के बीच प्रिफ़िक्स बदलने से प्रोडक्शन में दो अलग-अलग नुकसान होते हैं:
- रीजनिंग हटने का असर: जब रीजनिंग आइटम हट जाते हैं, तो मॉडल को पहले की रीजनिंग दोबारा करनी पड़ सकती है, जिससे टोकन खपत, लागत और विलंब बढ़ सकते हैं। यदि मॉडल खोई हुई रीजनिंग दोबारा न बना पाए, तो उत्तर की गुणवत्ता भी गिर सकती है।
- कैश योग्य प्रिफ़िक्स बदलने का असर: चूँकि प्रॉम्प्ट कैशिंग शुरुआत से अनुरोधों का मिलान करती है, प्रिफ़िक्स बदलने से उस बिंदु के बाद कैश पुन: उपयोग बंद हो सकता है, जिससे इनपुट लागत बढ़ सकती है और उत्तर धीमे हो सकते हैं।
2026-11-21 तक OpenAI की प्रकाशित Standard दरें (272,000 या उससे कम इनपुट टोकन के लिए) दिखाती हैं कि कैश मिस का खर्च कितनी तेज़ी से बढ़ सकता है:
- GPT-6.2 Astra (
gpt-6.2-astra): $0.40/1M कैश्ड इनपुट बनाम $8/1M बिना कैश इनपुट (30 मिनट के कैश राइट के लिए $10/1M, 12 घंटे के कैश राइट के लिए $20/1M) और $40/1M आउटपुट। - GPT-6.2 Sol (
gpt-6.2-sol): $0.10/1M कैश्ड इनपुट बनाम $2/1M बिना कैश इनपुट (30 मिनट के कैश राइट के लिए $2.50/1M, 12 घंटे के कैश राइट के लिए $5/1M) और $10/1M आउटपुट।
272,000 इनपुट टोकन से ऊपर, OpenAI पूरे अनुरोध के लिए इनपुट और कैश दरें दोगुनी कर देता है तथा शॉर्ट-कॉन्टेक्स्ट आउटपुट दर का 1.5x शुल्क लेता है। स्थिर प्रिफ़िक्स पर 12 घंटे के कैश राइट कब लाभदायक होते हैं, यह तय करने के लिए OpenAI 12-घंटे प्रॉम्प्ट कैशिंग गाइड देखें।
प्रिफ़िक्स तोड़े बिना पैरामीटर और संदर्भ अपडेट करें
पुराने आइटम को जगह पर बदलने के बजाय केवल अंत में जुड़ने वाले (append-only) आइटम का उपयोग करें ताकि टर्न के बीच रीजनिंग और कैश प्रिफ़िक्स सुरक्षित रहें।
configuration_update से reasoning.effort और text.format बदलें
शीर्ष-स्तरीय reasoning.effort बदलने से छिपे हुए सिस्टम निर्देश फिर से लिखे जा सकते हैं। मानक सिंगल-एजेंट मोड में समर्थित GPT-6 और उसके बाद के मॉडलों पर, अनुरोध-स्तरीय reasoning.effort और text.format को अपरिवर्तित रखें, और अगले उपयोगकर्ता संदेश से पहले input में एक configuration_update आइटम जोड़ दें:
{
"type": "configuration_update",
"reasoning": {
"effort": "high"
},
"text": {
"format": {
"type": "json_schema",
"name": "migration_checks",
"strict": true,
"schema": {
"type": "object",
"properties": {
"safe": { "type": "boolean" },
"rollback_sql": { "type": "string" }
},
"required": ["safe", "rollback_sql"],
"additionalProperties": false
}
}
}
}
configuration_update का उपयोग करते समय पाँच नियमों का पालन करें:
- एक
configuration_updateतब तक सभी अगले टर्न में लागू रहता है जब तक कोई नया अपडेट उसे बदल न दे। केवलreasoning.effortबदलने पर पिछलाtext.formatअपडेट बना रहता है, और इसका उल्टा भी सच है। - उत्तर ऑब्जेक्ट का
reasoning.effortअब भी शीर्ष-स्तरीय अनुरोध मान ही दिखाता है, अपडेट किया गया प्रयास स्तर नहीं। - अपडेट को आगे ले जाने के लिए
previous_response_idका उपयोग करें, या जब आपinputस्वयं सँभालते हों तो हरconfiguration_updateको उसके मूल स्थान पर ही दोबारा भेजें। - स्वचालित ट्रंकेशन और अलग
/responses/compactएंडपॉइंट उन इतिहास को अस्वीकार कर देते हैं जिनमेंconfiguration_updateआइटम हों। इसके बजायcontext_managementयाcompaction_triggerका उपयोग करें (नीचे कॉम्पैक्शन भाग देखें)। gpt-6.2-astraऔरgpt-6.2-solदोनोंreasoning.effort: "none"को अस्वीकार करते हैं। OpenAI की Using GPT-6.2 गाइड नए इंटीग्रेशन के लिएmediumसे शुरुआत करने, याnoneवminimalके बजायlowका उपयोग करने की सलाह देती है।
tools बदले बिना टूल जोड़ें या सीमित करें
टर्न के बीच अनुरोध-स्तरीय tools सारणी, स्कीमा और क्रम को समान रखें। कॉल किए जा सकने वाले टूल बदलने के लिए तीन प्रिफ़िक्स-सुरक्षित तरीके अपनाएँ:
toolsको हटाए बिना किसी एक टर्न में टूल बंद करने के लिएtool_choiceको"none"पर सेट करें।- किसी एक टर्न में कॉल किए जा सकने वाले टूल सीमित करने के लिए
allowed_toolsके साथtool_choiceका उपयोग करें:
{
"tool_choice": {
"type": "allowed_tools",
"mode": "auto",
"tools": [
{ "type": "function", "name": "get_weather" },
{ "type": "function", "name": "search_docs" }
]
}
}
- बातचीत के बीच नए टूल जोड़ने के लिए
developerभूमिका वालाadditional_toolsआइटम अंत में जोड़ें, याdefer_loading: trueके साथ टूल सर्च का उपयोग करें ताकि खोजे गए टूल संदर्भ के अंत में जुड़ें।additional_toolsमें दिए गए टूल उसी आइटम के आने के बाद ही कॉल किए जा सकते हैं, इसलिए उसे उसके मूल स्थान पर दोबारा भेजें:
{
"type": "additional_tools",
"role": "developer",
"tools": [
{
"type": "function",
"name": "get_customer",
"description": "Look up a customer by ID.",
"parameters": {
"type": "object",
"properties": {
"customer_id": { "type": "string" }
},
"required": ["customer_id"],
"additionalProperties": false
}
}
]
}
पुन: उपयोग योग्य developer संदेश को शीर्ष-स्तरीय instructions से अलग रखें
GPT-6.2 से, OpenAI शीर्ष-स्तरीय instructions को input के बाद, कैश योग्य सीमा से आगे जोड़ता है। OpenAI उन टोकन पर हर अनुरोध में बिना कैश वाली इनपुट दर से शुल्क लेता है, भले ही वे न बदलें, और शीर्ष-स्तरीय instructions को previous_response_id आगे नहीं ले जाता।
निर्देशों को उनके दायरे के अनुसार रखें:
- पुन: उपयोग होने वाले सिस्टम प्रॉम्प्ट और साझा नीतियाँ
inputके पहले आइटम के रूप में एकdeveloperसंदेश में रखें ताकि प्रॉम्प्ट कैशिंग उनका मिलान कर सके। - बीच बातचीत में पुन: उपयोग योग्य निर्देश बदलने हों, तो पहले संदेश को संपादित करने के बजाय
inputके अंत में एक नयाdeveloperसंदेश जोड़ें। - शीर्ष-स्तरीय
instructionsका उपयोग केवल उसी मौजूदा अनुरोध पर लागू होने वाले मार्गदर्शन के लिए करें।
कॉम्पैक्शन और लंबे टूल आउटपुट को सँभालें
लंबे टूल आउटपुट को छोटा करें और छवियों या फ़ाइलों का आकार मॉडल को पहली बार भेजने से पहले ही घटा लें। पुराने आइटम को बाद में काटें नहीं।
कॉम्पैक्शन से प्रिफ़िक्स बदलता है, इसलिए ऐसे मामलों में कैश मिस टालना कठिन होता है। लंबे सत्रों के लिए OpenAI की Compaction गाइड दो मार्ग बताती है:
- स्वचालित कॉम्पैक्शन (
compact_thresholdके साथcontext_management): प्रिफ़िक्स बदलने के बावजूद OpenAI बाद के रीजनिंग आइटम सुरक्षित रखता है। यदि पिछले टर्न मेंconfiguration_updateआइटम हैं, तो APIcompactionआइटम के ठीक बाद एक नयाconfiguration_updateजारी करता है औरadditional_toolsघोषणाओं को एन्क्रिप्टेड कॉम्पैक्शन आइटम के भीतर सहेजता है। लौटाए गए आउटपुट आइटम को उसी क्रम में दोबारा भेजें। - स्पष्ट या कस्टम कॉम्पैक्शन: अलग
/responses/compactएंडपॉइंटconfiguration_updateआइटम वाले इतिहास को अस्वीकार करता है, और/responses/compactकॉल करते समयinstructionsछोड़ दें तथा लौटाई गई विंडो को मूल क्रम में आगे भेजें। यदि आपके इतिहास मेंconfiguration_updateहै, तो इसके बजाय/responsesमें एकcompaction_triggerआइटम शामिल करें, फिर अगले उपयोगकर्ता संदेश से पहले हर बदले गए फ़ील्ड को दोहराते हुए एक नयाconfiguration_updateजोड़ें। कस्टम कॉम्पैक्शन में, पुराने टर्न को जगह पर बदलने के बजाय संक्षिप्त सारांश को संदर्भ के अंत में रखें, या रीजनिंग आइटम हटने का समझौता स्वीकार करें।
input_transformations और Prompt Cache Diagnostics से प्रिफ़िक्स सुरक्षा जांचें
उत्तर की दो जांच एक साथ करें: एक बताती है कि कौन से रीजनिंग आइटम रोके गए, और दूसरी बताती है कि प्रॉम्प्ट कैश का पुन: उपयोग किस कारण टूटा।
1. हर उत्तर में input_transformations की जांच करें
Responses API create संदर्भ में, input_transformations एक वैकल्पिक सारणी है जिसमें {id, action, reason, type} ऑब्जेक्ट होते हैं और यह इनपुट क्रम में रोके गए रीजनिंग आइटम की सूची देती है (action का मान "removed" और type का मान "reasoning" होता है)। जब reason का मान "prefix_mismatch" हो, तो उससे पहले हुए बदलाव का पता लगाने के लिए id का मिलान उस पहले के उत्तर के output से करें जिसमें वह रीजनिंग आइटम लौटा था।
2. comparison_response_id के साथ Prompt Cache Diagnostics चलाएँ
जब usage.input_tokens_details.cached_tokens अपेक्षा से कम दिखे, तो उसी संगठन का कोई हालिया पूर्ण उत्तर चुनें, उसका id prompt_cache_options.comparison_response_id में भेजें, और prompt_cache_diagnostics जांचें:
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
OpenAI की Prompt cache diagnostics गाइड के अनुसार prompt_cache_diagnostics.type का मान cache_hit, cache_miss, comparison_response_not_found, या unavailable लौटता है। cache_miss होने पर यह reason और cache_missed_tokens (पुन: उपयोग न हुए अनुमानित टोकन) लौटाता है, और इसमें comparison_reusable_tokens (आधार उत्तर के पुन: उपयोग योग्य प्रिफ़िक्स की कच्ची टोकन संख्या) भी हो सकता है। मिस को reason के अनुसार वर्गीकृत किया जाता है:
input_changed: पुराना इनपुट बदल गया, जैसेdeveloperसंदेश में टाइमस्टैम्प या अनुरोध ID जोड़ना, या पुराने टर्न संपादित करना, क्रम बदलना या हटाना।tools_changed: टूल जोड़े, हटाए, पुन: क्रमबद्ध या संपादित किए गए।reasoning_effort_changedयाtext_format_changed:configuration_updateके बजाय शीर्ष-स्तरीयreasoning.effortयाtext.formatबदला गया।model_changed,service_tier_changed,verbosity_changed,prompt_cache_key_changed, याcontext_compacted: मॉडल चयन, सर्विस टियर, वर्बोसिटी, कैश कुंजी या कॉम्पैक्शन में बदलाव हुआ।
डायग्नोस्टिक्स की पाँच सीमाएँ ध्यान में रखें: इनके लिए GPT-5.6 या उसके बाद का मॉडल और कम से कम 1,024 टोकन का पुन: उपयोग योग्य प्रिफ़िक्स आवश्यक है; ये सर्वोत्तम प्रयास के आधार पर केवल पहला वर्गीकृत कारण बताते हैं; इन पर कोई अतिरिक्त शुल्क नहीं लगता और ये Zero Data Retention के साथ काम करते हैं; stream=True होने पर response.completed इवेंट के event.response से prompt_cache_diagnostics पढ़ें; और डायग्नोस्टिक्स यह सत्यापित नहीं कर सकते कि मॉडल ने रीजनिंग का पुन: उपयोग किया या नहीं।
कस्टम API और गेटवे सेटअप में इन चार बातों का ध्यान रखें
कस्टम API बेस URL या मल्टी-अपस्ट्रीम गेटवे के ज़रिये GPT-6.2 रूट करने वाली टीमों को चार बिंदुओं की जांच करनी चाहिए:
- Chat Completions नहीं,
POST /v1/responsesकॉल करें: GPT-6.2 Astra और Sol टेक्स्ट के लिए Chat Completions का समर्थन करते हैं, लेकिन टूल कॉलिंग,configuration_update,additional_tools, औरinput_transformationsके लिए Responses आवश्यक है। मूल माइग्रेशन जांच सूची के लिए GPT-6 Astra Responses API माइग्रेशन गाइड देखें। - केवल
previous_response_idपर निर्भर रहने के बजाय पूरी append-onlyinputसारणी दोबारा भेजें: BetterToken की स्मार्ट रूटिंग अनुरोधों को वर्तमान में उपलब्ध अपस्ट्रीम चैनलों पर भेजती है, और कई कॉन्फ़िगर अपस्ट्रीम वाला मॉडल किसी लागू त्रुटि या टाइमआउट पर दूसरे अपस्ट्रीम पर जा सकता है (हर मॉडल के पास कई अपस्ट्रीम नहीं होते, हर त्रुटि पर फ़ेलओवर नहीं होता, और सफलता की गारंटी नहीं है)। स्टेटलेस रीप्ले एक ही अपस्ट्रीम से जुड़े सर्वर-साइड स्टेट से बचाता है। OpenAI के API पर, Zero Data Retention (ZDR) स्वीकृत संगठनों के लिए पात्र एंडपॉइंट और सुविधाओं पर संगठन-स्तरीय सेटिंग है, जो किसी अनुरोध परstoreकोfalseरखने से अलग है। किसी भी स्टेटलेस मोड में (store: falseया ZDR सक्षम संगठन, जहाँ OpenAIstoreकोfalseमानता है),outputके रीजनिंग आइटम में डिफ़ॉल्ट रूप सेencrypted_contentशामिल होता है। OpenAI संगतता के लिए पुरानाinclude: ["reasoning.encrypted_content"]अब भी स्वीकार करता है, लेकिन इसकी आवश्यकता नहीं है। लौटाए गए सभीoutputआइटम को क्रम में दोबारा भेजें,end_user_mismatchसे बचने के लिए हर टर्न मेंsafety_identifierसमान रखें (या हर टर्न में छोड़ दें), औरorganization_mismatchके लिएinput_transformationsकी निगरानी करें। - असमर्थित सैंपलिंग पैरामीटर छोड़ दें:
gpt-6.2-astraऔरgpt-6.2-solके Responses कॉल में शीर्ष-स्तरीयtemperature,top_p, औरtop_logprobsपैरामीटर हटाएँ, औरincludeसे केवलmessage.output_text.logprobsनिकाल दें। - बैकग्राउंड कम्प्लीशन विंडो को सीधी OpenAI कॉल तक सीमित रखें: OpenAI के Responses API पर GPT-6.2 Astra और Sol
service_tier: "flex"का समर्थन नहीं करते। सीधे OpenAI API पर चलने वाले लंबे कार्यों के लिए बैकग्राउंड मोड की 2 घंटे या 8 घंटे की कम्प्लीशन विंडो (पब्लिक बीटा) का उपयोग करें, जिसका विवरण हमारी Responses API completion_window गाइड में है। BetterToken के सार्वजनिक Responses API दस्तावेज़ में बैकग्राउंड कम्प्लीशन विंडो असत्यापित हैं, इसलिए यदि आपका वर्कलोड उन पर निर्भर है तो पहले जांचें या सीधे OpenAI पर रूट करें।