GPT-6.2 Responses API: प्रिफ़िक्स न बदलें, वरना रीजनिंग हट जाएगी

GPT-6.2 Astra और Sol से, Responses API का पिछला इतिहास बदलने पर उसके बाद के reasoning आइटम हट जाते हैं। append-only टर्न, configuration_update, additional_tools और पहले developer संदेश से प्रिफ़िक्स स्थिर रखें, फिर input_transformations और Prompt Cache Diagnostics से पुष्टि करें।

विषय-सूची
GPT-6.2 Responses API: प्रिफ़िक्स न बदलें, वरना रीजनिंग हट जाएगी

gpt-6.2-astra और gpt-6.2-sol से, OpenAI Responses API बातचीत के बीच में प्रिफ़िक्स बदलने, मॉडल डाउनग्रेड करने, या संगठन अथवा एंड-यूज़र बदलने के बाद के रीजनिंग आइटम हटा देता है। यह हर उस डेवलपर और एजेंट टीम को प्रभावित करता है जिनका कोड पुराने developer संदेश बदलता है, पिछले टूल परिणाम काटता है, या टर्न के बीच reasoning.effort या tools जैसे शीर्ष-स्तरीय पैरामीटर बदलता है। अपने इंटीग्रेशन को केवल जोड़ने वाले (append-only) input इतिहास में बदलें, बीच में बदलाव के लिए configuration_update और additional_tools का उपयोग करें, और हर उत्तर में input_transformations जांचें ताकि पुष्टि हो कि कोई रीजनिंग नहीं हटी।

GPT-6.2 Responses API कॉल के लिए मार्ग चुनें

GPT-6.2 Astra और Sol टेक्स्ट के लिए Chat Completions का समर्थन करते हैं, लेकिन टूल कॉलिंग के लिए Responses API आवश्यक है, और प्रिफ़िक्स सुरक्षित रखने के नियंत्रण (configuration_update, additional_tools, और input_transformations) Responses API की सुविधाएँ हैं। ऐसा API मार्ग चुनें जो POST /v1/responses उपलब्ध कराता हो और आपकी पहुँच व बिलिंग व्यवस्था के अनुकूल हो।

मार्गआवश्यकताएँबिलिंग इकाईResponses API विवरणकब चुनें
BetterToken API गेटवेBetterToken खाता, कंसोल API Key, उपयोग के अनुसार भुगतान (पे-ऐज़-यू-गो) बैलेंस (खरीदा गया पेड बैलेंस मासिक रीसेट नहीं होता)मॉडल की मौजूदा बिलिंग इकाई के अनुसार (इनपुट, आउटपुट और कैश टोकन की कीमतें व नियम अलग हो सकते हैं); देखें मौजूदा कीमतेंhttps://www.bettertoken.ai/v1 (POST /v1/responses) पर gpt-6.2-astra और gpt-6.2-sol सूचीबद्ध हैं; पहले अपनी कुंजी पर स्टेटलेस store: false रीप्ले, configuration_update, और input_transformations पासथ्रू की पुष्टि करेंजब आप उपलब्ध मॉडलों के लिए एक ही पे-ऐज़-यू-गो API Key चाहते हों या सीधी OpenAI बिलिंग का उपयोग न कर सकें
सीधा OpenAI APIसमर्थित देश या क्षेत्र में OpenAI खाता और API बिलिंगप्रति 1M इनपुट, कैश्ड इनपुट, कैश-राइट और आउटपुट टोकनconfiguration_update, input_transformations, prompt_cache_diagnostics, previous_response_id, बैकग्राउंड कम्प्लीशन विंडो और संगठन-स्तरीय Zero Data Retention (ZDR) के मूल समर्थन का दस्तावेज़ देता हैजब आपके पास सीधी OpenAI पहुँच हो और आप OpenAI-होस्टेड स्टेट, ZDR या दस्तावेज़ीकृत बीटा सुविधाओं पर निर्भर हों

BetterToken के ज़रिये append-only रीप्ले और प्रिफ़िक्स पहचान की पुष्टि करें

BetterToken आपके BetterToken कंसोल की API Key से प्रमाणित होने वाला OpenAI-संगत API मार्ग https://www.bettertoken.ai/v1 (POST /v1/responses) पर उपलब्ध कराता है। 2026-11-21 तक, gpt-6.2-sol और gpt-6.2-astra दोनों Responses एंडपॉइंट के लिए सूचीबद्ध हैं। BetterToken एक मल्टी-मॉडल प्लेटफ़ॉर्म और API एक्सेस लेयर है, यह OpenAI का आधिकारिक उत्पाद नहीं है। इसका Responses API संदर्भ स्टेटलेस store: false एन्क्रिप्टेड रीजनिंग रीप्ले, configuration_update, input_transformations, या prompt_cache_diagnostics के पासथ्रू की पुष्टि नहीं करता। डिप्लॉय करने से पहले अपनी कुंजी पर यह नियंत्रित दो-टर्न स्टेटलेस जांच चलाएँ।

Bash में बिना स्क्रीन पर दिखाए अपनी BetterToken कुंजी एक्सपोर्ट करें:

read -rs BETTERTOKEN_API_KEY && export BETTERTOKEN_API_KEY

store: false के साथ पहला टर्न भेजें और पुष्टि करें कि उत्तर में encrypted_content के साथ कम से कम एक reasoning आइटम लौटता है। इसके बाद दूसरे टर्न के दो स्टेटलेस अनुरोधों की तुलना करें: पहले अनुरोध (append_only) में पुराना इतिहास ज्यों का त्यों भेजें, जबकि तुलना वाले दूसरे अनुरोध (edited_control) में केवल पहला developer संदेश बदलें:

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["BETTERTOKEN_API_KEY"],
    base_url="https://www.bettertoken.ai/v1",
    timeout=120.0,
    max_retries=0,
)

model = "gpt-6.2-sol"  # Or "gpt-6.2-astra"
history = [
    {"role": "developer", "content": "You are a backend reviewer. Give concise engineering answers."},
    {"role": "user", "content": "Draft a two-step plan to add a non-blocking index on PostgreSQL."},
]

first = client.responses.create(
    model=model,
    store=False,
    reasoning={"effort": "low"},
    input=history,
)
reasoning_items = [item for item in first.output if item.type == "reasoning"]
if not reasoning_items:
    raise RuntimeError("Turn 1 returned no reasoning items; use a harder prompt or higher effort.")
if not all(getattr(item, "encrypted_content", None) for item in reasoning_items):
    raise RuntimeError("Stateless replay unverified: Turn 1 reasoning items lack encrypted_content.")

reasoning_ids = [item.id for item in reasoning_items]
first_output = [item.to_dict() for item in first.output]
follow_up = {"role": "user", "content": "List the failure modes and rollback steps for step 2."}

append_only = client.responses.create(
    model=model,
    store=False,
    reasoning={"effort": "low"},
    input=[*history, *first_output, follow_up],
)

edited_history = [{**history[0], "content": history[0]["content"] + " Be brief."}, history[1]]
edited_control = client.responses.create(
    model=model,
    store=False,
    reasoning={"effort": "low"},
    input=[*edited_history, *first_output, follow_up],
)

print("reasoning_ids:", reasoning_ids)
print("append_only:", append_only.status, getattr(append_only, "input_transformations", None))
print("edited_control:", edited_control.status, getattr(edited_control, "input_transformations", None))
print("append_only_cached_tokens:", append_only.usage.input_tokens_details.cached_tokens)

प्रोडक्शन में जाने से पहले चार संकेत पढ़ें:

  • status == "completed" केवल यह पुष्टि करता है कि अनुरोध स्वीकार होकर पूरा हो गया। इससे यह साबित नहीं होता कि गेटवे ने टर्न के बीच रीजनिंग को सुरक्षित रखा।
  • पुष्टि करें कि store: false के साथ पहले टर्न के उत्तर (first.output) से स्क्रिप्ट जो reasoning_ids सूची बनाती है, वह खाली न हो, और API से लौटे हर रीजनिंग आइटम में encrypted_content शामिल हो। यदि गेटवे encrypted_content हटा देता है, तो स्टेटलेस रीप्ले को असत्यापित मानें क्योंकि दूसरा टर्न अपस्ट्रीम के बीच एन्क्रिप्टेड रीजनिंग टोकन नहीं ले जा सकता।
  • दूसरे टर्न की दोनों कॉल में input_transformations की तुलना करें। सत्यापित पासथ्रू में edited_control पर reasoning_ids की किसी ID से मेल खाती हुई prefix_mismatch प्रविष्टि दिखती है और append_only पर कुछ नहीं दिखता। यदि दोनों बार input_transformations का मान None या खाली आए, तो जांच को अनिर्णीत मानें क्योंकि संभव है गेटवे यह फ़ील्ड आगे न भेज रहा हो।
  • प्रिफ़िक्स जांच से अलग configuration_update पासथ्रू का परीक्षण करें। आप दूसरे टर्न का एक अलग अनुरोध भेजकर text.format अपडेट की पुष्टि कर सकते हैं जो text.format को एक सख्त JSON स्कीमा में बदल दे, और जांचें कि आउटपुट उस स्कीमा से मेल खाता है। OpenAI किसी ऐसे उत्तर फ़ील्ड का दस्तावेज़ नहीं देता जो बीच में किए गए reasoning.effort अपडेट की पुष्टि करे (उत्तर का reasoning.effort अब भी अनुरोध-स्तरीय मान ही बताता है), इसलिए BetterToken के ज़रिये reasoning.effort के लिए configuration_update को असत्यापित मानें।

प्रॉम्प्ट कैशिंग के लिए, OpenAI पात्रता शर्त के रूप में GPT-5.6 और उसके बाद के मॉडलों पर कम से कम 1,024 दृश्य इनपुट टोकन का कैश योग्य प्रिफ़िक्स तय करता है। जब आपके पुनः उपयोग योग्य प्रिफ़िक्स में कम से कम 1,024 दृश्य इनपुट टोकन हों, तब वास्तविक पुनः उपयोग देखने के लिए append_only.usage.input_tokens_details.cached_tokens जाँचें। बड़े पैमाने पर चलाने से पहले मॉडल की मौजूदा दरें और कैश नियम मौजूदा कीमतें पर देखें।

यदि आप इसके बजाय सीधे OpenAI को कॉल करते हैं, तो base_url हटा दें, OPENAI_API_KEY का उपयोग करें, और OpenAI की Keep the prefix unchanged गाइड का पालन करें।

BetterToken खाता बनाएँ

GPT-6.2 में प्रिफ़िक्स बदलाव किसे माना जाता है

किसी रीजनिंग आइटम का प्रिफ़िक्स उससे पहले प्रस्तुत किया गया बातचीत का इतिहास होता है। GPT-6.2 पर उस पुराने इतिहास में बदलाव करने से API उस बदलाव के बाद आने वाले रीजनिंग आइटम हटा देता है।

OpenAI प्रिफ़िक्स बदलाव की दो श्रेणियाँ बताता है:

  • पिछले input आइटम संपादित करना: किसी टूल परिणाम को छोटा करना, developer संदेश फिर से लिखना, पुरानी छवियों या फ़ाइलों का आकार घटाना, या पुराने टर्न को सारांश से बदलना।
  • टर्न के बीच अनुरोध-स्तरीय पैरामीटर बदलना: tools को अपडेट करना (जोड़ना, हटाना, क्रम बदलना या स्कीमा व विवरण बदलना), text.format बदलना, शीर्ष-स्तरीय reasoning.effort बदलना, या GPT-6.2 से पुराने मॉडलों पर instructions बदलना।

OpenAI की Reasoning गाइड के अनुसार, जब आप GPT-6.2 और उसके बाद के मॉडलों में किसी रीजनिंग आइटम से पहले सामग्री जोड़ते या बदलते हैं, तब prefix_mismatch सक्रिय होता है। बाकी आइटम को बदले बिना पूरे आइटम हटाने या रीजनिंग आइटम के बाद नए आइटम जोड़ने से अपने आप prefix_mismatch नहीं होता। फिर भी, पुराने टर्न हटाने से प्रॉम्प्ट कैश का पुन: उपयोग घट सकता है, और जब यह बदलाव पुन: उपयोग रोकता है तब Prompt Cache Diagnostics में input_changed दिख सकता है।

input_transformations में रिपोर्ट होने वाले पाँच हटाने के कारणों में से प्रिफ़िक्स संपादन एक है:

हटाने का reasonAPI रीजनिंग आइटम कब हटाता है
prefix_mismatchGPT-6.2 और उसके बाद, रीजनिंग आइटम से पहले सामग्री जोड़ी या संपादित की गई हो
end_user_mismatchGPT-6.2 और उसके बाद, आइटम बनाने वाले और पुन: उपयोग करने वाले अनुरोध के बीच safety_identifier अलग हो, जिसमें किसी एक ही अनुरोध में इसे छोड़ना भी शामिल है
model_mismatchआपने मॉडल परिवार बदला हो या उसी परिवार में निचले मॉडल पर गए हों (अन्य जांच पास होने पर उसी परिवार में ऊँचे मॉडल पर जाने पर संगत रीजनिंग बनी रहती है)
organization_mismatchआपने किसी अन्य संगठन या किसी दूसरे उपयोगकर्ता के अलग वर्कस्पेस का आइटम पुन: उपयोग किया हो
turn_boundaryआइटम किसी भी पहले के टर्न का हो और मॉडल केवल मौजूदा टर्न की रीजनिंग का उपयोग करता हो (समर्थित मॉडलों पर पात्रता reasoning.context से तय होती है)

रीजनिंग आइटम हटने पर क्या होता है

रीजनिंग आइटम रोके जाने पर भी Responses API अनुरोध पूरा हो सकता है, इसलिए जब तक आप उत्तर में input_transformations न जांचें, रीजनिंग का नुकसान चुपचाप होता रहता है। बातचीत के बीच प्रिफ़िक्स बदलने से प्रोडक्शन में दो अलग-अलग नुकसान होते हैं:

  1. रीजनिंग हटने का असर: जब रीजनिंग आइटम हट जाते हैं, तो मॉडल को पहले की रीजनिंग दोबारा करनी पड़ सकती है, जिससे टोकन खपत, लागत और विलंब बढ़ सकते हैं। यदि मॉडल खोई हुई रीजनिंग दोबारा न बना पाए, तो उत्तर की गुणवत्ता भी गिर सकती है।
  2. कैश योग्य प्रिफ़िक्स बदलने का असर: चूँकि प्रॉम्प्ट कैशिंग शुरुआत से अनुरोधों का मिलान करती है, प्रिफ़िक्स बदलने से उस बिंदु के बाद कैश पुन: उपयोग बंद हो सकता है, जिससे इनपुट लागत बढ़ सकती है और उत्तर धीमे हो सकते हैं।

2026-11-21 तक OpenAI की प्रकाशित Standard दरें (272,000 या उससे कम इनपुट टोकन के लिए) दिखाती हैं कि कैश मिस का खर्च कितनी तेज़ी से बढ़ सकता है:

  • GPT-6.2 Astra (gpt-6.2-astra): $0.40/1M कैश्ड इनपुट बनाम $8/1M बिना कैश इनपुट (30 मिनट के कैश राइट के लिए $10/1M, 12 घंटे के कैश राइट के लिए $20/1M) और $40/1M आउटपुट।
  • GPT-6.2 Sol (gpt-6.2-sol): $0.10/1M कैश्ड इनपुट बनाम $2/1M बिना कैश इनपुट (30 मिनट के कैश राइट के लिए $2.50/1M, 12 घंटे के कैश राइट के लिए $5/1M) और $10/1M आउटपुट।

272,000 इनपुट टोकन से ऊपर, OpenAI पूरे अनुरोध के लिए इनपुट और कैश दरें दोगुनी कर देता है तथा शॉर्ट-कॉन्टेक्स्ट आउटपुट दर का 1.5x शुल्क लेता है। स्थिर प्रिफ़िक्स पर 12 घंटे के कैश राइट कब लाभदायक होते हैं, यह तय करने के लिए OpenAI 12-घंटे प्रॉम्प्ट कैशिंग गाइड देखें।

प्रिफ़िक्स तोड़े बिना पैरामीटर और संदर्भ अपडेट करें

पुराने आइटम को जगह पर बदलने के बजाय केवल अंत में जुड़ने वाले (append-only) आइटम का उपयोग करें ताकि टर्न के बीच रीजनिंग और कैश प्रिफ़िक्स सुरक्षित रहें।

configuration_update से reasoning.effort और text.format बदलें

शीर्ष-स्तरीय reasoning.effort बदलने से छिपे हुए सिस्टम निर्देश फिर से लिखे जा सकते हैं। मानक सिंगल-एजेंट मोड में समर्थित GPT-6 और उसके बाद के मॉडलों पर, अनुरोध-स्तरीय reasoning.effort और text.format को अपरिवर्तित रखें, और अगले उपयोगकर्ता संदेश से पहले input में एक configuration_update आइटम जोड़ दें:

{
  "type": "configuration_update",
  "reasoning": {
    "effort": "high"
  },
  "text": {
    "format": {
      "type": "json_schema",
      "name": "migration_checks",
      "strict": true,
      "schema": {
        "type": "object",
        "properties": {
          "safe": { "type": "boolean" },
          "rollback_sql": { "type": "string" }
        },
        "required": ["safe", "rollback_sql"],
        "additionalProperties": false
      }
    }
  }
}

configuration_update का उपयोग करते समय पाँच नियमों का पालन करें:

  • एक configuration_update तब तक सभी अगले टर्न में लागू रहता है जब तक कोई नया अपडेट उसे बदल न दे। केवल reasoning.effort बदलने पर पिछला text.format अपडेट बना रहता है, और इसका उल्टा भी सच है।
  • उत्तर ऑब्जेक्ट का reasoning.effort अब भी शीर्ष-स्तरीय अनुरोध मान ही दिखाता है, अपडेट किया गया प्रयास स्तर नहीं।
  • अपडेट को आगे ले जाने के लिए previous_response_id का उपयोग करें, या जब आप input स्वयं सँभालते हों तो हर configuration_update को उसके मूल स्थान पर ही दोबारा भेजें।
  • स्वचालित ट्रंकेशन और अलग /responses/compact एंडपॉइंट उन इतिहास को अस्वीकार कर देते हैं जिनमें configuration_update आइटम हों। इसके बजाय context_management या compaction_trigger का उपयोग करें (नीचे कॉम्पैक्शन भाग देखें)।
  • gpt-6.2-astra और gpt-6.2-sol दोनों reasoning.effort: "none" को अस्वीकार करते हैं। OpenAI की Using GPT-6.2 गाइड नए इंटीग्रेशन के लिए medium से शुरुआत करने, या none व minimal के बजाय low का उपयोग करने की सलाह देती है।

tools बदले बिना टूल जोड़ें या सीमित करें

टर्न के बीच अनुरोध-स्तरीय tools सारणी, स्कीमा और क्रम को समान रखें। कॉल किए जा सकने वाले टूल बदलने के लिए तीन प्रिफ़िक्स-सुरक्षित तरीके अपनाएँ:

  • tools को हटाए बिना किसी एक टर्न में टूल बंद करने के लिए tool_choice को "none" पर सेट करें।
  • किसी एक टर्न में कॉल किए जा सकने वाले टूल सीमित करने के लिए allowed_tools के साथ tool_choice का उपयोग करें:
{
  "tool_choice": {
    "type": "allowed_tools",
    "mode": "auto",
    "tools": [
      { "type": "function", "name": "get_weather" },
      { "type": "function", "name": "search_docs" }
    ]
  }
}
  • बातचीत के बीच नए टूल जोड़ने के लिए developer भूमिका वाला additional_tools आइटम अंत में जोड़ें, या defer_loading: true के साथ टूल सर्च का उपयोग करें ताकि खोजे गए टूल संदर्भ के अंत में जुड़ें। additional_tools में दिए गए टूल उसी आइटम के आने के बाद ही कॉल किए जा सकते हैं, इसलिए उसे उसके मूल स्थान पर दोबारा भेजें:
{
  "type": "additional_tools",
  "role": "developer",
  "tools": [
    {
      "type": "function",
      "name": "get_customer",
      "description": "Look up a customer by ID.",
      "parameters": {
        "type": "object",
        "properties": {
          "customer_id": { "type": "string" }
        },
        "required": ["customer_id"],
        "additionalProperties": false
      }
    }
  ]
}

पुन: उपयोग योग्य developer संदेश को शीर्ष-स्तरीय instructions से अलग रखें

GPT-6.2 से, OpenAI शीर्ष-स्तरीय instructions को input के बाद, कैश योग्य सीमा से आगे जोड़ता है। OpenAI उन टोकन पर हर अनुरोध में बिना कैश वाली इनपुट दर से शुल्क लेता है, भले ही वे न बदलें, और शीर्ष-स्तरीय instructions को previous_response_id आगे नहीं ले जाता।

निर्देशों को उनके दायरे के अनुसार रखें:

  • पुन: उपयोग होने वाले सिस्टम प्रॉम्प्ट और साझा नीतियाँ input के पहले आइटम के रूप में एक developer संदेश में रखें ताकि प्रॉम्प्ट कैशिंग उनका मिलान कर सके।
  • बीच बातचीत में पुन: उपयोग योग्य निर्देश बदलने हों, तो पहले संदेश को संपादित करने के बजाय input के अंत में एक नया developer संदेश जोड़ें।
  • शीर्ष-स्तरीय instructions का उपयोग केवल उसी मौजूदा अनुरोध पर लागू होने वाले मार्गदर्शन के लिए करें।

कॉम्पैक्शन और लंबे टूल आउटपुट को सँभालें

लंबे टूल आउटपुट को छोटा करें और छवियों या फ़ाइलों का आकार मॉडल को पहली बार भेजने से पहले ही घटा लें। पुराने आइटम को बाद में काटें नहीं।

कॉम्पैक्शन से प्रिफ़िक्स बदलता है, इसलिए ऐसे मामलों में कैश मिस टालना कठिन होता है। लंबे सत्रों के लिए OpenAI की Compaction गाइड दो मार्ग बताती है:

  • स्वचालित कॉम्पैक्शन (compact_threshold के साथ context_management): प्रिफ़िक्स बदलने के बावजूद OpenAI बाद के रीजनिंग आइटम सुरक्षित रखता है। यदि पिछले टर्न में configuration_update आइटम हैं, तो API compaction आइटम के ठीक बाद एक नया configuration_update जारी करता है और additional_tools घोषणाओं को एन्क्रिप्टेड कॉम्पैक्शन आइटम के भीतर सहेजता है। लौटाए गए आउटपुट आइटम को उसी क्रम में दोबारा भेजें।
  • स्पष्ट या कस्टम कॉम्पैक्शन: अलग /responses/compact एंडपॉइंट configuration_update आइटम वाले इतिहास को अस्वीकार करता है, और /responses/compact कॉल करते समय instructions छोड़ दें तथा लौटाई गई विंडो को मूल क्रम में आगे भेजें। यदि आपके इतिहास में configuration_update है, तो इसके बजाय /responses में एक compaction_trigger आइटम शामिल करें, फिर अगले उपयोगकर्ता संदेश से पहले हर बदले गए फ़ील्ड को दोहराते हुए एक नया configuration_update जोड़ें। कस्टम कॉम्पैक्शन में, पुराने टर्न को जगह पर बदलने के बजाय संक्षिप्त सारांश को संदर्भ के अंत में रखें, या रीजनिंग आइटम हटने का समझौता स्वीकार करें।

input_transformations और Prompt Cache Diagnostics से प्रिफ़िक्स सुरक्षा जांचें

उत्तर की दो जांच एक साथ करें: एक बताती है कि कौन से रीजनिंग आइटम रोके गए, और दूसरी बताती है कि प्रॉम्प्ट कैश का पुन: उपयोग किस कारण टूटा।

1. हर उत्तर में input_transformations की जांच करें

Responses API create संदर्भ में, input_transformations एक वैकल्पिक सारणी है जिसमें {id, action, reason, type} ऑब्जेक्ट होते हैं और यह इनपुट क्रम में रोके गए रीजनिंग आइटम की सूची देती है (action का मान "removed" और type का मान "reasoning" होता है)। जब reason का मान "prefix_mismatch" हो, तो उससे पहले हुए बदलाव का पता लगाने के लिए id का मिलान उस पहले के उत्तर के output से करें जिसमें वह रीजनिंग आइटम लौटा था।

2. comparison_response_id के साथ Prompt Cache Diagnostics चलाएँ

जब usage.input_tokens_details.cached_tokens अपेक्षा से कम दिखे, तो उसी संगठन का कोई हालिया पूर्ण उत्तर चुनें, उसका id prompt_cache_options.comparison_response_id में भेजें, और prompt_cache_diagnostics जांचें:

{
  "prompt_cache_diagnostics": {
    "type": "cache_miss",
    "reason": "tools_changed",
    "comparison_reusable_tokens": 5629,
    "cache_missed_tokens": 5629
  }
}

OpenAI की Prompt cache diagnostics गाइड के अनुसार prompt_cache_diagnostics.type का मान cache_hit, cache_miss, comparison_response_not_found, या unavailable लौटता है। cache_miss होने पर यह reason और cache_missed_tokens (पुन: उपयोग न हुए अनुमानित टोकन) लौटाता है, और इसमें comparison_reusable_tokens (आधार उत्तर के पुन: उपयोग योग्य प्रिफ़िक्स की कच्ची टोकन संख्या) भी हो सकता है। मिस को reason के अनुसार वर्गीकृत किया जाता है:

  • input_changed: पुराना इनपुट बदल गया, जैसे developer संदेश में टाइमस्टैम्प या अनुरोध ID जोड़ना, या पुराने टर्न संपादित करना, क्रम बदलना या हटाना।
  • tools_changed: टूल जोड़े, हटाए, पुन: क्रमबद्ध या संपादित किए गए।
  • reasoning_effort_changed या text_format_changed: configuration_update के बजाय शीर्ष-स्तरीय reasoning.effort या text.format बदला गया।
  • model_changed, service_tier_changed, verbosity_changed, prompt_cache_key_changed, या context_compacted: मॉडल चयन, सर्विस टियर, वर्बोसिटी, कैश कुंजी या कॉम्पैक्शन में बदलाव हुआ।

डायग्नोस्टिक्स की पाँच सीमाएँ ध्यान में रखें: इनके लिए GPT-5.6 या उसके बाद का मॉडल और कम से कम 1,024 टोकन का पुन: उपयोग योग्य प्रिफ़िक्स आवश्यक है; ये सर्वोत्तम प्रयास के आधार पर केवल पहला वर्गीकृत कारण बताते हैं; इन पर कोई अतिरिक्त शुल्क नहीं लगता और ये Zero Data Retention के साथ काम करते हैं; stream=True होने पर response.completed इवेंट के event.response से prompt_cache_diagnostics पढ़ें; और डायग्नोस्टिक्स यह सत्यापित नहीं कर सकते कि मॉडल ने रीजनिंग का पुन: उपयोग किया या नहीं।

कस्टम API और गेटवे सेटअप में इन चार बातों का ध्यान रखें

कस्टम API बेस URL या मल्टी-अपस्ट्रीम गेटवे के ज़रिये GPT-6.2 रूट करने वाली टीमों को चार बिंदुओं की जांच करनी चाहिए:

  1. Chat Completions नहीं, POST /v1/responses कॉल करें: GPT-6.2 Astra और Sol टेक्स्ट के लिए Chat Completions का समर्थन करते हैं, लेकिन टूल कॉलिंग, configuration_update, additional_tools, और input_transformations के लिए Responses आवश्यक है। मूल माइग्रेशन जांच सूची के लिए GPT-6 Astra Responses API माइग्रेशन गाइड देखें।
  2. केवल previous_response_id पर निर्भर रहने के बजाय पूरी append-only input सारणी दोबारा भेजें: BetterToken की स्मार्ट रूटिंग अनुरोधों को वर्तमान में उपलब्ध अपस्ट्रीम चैनलों पर भेजती है, और कई कॉन्फ़िगर अपस्ट्रीम वाला मॉडल किसी लागू त्रुटि या टाइमआउट पर दूसरे अपस्ट्रीम पर जा सकता है (हर मॉडल के पास कई अपस्ट्रीम नहीं होते, हर त्रुटि पर फ़ेलओवर नहीं होता, और सफलता की गारंटी नहीं है)। स्टेटलेस रीप्ले एक ही अपस्ट्रीम से जुड़े सर्वर-साइड स्टेट से बचाता है। OpenAI के API पर, Zero Data Retention (ZDR) स्वीकृत संगठनों के लिए पात्र एंडपॉइंट और सुविधाओं पर संगठन-स्तरीय सेटिंग है, जो किसी अनुरोध पर store को false रखने से अलग है। किसी भी स्टेटलेस मोड में (store: false या ZDR सक्षम संगठन, जहाँ OpenAI store को false मानता है), output के रीजनिंग आइटम में डिफ़ॉल्ट रूप से encrypted_content शामिल होता है। OpenAI संगतता के लिए पुराना include: ["reasoning.encrypted_content"] अब भी स्वीकार करता है, लेकिन इसकी आवश्यकता नहीं है। लौटाए गए सभी output आइटम को क्रम में दोबारा भेजें, end_user_mismatch से बचने के लिए हर टर्न में safety_identifier समान रखें (या हर टर्न में छोड़ दें), और organization_mismatch के लिए input_transformations की निगरानी करें।
  3. असमर्थित सैंपलिंग पैरामीटर छोड़ दें: gpt-6.2-astra और gpt-6.2-sol के Responses कॉल में शीर्ष-स्तरीय temperature, top_p, और top_logprobs पैरामीटर हटाएँ, और include से केवल message.output_text.logprobs निकाल दें।
  4. बैकग्राउंड कम्प्लीशन विंडो को सीधी OpenAI कॉल तक सीमित रखें: OpenAI के Responses API पर GPT-6.2 Astra और Sol service_tier: "flex" का समर्थन नहीं करते। सीधे OpenAI API पर चलने वाले लंबे कार्यों के लिए बैकग्राउंड मोड की 2 घंटे या 8 घंटे की कम्प्लीशन विंडो (पब्लिक बीटा) का उपयोग करें, जिसका विवरण हमारी Responses API completion_window गाइड में है। BetterToken के सार्वजनिक Responses API दस्तावेज़ में बैकग्राउंड कम्प्लीशन विंडो असत्यापित हैं, इसलिए यदि आपका वर्कलोड उन पर निर्भर है तो पहले जांचें या सीधे OpenAI पर रूट करें।

अपना LLM वर्कफ़्लो बेहतर बनाना चाहते हैं?

एक API से मॉडल जोड़ें, कुंजियाँ प्रबंधित करें और AI खर्च नियंत्रित करें।

मुफ़्त शुरू करें