GPT-6.2 Responses API: 프리픽스를 변경하면 reasoning이 삭제되는 이유와 대응 방법

GPT-6.2 Astra와 Sol부터 Responses API에서 이전 대화 이력을 수정하면 그 뒤에 이어지는 reasoning 항목이 삭제됩니다. 추가 전용 input 이력, configuration_update, additional_tools, 첫 developer 메시지 기반 지침 분리를 적용하고 input_transformations와 Prompt Cache Diagnostics로 검증하는 방법을 설명합니다.

목차
GPT-6.2 Responses API: 프리픽스를 변경하면 reasoning이 삭제되는 이유와 대응 방법

gpt-6.2-astra와 gpt-6.2-sol부터 OpenAI Responses API는 대화 중간에 프리픽스를 수정하거나 모델을 다운그레이드하거나 조직 또는 최종 사용자를 변경하면, 그 뒤에 오는 reasoning 항목을 자동으로 삭제합니다. 이전 developer 메시지를 덮어쓰거나 과거 도구 실행 결과를 줄이거나 턴 사이에 최상위 reasoning.effort나 tools를 바꾸는 코드를 운영 중인 모든 개발자와 에이전트 팀이 이 변경의 영향을 받습니다. 기존 연동을 추가 전용(append-only) input 이력 구조로 전환하고, 스레드 중간의 설정 변경에는 configuration_update와 additional_tools를 사용하며, 매 응답에서 input_transformations를 확인하여 reasoning이 제거되지 않았는지 점검해야 합니다.

GPT-6.2 Responses API 호출 경로 선택하기

GPT-6.2 Astra와 Sol은 텍스트 생성에 한해 Chat Completions를 지원하지만, 도구 호출에는 Responses API가 필수이며 프리픽스 보존 제어 기능(configuration_update, additional_tools, input_transformations)도 Responses API 전용 기능입니다. POST /v1/responses를 제공하고 현재 접근 환경과 결제 방식에 맞는 API 경로를 선택하십시오.

경로요구 사항과금 단위Responses API 참고 사항선택 기준
BetterToken API 게이트웨이BetterToken 계정, 콘솔에서 발급한 API Key, 종량제 잔액(유료 충전 잔액은 매월 초기화되지 않습니다)해당 모델의 현재 과금 단위(입력, 출력, 캐시 토큰의 단가와 규칙은 다를 수 있습니다). 자세한 내용은 현재 요금을 확인하십시오https://www.bettertoken.ai/v1(POST /v1/responses)에서 gpt-6.2-astra와 gpt-6.2-sol을 제공합니다. 배포 전에 발급받은 키로 무상태 store: false 리플레이, configuration_update, input_transformations 패스스루를 먼저 검증해야 합니다제공되는 여러 모델을 하나의 종량제 API Key로 호출하거나 OpenAI 직접 결제를 사용하기 어려운 경우
OpenAI API 직접 호출지원 국가 또는 지역의 OpenAI 계정 및 API 결제 수단입력, 캐시된 입력, 캐시 쓰기, 출력 각 1M 토큰 기준configuration_update, input_transformations, prompt_cache_diagnostics, previous_response_id, 백그라운드 완료 창, 조직 단위 Zero Data Retention(ZDR)에 대한 네이티브 지원을 문서화합니다OpenAI에 직접 접근할 수 있고 OpenAI 호스팅 상태 관리, ZDR 또는 문서화된 베타 기능에 의존하는 경우

BetterToken에서 추가 전용 리플레이와 프리픽스 감지 검증하기

BetterToken은 BetterToken 콘솔에서 발급한 API Key로 인증하는 https://www.bettertoken.ai/v1(POST /v1/responses) 주소의 OpenAI 호환 API 경로를 제공합니다. 2026-11-21 기준으로 gpt-6.2-sol과 gpt-6.2-astra 모두 Responses 엔드포인트 지원 목록에 포함되어 있습니다. BetterToken은 멀티 모델 플랫폼이자 API 접근 계층이며 OpenAI의 공식 제품이 아닙니다. 또한 BetterToken의 Responses API 레퍼런스에는 무상태 store: false 암호화 reasoning 리플레이, configuration_update, input_transformations, prompt_cache_diagnostics의 패스스루 여부가 검증된 항목으로 명시되어 있지 않습니다. 따라서 프로덕션 배포 전에 실제 키로 아래의 통제된 2턴 무상태 검증을 실행해야 합니다.

Bash에서 화면에 출력되지 않도록 BetterToken API Key를 환경 변수로 내보냅니다.

read -rs BETTERTOKEN_API_KEY && export BETTERTOKEN_API_KEY

store: false로 1턴을 전송해 encrypted_content가 포함된 reasoning 항목이 하나 이상 반환되는지 확인한 뒤, 추가 전용 무상태 리플레이와 이전 developer 메시지만 수정한 대조군 요청을 비교합니다.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["BETTERTOKEN_API_KEY"],
    base_url="https://www.bettertoken.ai/v1",
    timeout=120.0,
    max_retries=0,
)

model = "gpt-6.2-sol"  # Or "gpt-6.2-astra"
history = [
    {"role": "developer", "content": "You are a backend reviewer. Give concise engineering answers."},
    {"role": "user", "content": "Draft a two-step plan to add a non-blocking index on PostgreSQL."},
]

first = client.responses.create(
    model=model,
    store=False,
    reasoning={"effort": "low"},
    input=history,
)
reasoning_items = [item for item in first.output if item.type == "reasoning"]
if not reasoning_items:
    raise RuntimeError("Turn 1 returned no reasoning items; use a harder prompt or higher effort.")
if not all(getattr(item, "encrypted_content", None) for item in reasoning_items):
    raise RuntimeError("Stateless replay unverified: Turn 1 reasoning items lack encrypted_content.")

reasoning_ids = [item.id for item in reasoning_items]
first_output = [item.to_dict() for item in first.output]
follow_up = {"role": "user", "content": "List the failure modes and rollback steps for step 2."}

append_only = client.responses.create(
    model=model,
    store=False,
    reasoning={"effort": "low"},
    input=[*history, *first_output, follow_up],
)

edited_history = [{**history[0], "content": history[0]["content"] + " Be brief."}, history[1]]
edited_control = client.responses.create(
    model=model,
    store=False,
    reasoning={"effort": "low"},
    input=[*edited_history, *first_output, follow_up],
)

print("reasoning_ids:", reasoning_ids)
print("append_only:", append_only.status, getattr(append_only, "input_transformations", None))
print("edited_control:", edited_control.status, getattr(edited_control, "input_transformations", None))
print("append_only_cached_tokens:", append_only.usage.input_tokens_details.cached_tokens)

운영 환경에 적용하기 전에 다음 네 가지 신호를 확인해야 합니다.

  • status == "completed"는 요청이 정상 접수되어 완료되었다는 사실만 뜻합니다. 게이트웨이가 턴 사이에서 reasoning을 보존했다는 증거가 아닙니다.
  • store: false로 보낸 1턴에서 비어 있지 않은 reasoning_ids가 반환되고, 모든 reasoning 항목에 encrypted_content가 포함되어 있는지 확인하십시오. 게이트웨이가 encrypted_content를 생략하면 2턴에서 업스트림 간에 암호화된 reasoning 토큰을 전달할 수 없으므로, 무상태 리플레이는 미검증 상태로 간주해야 합니다.
  • 두 개의 2턴 호출 결과에서 input_transformations를 비교합니다. 패스스루가 정상 동작한다면 edited_control에는 reasoning_ids 중 하나의 ID와 일치하는 prefix_mismatch 항목이 보고되고, append_only에는 보고되지 않습니다. 두 호출 모두에서 input_transformations가 None이거나 비어 있다면 게이트웨이가 해당 필드를 전달하지 않았을 수 있으므로, 이 검증은 판정 불가로 처리해야 합니다.
  • configuration_update 패스스루는 프리픽스 검증과 별도로 테스트해야 합니다. text.format 업데이트는 별도의 2턴 요청에서 text.format을 엄격한 JSON 스키마로 전환한 뒤 출력이 스키마에 부합하는지 확인하여 검증할 수 있습니다. 반면 OpenAI는 대화 중간의 reasoning.effort 변경이 반영되었는지 확인해 주는 응답 필드를 문서화하지 않았으며(응답의 reasoning.effort는 여전히 최상위 요청 설정을 그대로 반환합니다), 따라서 BetterToken 경유 reasoning.effort용 configuration_update는 미검증 상태로 간주해야 합니다.

프롬프트 캐싱의 경우, OpenAI는 GPT-5.6 이상 모델에서 캐시 가능한 최소 프리픽스 길이를 가시 입력 토큰 1,024개로 규정하고 있습니다. 재사용 가능한 프리픽스가 이 기준을 충족하면 append_only.usage.input_tokens_details.cached_tokens 값으로 실제 캐시 재사용량을 확인하십시오. 트래픽을 확대하기 전에 현재 요금에서 최신 모델 단가와 캐시 규칙을 확인하는 것이 안전합니다.

OpenAI API를 직접 호출한다면 base_url을 생략하고 OPENAI_API_KEY를 사용한 뒤 OpenAI 공식 Keep the prefix unchanged 가이드를 따르십시오.

BetterToken 계정 만들기

GPT-6.2에서 프리픽스 변경으로 간주되는 작업

reasoning 항목의 프리픽스는 그 항목보다 앞에 배치된 전체 대화 이력을 의미합니다. GPT-6.2에서는 이 이전 이력을 수정하면 API가 수정 지점 이후에 등장하는 reasoning 항목을 삭제합니다.

OpenAI는 프리픽스 변경을 두 가지 범주로 설명합니다.

  • 이전 input 항목 수정: 도구 실행 결과를 줄이거나, developer 메시지를 고쳐 쓰거나, 과거 이미지 및 파일 크기를 축소하거나, 오래된 턴을 요약문으로 대체하는 작업이 해당합니다.
  • 턴 사이에서 최상위 요청 파라미터 변경: tools 수정(추가, 삭제, 순서 변경, 스키마 및 설명 편집), text.format 변경, 최상위 reasoning.effort 변경, GPT-6.2 이전 모델에서의 instructions 변경이 포함됩니다.

OpenAI의 Reasoning 가이드에 따르면, GPT-6.2 이상에서 prefix_mismatch는 reasoning 항목 앞쪽에 내용을 삽입하거나 수정할 때 발생합니다. 남은 항목을 수정하지 않고 특정 항목 전체를 삭제하거나 reasoning 항목 뒤에 새 항목을 추가하는 것만으로는 prefix_mismatch가 발생하지 않습니다. 다만 오래된 턴을 제거하면 프롬프트 캐시 재사용률이 떨어질 수 있으며, 이 변경 때문에 캐시 재사용이 막히면 Prompt Cache Diagnostics에서 input_changed가 보고될 수 있습니다.

프리픽스 수정은 input_transformations에 기록되는 다섯 가지 제거 사유 중 하나입니다.

제거 사유(reason)API가 reasoning 항목을 제거하는 조건
prefix_mismatchGPT-6.2 이상에서 해당 reasoning 항목 앞의 내용이 삽입되거나 수정된 경우
end_user_mismatchGPT-6.2 이상에서 생성 요청과 재사용 요청의 safety_identifier가 서로 다른 경우(한쪽 요청에서만 생략한 경우도 포함합니다)
model_mismatch모델 패밀리를 변경하거나 같은 패밀리 내에서 하위 모델로 다운그레이드한 경우(같은 패밀리 내 상위 모델로 업그레이드할 때는 다른 검사를 통과하면 호환되는 reasoning이 유지됩니다)
organization_mismatch다른 조직에서 생성한 항목이나 다른 사용자 소속의 다른 워크스페이스 항목을 재사용한 경우
turn_boundary모델이 현재 턴의 reasoning만 사용하는 설정인데 항목이 이전 턴에서 생성된 경우(지원 모델에서는 reasoning.context로 이전 턴 허용 여부를 제어합니다)

reasoning 항목이 삭제되면 발생하는 문제

Responses API 요청은 reasoning 항목이 입력에서 제외되더라도 정상 완료될 수 있으므로, 응답의 input_transformations를 직접 확인하지 않으면 추론 손실을 눈치채지 못합니다. 대화 중간에 프리픽스를 수정하면 프로덕션 환경에서 두 가지 별도의 불이익이 발생할 수 있습니다.

  1. reasoning 삭제에 따른 영향: reasoning 항목이 제거되면 모델이 이전 추론 과정을 다시 수행해야 할 수 있으며, 이로 인해 토큰 사용량, 비용, 응답 지연 시간이 늘어날 수 있습니다. 모델이 잃어버린 추론을 복구하지 못하면 출력 품질도 떨어질 수 있습니다.
  2. 캐시 가능 프리픽스 변경에 따른 영향: 프롬프트 캐싱은 요청의 처음부터 일치 여부를 비교하므로, 프리픽스를 수정하면 그 지점 이후의 캐시 재사용이 끊길 수 있으며 이에 따라 입력 비용이 증가하고 응답 지연이 늘어날 수 있습니다.

2026-11-21 기준 OpenAI가 공개한 Standard 요금(입력 토큰 272,000개 이하 기준)을 보면 캐시 미스가 누적될 때의 비용 차이가 뚜렷합니다.

  • GPT-6.2 Astra(gpt-6.2-astra): 캐시된 입력 $0.40/1M 대비 비캐시 입력 $8/1M(30분 캐시 쓰기 $10/1M, 12시간 캐시 쓰기 $20/1M), 출력 $40/1M입니다.
  • GPT-6.2 Sol(gpt-6.2-sol): 캐시된 입력 $0.10/1M 대비 비캐시 입력 $2/1M(30분 캐시 쓰기 $2.50/1M, 12시간 캐시 쓰기 $5/1M), 출력 $10/1M입니다.

입력 토큰이 272,000개를 초과하면 OpenAI는 전체 요청에 대해 입력 및 캐시 단가를 2배로 적용하고 출력에는 단기 컨텍스트 출력 단가의 1.5x를 부과합니다. 안정적인 프리픽스에서 12시간 캐시 쓰기가 유리해지는 조건은 OpenAI 12시간 프롬프트 캐싱 가이드에서 확인할 수 있습니다.

프리픽스를 깨뜨리지 않고 파라미터와 컨텍스트 업데이트하기

기존 input 항목과 순서는 그대로 유지하고, 제자리에서 수정하는 대신 새 항목을 끝에 추가하면 턴을 거듭해도 reasoning과 캐시된 프리픽스를 유지할 수 있습니다.

configuration_update로 reasoning.effort와 text.format 변경하기

최상위 reasoning.effort를 변경하면 숨겨진 시스템 지침이 다시 작성될 수 있습니다. 표준 단일 에이전트 모드의 지원 대상 GPT-6 이상 모델에서는 요청 수준의 reasoning.effort와 text.format을 그대로 두고, 다음 사용자 메시지 직전에 configuration_update 항목을 input에 추가하십시오.

{
  "type": "configuration_update",
  "reasoning": {
    "effort": "high"
  },
  "text": {
    "format": {
      "type": "json_schema",
      "name": "migration_checks",
      "strict": true,
      "schema": {
        "type": "object",
        "properties": {
          "safe": { "type": "boolean" },
          "rollback_sql": { "type": "string" }
        },
        "required": ["safe", "rollback_sql"],
        "additionalProperties": false
      }
    }
  }
}

configuration_update를 사용할 때는 다음 다섯 가지 규칙을 지켜야 합니다.

  • configuration_update는 다른 업데이트가 덮어쓸 때까지 이후 턴에도 계속 유지됩니다. reasoning.effort만 업데이트해도 이전 text.format 설정이 보존되며, 반대 경우도 마찬가지입니다.
  • 응답 객체의 reasoning.effort는 업데이트된 값이 아니라 최상위 요청 값을 그대로 보고합니다.
  • previous_response_id로 업데이트 상태를 이어받거나, input을 수동으로 관리한다면 각 configuration_update 항목을 원래 위치에 그대로 재전송해야 합니다.
  • 자동 자르기(automatic truncation)와 단독 /responses/compact 엔드포인트는 configuration_update 항목이 포함된 이력을 거부합니다. 대신 context_management나 compaction_trigger를 사용하십시오(자세한 내용은 아래 압축 절에서 다룹니다).
  • gpt-6.2-astra와 gpt-6.2-sol 모두 reasoning.effort: "none"을 거부합니다. OpenAI의 Using GPT-6.2 가이드에서는 기본값으로 medium을 시작점으로 삼고, 기존에 none이나 minimal을 사용했다면 low로 대체할 것을 권장합니다.

tools를 변경하지 않고 도구 추가 및 제한하기

요청 최상위의 tools 배열, 스키마, 순서는 모든 턴에서 동일하게 유지하십시오. 호출 가능한 도구를 조정할 때는 프리픽스를 보존하는 세 가지 패턴을 사용합니다.

  • 한 턴 동안 도구 호출을 비활성화하려면 tools를 삭제하지 말고 tool_choice를 "none"으로 설정합니다.
  • 한 턴 동안 호출 가능한 도구를 제한하려면 tool_choice에 allowed_tools를 지정합니다.
{
  "tool_choice": {
    "type": "allowed_tools",
    "mode": "auto",
    "tools": [
      { "type": "function", "name": "get_weather" },
      { "type": "function", "name": "search_docs" }
    ]
  }
}
  • 대화 도중에 도구를 추가하려면 developer 역할의 additional_tools 항목을 추가하거나, defer_loading: true를 설정한 tool search를 사용해 탐색된 도구가 컨텍스트 끝에 추가되도록 구성합니다. additional_tools에 정의된 도구는 해당 항목이 입력에 등장한 이후부터 호출할 수 있으므로, 수동 리플레이 시에도 원래 위치를 유지해야 합니다.
{
  "type": "additional_tools",
  "role": "developer",
  "tools": [
    {
      "type": "function",
      "name": "get_customer",
      "description": "Look up a customer by ID.",
      "parameters": {
        "type": "object",
        "properties": {
          "customer_id": { "type": "string" }
        },
        "required": ["customer_id"],
        "additionalProperties": false
      }
    }
  ]
}

재사용 가능한 developer 메시지와 최상위 instructions 분리하기

GPT-6.2부터 OpenAI는 최상위 instructions를 input 뒤, 즉 캐시 중단점 바깥에 붙입니다. 따라서 내용이 바뀌지 않더라도 요청할 때마다 비캐시 입력 단가로 과금되며, previous_response_id를 사용해도 자동으로 이어지지 않습니다.

적용 범위에 따라 지침 위치를 나누어 배치하십시오.

  • 재사용되는 시스템 프롬프트와 공통 정책은 프롬프트 캐싱이 일치시킬 수 있도록 input의 첫 번째 항목인 developer 메시지에 넣습니다.
  • 대화 도중에 재사용 지침을 갱신해야 한다면 첫 번째 developer 메시지를 수정하지 말고, 새 developer 메시지를 input 끝에 추가합니다.
  • 최상위 instructions는 현재 요청 한 번에만 적용되는 안내에만 사용합니다.

압축과 긴 도구 출력 처리하기

긴 도구 출력의 축약이나 이미지·파일 크기 축소는 모델에 처음 전송하기 전에 완료해야 합니다. 이미 전송한 과거 항목을 나중에 소급해서 잘라내서는 안 됩니다.

압축(compaction)은 프리픽스를 변경하므로 캐시 미스를 완전히 피하기 어렵습니다. 긴 세션에 대해 OpenAI의 Compaction 가이드는 두 가지 경로를 문서화합니다.

  • 자동 압축(compact_threshold를 설정한 context_management): 프리픽스가 변경되더라도 OpenAI가 후속 reasoning 항목을 유지합니다. 이전 턴에 configuration_update 항목이 있었다면 API가 compaction 항목 바로 뒤에 새 configuration_update 하나를 생성하고, additional_tools 선언은 암호화된 압축 항목 안에 저장합니다. 반환된 출력 항목을 순서대로 다시 전달하십시오.
  • 명시적 압축 또는 사용자 정의 압축: 단독 /responses/compact는 configuration_update 항목이 포함된 이력을 거부합니다. 또한 /responses/compact를 호출할 때는 instructions를 생략하고 반환된 윈도우를 원래 순서대로 다음 요청에 넘겨야 합니다. 이력에 configuration_update가 포함되어 있다면 대신 /responses 요청에 compaction_trigger 항목을 포함하고, 압축 이후 다음 사용자 메시지 앞에 변경된 각 필드를 다시 선언하는 새 configuration_update를 추가하십시오. 자체 압축 방식을 쓸 때는 오래된 턴을 제자리에서 덮어쓰는 대신 압축 요약을 컨텍스트 끝에 배치하거나, 후속 reasoning 항목이 삭제되는 절충안을 감수해야 합니다.

input_transformations와 Prompt Cache Diagnostics로 프리픽스 보존 검증하기

두 가지 응답 점검을 함께 사용하십시오. 하나는 제외된 reasoning 항목을 보고하고, 다른 하나는 프롬프트 캐시 재사용이 끊어진 원인을 알려줍니다.

1. 매 응답에서 input_transformations 확인하기

Responses API create 레퍼런스에서 input_transformations는 모델 입력에서 제외된 reasoning 항목을 입력 순서대로 나열하는 선택적 {id, action, reason, type} 객체 배열입니다(action은 "removed", type은 "reasoning"입니다). reason이 "prefix_mismatch"이면 해당 id를 이전 응답의 output에 있는 reasoning 항목과 대조하여, 그 앞부분에서 어떤 항목이 수정되었는지 찾을 수 있습니다.

2. comparison_response_id로 Prompt Cache Diagnostics 실행하기

usage.input_tokens_details.cached_tokens 수치가 예상보다 낮을 때는 같은 조직에서 최근에 완료된 응답 하나를 고른 뒤, 그 id를 prompt_cache_options.comparison_response_id에 전달하여 prompt_cache_diagnostics를 확인합니다.

{
  "prompt_cache_diagnostics": {
    "type": "cache_miss",
    "reason": "tools_changed",
    "comparison_reusable_tokens": 5629,
    "cache_missed_tokens": 5629
  }
}

OpenAI의 Prompt cache diagnostics 가이드에 따르면 prompt_cache_diagnostics.type은 cache_hit, cache_miss, comparison_response_not_found, unavailable 중 하나를 반환합니다. cache_miss일 때는 reason과 cache_missed_tokens(재사용되지 않은 추정 토큰 수)를 반환하며, 기준 응답의 재사용 가능 프리픽스 원시 토큰 수인 comparison_reusable_tokens가 함께 포함될 수 있습니다. 캐시 미스는 reason 값으로 분류됩니다.

  • input_changed: developer 메시지에 타임스탬프나 요청 ID가 추가되었거나 이전 턴이 편집, 재정렬, 삭제되는 등 앞선 입력이 변경되었습니다.
  • tools_changed: 도구가 추가, 제거, 재정렬 또는 수정되었습니다.
  • reasoning_effort_changed 또는 text_format_changed: configuration_update를 쓰지 않고 최상위 reasoning.effort나 text.format이 변경되었습니다.
  • model_changed, service_tier_changed, verbosity_changed, prompt_cache_key_changed, context_compacted: 모델 선택, 서비스 티어, 상세도(verbosity), 캐시 키 또는 압축 상태가 변경되었습니다.

진단 기능에는 다섯 가지 제약 사항이 있습니다. GPT-5.6 이상 모델과 최소 1,024토큰 이상의 재사용 가능한 프리픽스가 필요합니다. 최선 노력(best-effort) 기준으로 가장 먼저 분류된 원인 하나만 보고합니다. 추가 비용이 없으며 Zero Data Retention 환경에서도 동작합니다. stream=True일 때는 response.completed 이벤트의 event.response에서 prompt_cache_diagnostics를 읽어야 합니다. 마지막으로, 이 진단은 모델이 실제로 reasoning을 재사용했는지 여부는 검증할 수 없습니다.

커스텀 API 및 게이트웨이 구성에서 확인할 네 가지 세부 사항

커스텀 API 기본 URL이나 다중 업스트림 게이트웨이를 통해 GPT-6.2를 호출하는 팀은 다음 네 가지를 점검해야 합니다.

  1. Chat Completions 대신 POST /v1/responses 호출하기: GPT-6.2 Astra와 Sol은 텍스트 생성에 Chat Completions를 지원하지만 도구 호출, configuration_update, additional_tools, input_transformations에는 Responses API가 필요합니다. 기본 마이그레이션 체크리스트는 GPT-6 Astra Responses API 마이그레이션 가이드를 참고하십시오.
  2. previous_response_id에만 의존하지 말고 전체 추가 전용 input 배열을 재전송하기: BetterToken의 스마트 라우팅은 현재 사용 가능한 업스트림 채널로 요청을 전달하며, 여러 업스트림이 구성된 모델은 해당 오류나 타임아웃 발생 시 페일오버할 수 있습니다(모든 모델에 다중 업스트림이 있는 것은 아니며, 모든 오류가 페일오버를 유발하지 않고 성공을 보장하지도 않습니다). 무상태 리플레이를 사용하면 단일 업스트림에 묶인 서버 측 상태 의존성을 피할 수 있습니다. OpenAI API에서 Zero Data Retention(ZDR)은 승인된 조직이 대상 엔드포인트와 기능에 적용하는 조직 단위 설정으로, 개별 요청에서 store를 false로 지정하는 것과 구분됩니다. 다만 두 무상태 모드(store: false 또는 OpenAI가 store를 false로 처리하는 ZDR 활성화 조직) 모두 output의 reasoning 항목에 기본적으로 encrypted_content가 포함됩니다. OpenAI는 호환성을 위해 기존 include: ["reasoning.encrypted_content"]도 계속 허용하지만 필수 조건은 아닙니다. 반환된 모든 output 항목을 순서대로 다시 전달하고, end_user_mismatch를 방지하려면 모든 턴에서 safety_identifier를 동일하게 유지(또는 모든 턴에서 생략)하며, input_transformations에서 organization_mismatch가 발생하는지 모니터링하십시오.
  3. 지원되지 않는 샘플링 파라미터 생략하기: gpt-6.2-astra와 gpt-6.2-sol에 대한 Responses 호출에서는 최상위 temperature, top_p, top_logprobs 파라미터를 생략하고, include에서는 message.output_text.logprobs만 제거하십시오.
  4. 백그라운드 완료 창은 OpenAI 직접 호출로 범위 제한하기: OpenAI Responses API에서 GPT-6.2 Astra와 Sol은 service_tier: "flex"를 지원하지 않습니다. OpenAI API를 직접 호출하는 장기 실행 작업에서는 Responses API completion_window 가이드에 정리된 백그라운드 모드의 2시간 또는 8시간 완료 창(공개 베타)을 활용하십시오. 백그라운드 완료 창은 BetterToken의 공개 Responses API 문서에서 검증되지 않았으므로, 해당 기능에 의존하는 워크로드는 직접 검증하거나 OpenAI로 직접 라우팅해야 합니다.

LLM 워크플로를 최적화할 준비가 되셨나요?

하나의 API로 모델을 연결하고 키와 AI 비용을 관리하세요.

무료로 시작하기