GPT-6.2 API в Responses: не меняйте префикс, иначе reasoning исчезнет

Начиная с GPT-6.2 Astra и Sol, правка ранней истории в Responses API удаляет последующие элементы reasoning. Переведите интеграцию на историю append-only, применяйте configuration_update, additional_tools и инструкции в первом сообщении developer, а затем проверьте результат через input_transformations и Prompt Cache Diagnostics.

Содержание
GPT-6.2 API в Responses: не меняйте префикс, иначе reasoning исчезнет

При работе с GPT-6.2 API (gpt-6.2-astra и gpt-6.2-sol) интерфейс OpenAI Responses API удаляет элементы reasoning после правки префикса в середине диалога, перехода на младшую модель, смены организации или смены конечного пользователя. Это задевает всех разработчиков и команды ИИ-агентов, чей код переписывает ранние сообщения developer, обрезает прошлые ответы инструментов или меняет между ходами параметры верхнего уровня вроде reasoning.effort и tools. Переведите интеграцию на неизменяемую историю input в режиме append-only (только добавление новых элементов в конец), вносите изменения в ходе диалога через configuration_update и additional_tools, а в каждом ответе проверяйте поле input_transformations.

Выбор маршрута для вызовов GPT-6.2 в Responses API

Модели GPT-6.2 Astra и Sol поддерживают Chat Completions для обычного текста, но вызов инструментов и механизмы сохранения префикса (configuration_update, additional_tools, input_transformations) требуют Responses API. На 2026-11-21 России нет в официальном списке поддерживаемых стран и территорий OpenAI, и OpenAI предупреждает, что доступ вне этого списка может привести к блокировке или приостановке аккаунта. Для разработчиков из РФ рабочий вариант — API-шлюз BetterToken: подключение к https://www.bettertoken.ai/v1 из России не требует VPN (это касается самого API-эндпоинта, а не сторонних сайтов, загрузок, входов в аккаунты, маркетплейсов или обновлений). BetterToken поддерживает оплату в рублях, поэтому его API-маршрут не требует зарубежной кредитной или виртуальной карты, которая обычно нужна для официальных подписок вендоров.

МаршрутТребованияЕдиница биллингаОсобенности Responses APIКогда выбирать
API-шлюз BetterTokenАккаунт BetterToken, API Key из консоли, пополненный баланс, с которого расход списывается по факту использования (оплаченный баланс не сгорает ежемесячно); подключение к эндпоинту API из РФ без VPN, доступна оплата в рублях (конкретные каналы оплаты, подходящие карты, минимальные суммы, курсы, комиссии и сроки зачисления зависят от консоли в момент оплаты)По текущей расчётной единице модели (входные, выходные и кэшированные токены могут тарифицироваться по-разному); см. актуальные ценыНа https://www.bettertoken.ai/v1 (POST /v1/responses) доступны gpt-6.2-astra и gpt-6.2-sol; заранее проверьте на своём ключе сквозную передачу store: false, configuration_update и input_transformationsНужен один API Key с оплатой по факту использования для доступных моделей, рублёвая оплата или доступ к API из России без VPN
Прямой OpenAI APIАккаунт OpenAI в поддерживаемой стране или территории и прямой биллинг APIЗа 1M входных, кэшированных, записанных в кэш и выходных токеновДокументирована нативная поддержка configuration_update, input_transformations, prompt_cache_diagnostics, previous_response_id, фоновых окон завершения и Zero Data Retention (ZDR) на уровне организацииУ вас есть прямой доступ к OpenAI и вы опираетесь на серверное состояние OpenAI, ZDR или документированные бета-функции

Проверка append-only воспроизведения и поиска правок префикса через BetterToken

BetterToken открывает OpenAI-совместимый API-маршрут по адресу https://www.bettertoken.ai/v1 (POST /v1/responses) с авторизацией по API Key из консоли BetterToken. По состоянию на 2026-11-21 для эндпоинта Responses доступны обе модели: gpt-6.2-sol и gpt-6.2-astra. BetterToken — мультимодельная платформа и слой доступа к API, а не официальный продукт OpenAI. В справочнике Responses API BetterToken не подтверждена сквозная передача (passthrough) зашифрованного reasoning в stateless-режиме store: false, а также полей configuration_update, input_transformations и prompt_cache_diagnostics. Перед выкладкой прогоните на своём ключе короткий контрольный тест из двух ходов без сохранения состояния.

Экспортируйте ключ BetterToken в Bash без вывода в терминал:

read -rs BETTERTOKEN_API_KEY && export BETTERTOKEN_API_KEY

Отправьте первый ход с store: false, убедитесь, что ответ содержит хотя бы один элемент reasoning с encrypted_content, и сравните чистое воспроизведение append-only с контрольным вызовом, где единственным отличием служит правка раннего сообщения developer:

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["BETTERTOKEN_API_KEY"],
    base_url="https://www.bettertoken.ai/v1",
    timeout=120.0,
    max_retries=0,
)

model = "gpt-6.2-sol"  # Or "gpt-6.2-astra"
history = [
    {"role": "developer", "content": "You are a backend reviewer. Give concise engineering answers."},
    {"role": "user", "content": "Draft a two-step plan to add a non-blocking index on PostgreSQL."},
]

first = client.responses.create(
    model=model,
    store=False,
    reasoning={"effort": "low"},
    input=history,
)
reasoning_items = [item for item in first.output if item.type == "reasoning"]
if not reasoning_items:
    raise RuntimeError("Turn 1 returned no reasoning items; use a harder prompt or higher effort.")
if not all(getattr(item, "encrypted_content", None) for item in reasoning_items):
    raise RuntimeError("Stateless replay unverified: Turn 1 reasoning items lack encrypted_content.")

reasoning_ids = [item.id for item in reasoning_items]
first_output = [item.to_dict() for item in first.output]
follow_up = {"role": "user", "content": "List the failure modes and rollback steps for step 2."}

append_only = client.responses.create(
    model=model,
    store=False,
    reasoning={"effort": "low"},
    input=[*history, *first_output, follow_up],
)

edited_history = [{**history[0], "content": history[0]["content"] + " Be brief."}, history[1]]
edited_control = client.responses.create(
    model=model,
    store=False,
    reasoning={"effort": "low"},
    input=[*edited_history, *first_output, follow_up],
)

print("reasoning_ids:", reasoning_ids)
print("append_only:", append_only.status, getattr(append_only, "input_transformations", None))
print("edited_control:", edited_control.status, getattr(edited_control, "input_transformations", None))
print("append_only_cached_tokens:", append_only.usage.input_tokens_details.cached_tokens)

Перед запуском в продакшене оцените четыре сигнала:

  • status == "completed" подтверждает только приём и завершение запроса. Это не доказывает, что шлюз сохранил reasoning между ходами.
  • Проверьте, что первый ход с store: false вернул непустой reasoning_ids и каждый элемент reasoning содержит encrypted_content. Если шлюз опускает encrypted_content, считайте stateless-воспроизведение неподтверждённым: второй ход не сможет передать зашифрованные токены рассуждений между апстримами.
  • Сравните input_transformations в обоих вызовах второго хода. При подтверждённой сквозной передаче edited_control вернёт запись prefix_mismatch с ID из reasoning_ids, а append_only — пустой результат. Если input_transformations равно None или пусто в обоих прогонах, проверка не даёт однозначного вывода: возможно, шлюз не пробрасывает это поле.
  • Проверяйте configuration_update отдельно от теста на префикс. Смену text.format легко проверить вторым запросом, переключив формат на строгую JSON-схему и сверив структуру ответа. Для смены reasoning.effort в середине диалога OpenAI не документирует отдельное поле подтверждения в ответе (reasoning.effort в ответе по-прежнему показывает параметр верхнего уровня), поэтому работу configuration_update для reasoning.effort через BetterToken стоит считать неподтверждённой.

Для кэширования промптов OpenAI задаёт минимальный кэшируемый префикс в 1 024 видимых входных токена на моделях GPT-5.6 и новее. Когда ваш повторяемый префикс преодолеет этот порог, отслеживайте реальное попадание в кэш через append_only.usage.input_tokens_details.cached_tokens. Перед масштабированием сверьте тарифы и правила кэширования на странице актуальных цен.

Если вы вызываете OpenAI напрямую из поддерживаемого региона, уберите base_url, передайте OPENAI_API_KEY и следуйте официальному руководству OpenAI Keep the prefix unchanged.

Создать аккаунт BetterToken

Что считается изменением префикса в GPT-6.2

Префикс элемента reasoning — это вся история диалога, сформированная до него. В GPT-6.2 изменение этой ранней истории приводит к тому, что API отбрасывает все элементы reasoning после места правки.

OpenAI выделяет две группы изменений префикса:

  • Правка ранних элементов input: сокращение вывода инструмента, переписывание сообщения developer, сжатие ранее отправленных изображений или файлов, замена старых ходов пересказом.
  • Изменение параметров верхнего уровня между ходами: правка tools (добавление, удаление, перестановка, изменение схем и описаний), смена text.format, изменение reasoning.effort на уровне запроса или правка instructions на моделях до GPT-6.2.

Согласно руководству OpenAI по Reasoning, причина prefix_mismatch срабатывает на GPT-6.2 и новее при вставке или редактировании данных перед элементом reasoning. Удаление целых элементов без правки оставшихся или добавление новых элементов после reasoning само по себе prefix_mismatch не вызывает. Однако удаление старых ходов всё равно способно снизить переиспользование кэша промптов, и Prompt Cache Diagnostics может вернуть причину input_changed, если это удаление помешало повторному использованию кэша.

Правка префикса — лишь одна из пяти причин удаления, которые попадают в input_transformations:

Значение reasonКогда API удаляет элемент reasoning
prefix_mismatchНа GPT-6.2 и новее перед элементом reasoning вставили или изменили содержимое
end_user_mismatchНа GPT-6.2 и новее поле safety_identifier различается между запросом создания и повторного использования, включая случай, когда его опустили только в одном запросе
model_mismatchВы перешли на другое семейство моделей или понизили модель внутри семейства (повышение внутри семейства сохраняет совместимый reasoning при прочих равных)
organization_mismatchЭлемент переиспользован из другой организации или другого рабочего пространства под другим пользователем
turn_boundaryЭлемент относится к предыдущему ходу, когда модель использует reasoning только текущего хода (на поддерживаемых моделях доступностью управляет reasoning.context)

Что происходит при удалении элементов reasoning

Запрос к Responses API может успешно завершиться даже после удаления reasoning, поэтому потеря рассуждений проходит незаметно, если не читать input_transformations. Правка префикса в середине диалога создаёт для продакшена два отдельных риска:

  1. Последствия удаления reasoning: когда элементы рассуждений удалены, модели может понадобиться заново выполнить часть прежних рассуждений, что может увеличить расход токенов, стоимость и задержку. Если модели не удаётся восстановить потерянные рассуждения, качество ответа также может снизиться.
  2. Последствия изменения кэшируемого префикса: кэш промптов сопоставляет запросы с самого начала, поэтому правка префикса может сократить повторное использование кэша с места правки. Если повторное использование кэша теряется, стоимость входных токенов и задержка ответа могут вырасти.

Официальные тарифы OpenAI уровня Standard на 2026-11-21 (до 272 000 входных токенов) показывают, насколько быстро промахи кэша увеличивают счёт:

  • GPT-6.2 Astra (gpt-6.2-astra): $0.40/1M за кэшированный вход против $8/1M за обычный вход ($10/1M за запись в 30-минутный кэш, $20/1M за запись в 12-часовой кэш) и $40/1M за выход.
  • GPT-6.2 Sol (gpt-6.2-sol): $0.10/1M за кэшированный вход против $2/1M за обычный вход ($2.50/1M за запись в 30-минутный кэш, $5/1M за запись в 12-часовой кэш) и $10/1M за выход.

При объёме свыше 272 000 входных токенов OpenAI удваивает тарифы на вход и кэш и применяет ставку 1.5x от тарифа короткого контекста за выход на весь запрос. Чтобы оценить, когда 12-часовая запись окупается на стабильных префиксах, изучите разбор 12-часового кэширования промптов OpenAI.

Как менять параметры и контекст, не ломая префикс

Замените правки задним числом на добавление новых элементов в конец input, чтобы сохранить и reasoning, и кэш промптов.

Меняйте reasoning.effort и text.format через configuration_update

Изменение параметра верхнего уровня reasoning.effort может переписывать скрытые системные инструкции. На поддерживаемых моделях GPT-6 и новее в стандартном одноагентном режиме оставьте значения reasoning.effort и text.format на верхнем уровне без изменений и добавьте элемент configuration_update в input перед следующим сообщением пользователя:

{
  "type": "configuration_update",
  "reasoning": {
    "effort": "high"
  },
  "text": {
    "format": {
      "type": "json_schema",
      "name": "migration_checks",
      "strict": true,
      "schema": {
        "type": "object",
        "properties": {
          "safe": { "type": "boolean" },
          "rollback_sql": { "type": "string" }
        },
        "required": ["safe", "rollback_sql"],
        "additionalProperties": false
      }
    }
  }
}

При работе с configuration_update соблюдайте пять правил:

  • Обновление configuration_update действует на все последующие ходы до следующего переопределения. Если поменять только reasoning.effort, прежний text.format сохранится, и наоборот.
  • Поле reasoning.effort в объекте ответа по-прежнему отображает исходное значение верхнего уровня запроса, а не обновлённое.
  • Переносите обновления между ходами через previous_response_id, либо при ручном управлении массивом input воспроизводите каждый элемент configuration_update ровно на его исходной позиции.
  • Автоматическое усечение (automatic truncation) и отдельный эндпоинт /responses/compact отклоняют историю, содержащую configuration_update. Вместо них используйте context_management или compaction_trigger (подробнее в разделе про компакцию ниже).
  • Обе модели, gpt-6.2-astra и gpt-6.2-sol, отклоняют reasoning.effort: "none". В руководстве OpenAI Using GPT-6.2 советуют начинать с medium, а вместо none или minimal передавать low.

Добавляйте и ограничивайте инструменты без правки tools

Оставляйте массив tools, его схемы и порядок элементов на верхнем уровне запроса неизменными на всём протяжении диалога. Управлять доступными инструментами безопасно тремя способами:

  • Укажите tool_choice: "none", чтобы отключить инструменты на один ход, не убирая сам массив tools.
  • Используйте tool_choice с типом allowed_tools, чтобы сузить список вызываемых инструментов на текущий ход:
{
  "tool_choice": {
    "type": "allowed_tools",
    "mode": "auto",
    "tools": [
      { "type": "function", "name": "get_weather" },
      { "type": "function", "name": "search_docs" }
    ]
  }
}
  • Чтобы добавить новые инструменты в середине диалога, допишите в input элемент additional_tools с ролью developer или подключите поиск инструментов (tool search) с defer_loading: true, чтобы найденные описания дописывались в конец контекста. Инструменты из additional_tools становятся доступны только после появления этого элемента, поэтому воспроизводите его на исходной позиции:
{
  "type": "additional_tools",
  "role": "developer",
  "tools": [
    {
      "type": "function",
      "name": "get_customer",
      "description": "Look up a customer by ID.",
      "parameters": {
        "type": "object",
        "properties": {
          "customer_id": { "type": "string" }
        },
        "required": ["customer_id"],
        "additionalProperties": false
      }
    }
  ]
}

Разделяйте повторяемые сообщения developer и поле instructions

Начиная с GPT-6.2, OpenAI добавляет верхнеуровневое поле instructions уже после массива input — за пределами границ кэширования. Эти токены оплачиваются по полной цене некэшированного входа в каждом запросе, даже если текст не менялся, а previous_response_id их не переносит.

Распределяйте инструкции по зоне действия:

  • Помещайте постоянные системные промпты и общие правила в сообщение developer самым первым элементом input, чтобы их подхватывал кэш промптов.
  • При обновлении постоянных правил в ходе диалога добавляйте новое сообщение developer в конец input, вместо того чтобы редактировать первое.
  • Оставляйте верхнеуровневое поле instructions только для указаний, относящихся к одному текущему запросу.

Управляйте компакцией и длинными ответами инструментов

Сокращайте громоздкий вывод инструментов и уменьшайте изображения или файлы до первой отправки модели. Не обрезайте прошлые элементы задним числом.

Компакция (сжатие контекста) меняет префикс, поэтому промахов кэша избежать трудно. Для длинных сессий в руководстве OpenAI по компакции описаны два сценария:

  • Автоматическая компакция (context_management с параметром compact_threshold): OpenAI сохраняет последующие элементы reasoning, несмотря на изменение префикса. Если в ранних ходах были элементы configuration_update, API выдаёт один свежий configuration_update сразу после элемента compaction, а объявления additional_tools сохраняет внутри зашифрованного элемента компакции. Воспроизводите возвращённые элементы output в исходном порядке.
  • Явная и собственная компакция: отдельный эндпоинт /responses/compact отклоняет историю с configuration_update; при его вызове опускайте instructions и передавайте возвращённое окно в исходном порядке. Если в истории есть configuration_update, добавляйте вместо этого элемент compaction_trigger в /responses, а перед следующим сообщением пользователя допишите свежий configuration_update, повторив все изменённые поля. В собственной реализации компакции добавляйте сжатую сводку в конец контекста, не заменяя старые ходы на месте, либо миритесь с удалением reasoning.

Проверка сохранности префикса через input_transformations и Prompt Cache Diagnostics

Совмещайте две проверки в ответах API: первая показывает удалённые элементы reasoning, вторая указывает причину промаха кэша промптов.

1. Проверяйте input_transformations в каждом ответе

По справочнику метода create в Responses API, input_transformations — опциональный массив объектов {id, action, reason, type}, перечисляющий скрытые от модели элементы reasoning в порядке входа (action равно "removed", type равно "reasoning"). Если в reason указано "prefix_mismatch", найдите элемент с этим id в массиве output раннего ответа — ошибка правки находится до него.

2. Запускайте Prompt Cache Diagnostics через comparison_response_id

Если метрика usage.input_tokens_details.cached_tokens оказалась ниже ожидаемой, возьмите id недавнего завершённого ответа той же организации, передайте его в prompt_cache_options.comparison_response_id и проверьте блок prompt_cache_diagnostics:

{
  "prompt_cache_diagnostics": {
    "type": "cache_miss",
    "reason": "tools_changed",
    "comparison_reusable_tokens": 5629,
    "cache_missed_tokens": 5629
  }
}

Согласно руководству OpenAI по Prompt Cache Diagnostics, поле prompt_cache_diagnostics.type принимает значения cache_hit, cache_miss, comparison_response_not_found или unavailable. При cache_miss ответ содержит reason и cache_missed_tokens (оценка числа неиспользованных токенов кэша), а также может включать comparison_reusable_tokens (общее число токенов в переиспользуемом префиксе базового ответа). Причины промаха в reason:

  • input_changed: изменился ранний ввод — например, в сообщение developer попали метка времени или ID запроса, либо старые ходы отредактировали, переставили или удалили.
  • tools_changed: инструменты добавили, удалили, переставили или изменили их описания и схемы.
  • reasoning_effort_changed или text_format_changed: параметры reasoning.effort или text.format поменяли на верхнем уровне вместо использования configuration_update.
  • model_changed, service_tier_changed, verbosity_changed, prompt_cache_key_changed или context_compacted: сменились модель, уровень обслуживания, подробность ответа, ключ кэша или сработала компакция.

У диагностики пять ограничений: она работает на GPT-5.6 и новее при повторяемом префиксе не короче 1 024 токенов; возвращает только первую найденную причину в режиме best-effort; не тарифицируется дополнительно и совместима с Zero Data Retention; при stream=True читайте prompt_cache_diagnostics из event.response в событии response.completed; диагностика кэша не проверяет, переиспользовала ли модель сам reasoning.

На что обратить внимание при работе через кастомный API и шлюз

Командам, подключающим GPT-6.2 через кастомный base_url или мультиапстрим-шлюз, стоит проверить четыре пункта:

  1. Вызывайте POST /v1/responses, а не Chat Completions: GPT-6.2 Astra и Sol поддерживают Chat Completions для текста, но вызов инструментов, configuration_update, additional_tools и input_transformations требуют Responses API. Базовый чек-лист перехода собран в руководстве по миграции GPT-6 Astra на Responses API.
  2. Передавайте полный массив input в режиме append-only вместо опоры только на previous_response_id: умная маршрутизация BetterToken направляет запросы на доступные апстрим-каналы, и модель с несколькими настроенными апстримами может переключаться при подходящей ошибке или таймауте (не у каждой модели несколько апстримов, не любая ошибка запускает переключение, и успех запроса не гарантируется). Воспроизведение истории на стороне клиента избавляет от привязки серверного состояния к одному апстриму. В API OpenAI режим Zero Data Retention (ZDR) — настройка уровня организации для одобренных клиентов на подходящих эндпоинтах и функциях, отличная от параметра store: false в запросе. В обоих stateless-режимах (store: false или ZDR, где OpenAI трактует store как false) элементы reasoning в output содержат encrypted_content по умолчанию. OpenAI всё ещё принимает устаревшее include: ["reasoning.encrypted_content"] ради совместимости, но не требует его. Возвращайте все элементы output в исходном порядке, держите safety_identifier одинаковым на всех ходах (или опускайте его везде), чтобы избежать end_user_mismatch, и следите за появлением organization_mismatch в input_transformations.
  3. Исключите неподдерживаемые параметры сэмплирования: в запросах Responses к gpt-6.2-astra и gpt-6.2-sol не передавайте верхнеуровневые temperature, top_p и top_logprobs, а из include уберите только message.output_text.logprobs.
  4. Используйте фоновые окна завершения только при прямых вызовах OpenAI: в OpenAI Responses API модели GPT-6.2 Astra и Sol не поддерживают service_tier: "flex". Для длительных задач при прямом обращении к API OpenAI используйте фоновый режим с окнами завершения 2 или 8 часов (публичная бета) — подробности в руководстве по completion_window в Responses API. Поддержка фоновых окон завершения не подтверждена в публичной документации Responses API BetterToken, поэтому при зависимости от этой функции проверьте её или направляйте такие задачи напрямую в OpenAI.

Готовы оптимизировать LLM workflow?

Подключите единый API, управляйте ключами и контролируйте расходы на AI-модели в BetterToken.

Начать бесплатно