Coding Agent Index v2.1: Fable 5.2 и Opus 5.5 — выбор effort

Для Claude Fable 5.2 начните с effort high: в Coding Agent Index v2.1 он даёт 58 баллов при $7.51 за задачу, тогда как max — 56 при $44.22. Разбираем обновления FrontierCode-AA 2.0 и Terminal-Bench 4.1, тайм-ауты, fallback после отказов по безопасности и различия между Opus 5.5, GPT-6.1 Sol и Kimi K3.1 Pro. Показываем настройку effort в Claude Code и способ проверить расходы на собственном репозитории.

Содержание
Coding Agent Index v2.1: Fable 5.2 и Opus 5.5 — выбор effort

Для задач программирования в Claude Fable 5.2 начните с уровня effort high, а не max. В Coding Agent Index v2.1 от Artificial Analysis уровни high и xhigh набрали по 58 баллов. При этом max получил только 56 и обошёлся в $44.22 за задачу против $7.51 на high.

Claude Opus 5.5 с уровнем max тоже набрал 58 баллов, но показал лучшие результаты на другом типе задач.

Обновление от 14 ноября 2026 года показывает, почему максимальный effort не стоит включать по умолчанию. Дополнительные рассуждения расходуют токены и время. Если агент не успевает завершить задачу, увеличение effort может даже ухудшить итоговую оценку.

Результаты относятся к конкретным моделям, агентным инструментам, настройкам и ограничениям времени. Они не гарантируют такой же процент успешных изменений в вашем репозитории.

Что изменилось в Coding Agent Index v2.1?

Главное изменение v2.1 — более сложная проверка изменений в репозиториях. Также обновились проверки терминальных задач и метод расчёта расходов на API.

Индекс Artificial Analysis объединяет три бенчмарка:

КомпонентЗадачЧто проверяетИзменение в v2.1
FrontierCode-AA 2.0132Изменения кода, которые поддерживающий проект разработчик согласился бы принятьВместо FrontierCode 1.1
Terminal-Bench 4.166Выполнение задач через терминалТе же задачи, обновлённые проверки
SWE-Atlas-QnA-AA124Понимание устройства репозитория и объяснение работы кодаСохранён из v2.0

Согласно методологии Artificial Analysis, каждый компонент даёт одну треть итоговой оценки.

Агент выполняет каждую задачу три раза. Сначала усредняются результаты попыток, затем результаты задач внутри каждого бенчмарка.

Поэтому 66 терминальных задач влияют на итоговый балл столько же, сколько 132 задачи по изменению кода.

Почему FrontierCode-AA 2.0 снизил средние оценки

FrontierCode-AA 2.0 — реализация бенчмарка FrontierCode 2.0 от Cognition, которую использует Artificial Analysis.

В предыдущей версии было 100 задач, теперь их 132. Основной критерий остался прежним: достаточно ли качественно агент изменил проект, чтобы сопровождающий репозиторий разработчик принял его правку.

Но новые задачи требуют более объёмной работы.

В описании FrontierCode 2.0 Cognition приводит изменения относительно версии 1.1:

  • Эталонные решения затрагивают в среднем на 67% больше файлов.
  • Количество изменённых строк выросло на 89%.
  • Количество обязательных критериев проверки увеличилось на 43%.

Обязательные критерии, или blocking criteria, определяют требования, без которых решение нельзя принять. Если агент нарушает хотя бы одно такое требование, попытка получает ноль.

Это важно для реальных изменений в коде. Агент может предложить правдоподобный патч, но пропустить регрессию, не устранить причину ошибки или нарушить требования проекта.

В сообщении Artificial Analysis от 14 ноября приведены результаты сравнения версий:

  • Все 23 конфигурации, проверенные на обеих версиях FrontierCode, получили более низкие оценки на новом наборе задач.
  • Средний результат снизился с 45% до 29%.
  • Общий Coding Agent Index упал в среднем примерно на пять баллов.

Это результат изменения бенчмарка. Он не означает, что модели внезапно стали хуже программировать.

Снижение среднего FrontierCode на 16 пунктов даёт примерно 5.3 пункта итогового индекса, если результаты двух остальных компонентов оставить без изменений. Расчёт объясняет большую часть объявленного падения.

Поэтому не сравнивайте балл модели в v2.0 с её баллом в v2.1 напрямую.

Не смешивайте и разные реализации FrontierCode. Cognition, Artificial Analysis Coding Agent Index и Artificial Analysis Intelligence Index используют разные агентные инструменты. Совпадение названия задач ещё не означает сопоставимость результатов.

Terminal-Bench 4.1: те же задачи, более точная проверка

В Terminal-Bench 4.1 сохранились все 66 задач из версии 4.0.

Изменились механизмы проверки. Их задача — точнее определять, выполнена ли работа, и препятствовать reward hacking: получению зачёта через обход проверок вместо решения задачи.

В официальном описании Terminal-Bench 4.1 указаны улучшения изоляции исполняемого кода и исправления ложных отрицательных результатов.

Если проверяющая система запускает код агента, она может выполнять его в отдельном процессе от имени непривилегированного пользователя. Так код не получает прямой доступ к защищённым тестам и файлу с результатом.

Исправлены и слишком жёсткие предположения о правильном решении.

Например, проверка freecad-platform-drawing раньше отклоняла корректные 3D-модели, построенные из готовых объёмных примитивов. Она ожидала, что агент создаст модель путём выдавливания двумерных эскизов. В версии 4.1 оба корректных подхода принимаются.

По данным Artificial Analysis, результаты всех 23 конфигураций, оценённых на обеих версиях Terminal-Bench, изменились менее чем на три пункта.

Следовательно, основная причина снижения общего индекса — именно FrontierCode-AA 2.0.

В v2.1 изменился также расчёт стоимости API-запросов. Это зафиксировано в истории версий методологии.

Теперь Artificial Analysis использует количество токенов, сообщаемое API-провайдером, вместе с актуальными измерениями типичного процента попаданий в кэш. Если провайдер отдельно берёт плату за запись кэша, она тоже учитывается.

Раньше расчёт мог опираться на попадания в кэш, наблюдавшиеся во время конкретного запуска. Теперь типичное поведение кэша оценивается отдельно.

Из-за этого расходы через другой API-маршрут могут отличаться даже при одинаковой модели.

Fable 5.2: какой уровень effort оправдывает цену?

Для сложных задач Claude Code разумно начать с high. В Coding Agent Index v2.1 этот уровень показал лучший опубликованный целочисленный результат Fable 5.2 при гораздо меньших расходах, чем xhigh и max.

По состоянию на 2026-11-15 сравнение Claude Code и Codex содержит следующие данные:

Effort Fable 5.2Index v2.1Стоимость API за задачуВремя агента на задачу
low48$2.4913.4 min
medium53$2.8915.1 min
high58$7.5131.3 min
xhigh58$15.4753.3 min
max56$44.222.2 hours

Стоимость указана в USD. Это средние расходы на API по тарифам за токены при выполнении задач бенчмарка.

Эти суммы не описывают лимиты подписки Claude Code и не означают, что любая ваша задача будет стоить столько же.

Для выбора уровня effort полезно разделить работу на несколько случаев.

medium — для ограниченных задач с понятной проверкой. При 53 баллах средняя стоимость составляет $2.89. Такой режим стоит проверить на небольших исправлениях, которые можно быстро подтвердить тестами.

high — для сложных изменений в репозитории. Он получил 58 баллов при стоимости $7.51 за задачу. Это разумная отправная точка для работы, где важна вероятность получить пригодный патч с первой попытки.

xhigh — только при измеримом выигрыше. Он тоже получил 58 баллов, но стоит $15.47 за задачу. Это примерно в 2.06 раза дороже high.

Artificial Analysis указывает, что medium, high и xhigh находятся на границе Парето по соотношению стоимости и результата. Иными словами, в исходных данных у каждого из этих режимов есть своё преимущество.

Одинаковые округлённые 58 баллов не доказывают полное совпадение точных оценок. Но для вашей команды дополнительный расход на xhigh всё равно нужно обосновать реальными задачами.

Особенно заметна разница с max:

[ \frac{$44.22}{$7.51}\approx5.89 ]

Таким образом, в данном тестировании max обходится примерно в 5.9 раза дороже high, но получает на два балла меньше.

Разница составляет $36.71 за задачу. При этом улучшения общего результата не обнаружено.

Почему Fable 5.2 max набрал меньше баллов?

Главная причина, которую называет Artificial Analysis, — превышение времени выполнения задач.

В разборе effort и тайм-аутов приведены такие данные:

БенчмаркТайм-ауты Fable 5.2 xhighТайм-ауты Fable 5.2 max
FrontierCode-AA 2.01%16%
SWE-Atlas-QnA-AA0%13%

Это доли попыток, завершившихся по тайм-ауту. Их нельзя считать общей долей неверных решений.

В том же сообщении указано, что на FrontierCode-AA 2.0 режим max генерирует примерно втрое больше выходных токенов на задачу, чем xhigh.

Дополнительные рассуждения занимают время. Если агент не завершает работу до установленного срока, попытка получает ноль.

Поэтому рост расходов и снижение итоговой оценки могут происходить одновременно.

Из этих результатов нельзя сделать вывод, что max всегда хуже при неограниченном времени. Они показывают другое: в проверенных условиях и при действующих лимитах max справился хуже.

Это важно и для production-задач. Даже потенциально хороший патч бесполезен для автоматического процесса, если агент не успел подготовить его до тайм-аута CI или другого ограничения.

Как выбрать между Fable 5.2, Opus 5.5, GPT-6.1 Sol и Kimi K3.1 Pro?

Смотрите на тип работы, отдельные компоненты индекса и стоимость выполнения. Один итоговый балл объединяет разные инженерные задачи и может скрывать существенные различия.

Fable лучше меняет код, Opus сильнее в вопросах по репозиторию

В опубликованных результатах Artificial Analysis есть такое сравнение:

КонфигурацияFrontierCode-AA 2.0Terminal-Bench 4.1SWE-Atlas-QnA-AAIndex
Claude Code + Fable 5.2 high49%64%62%58
Claude Code + Fable 5.2 xhigh49%64%62%58
Claude Code + Opus 5.5 max44%65%66%58

Для сложных изменений в исходном коде сначала проверьте Fable 5.2 с high. На FrontierCode-AA 2.0 он опережает Opus 5.5 max на пять пунктов.

Для исследования репозитория и технических объяснений стоит проверить Opus 5.5 max. На SWE-Atlas-QnA-AA он набрал 66% против 62% у Fable.

На Terminal-Bench 4.1 разница между ними небольшая: 65% и 64%.

Стоимость Opus 5.5 max в том же наборе задач составляет $12.61.

Это дешевле Fable 5.2 xhigh за $15.47, но дороже Fable high за $7.51.

Поэтому Opus 5.5 max можно рассматривать вместо Fable xhigh, особенно для анализа существующего кода. Для подготовки изменений, которые должны пройти проверку и попасть в репозиторий, сначала испытайте Fable high.

Если хотите сравнить модели в одном проекте, воспользуйтесь инструкцией по переключению Claude Code на Opus 5.5. Она поможет выбрать нужную модель без зависимости от ранее установленного псевдонима.

GPT-6.1 Sol — недорогая отправная точка

Codex с GPT-6.1 Sol на уровне max набрал 52 балла при средней стоимости $1.51 за задачу.

Результаты по компонентам:

КомпонентGPT-6.1 Sol max
FrontierCode-AA 2.042%
Terminal-Bench 4.154%
SWE-Atlas-QnA-AA60%

GPT-6.1 Sol не лидирует ни в одном из этих компонентов. Его преимущество — существенно меньшие расходы при достаточно высоком результате для многих задач программирования.

Для большого потока задач с автоматическими тестами начните с Sol, если стоимость важнее максимального балла.

Переходите на Fable 5.2 high, когда увидите, что Sol слишком часто предлагает непригодные изменения или требует много повторных попыток и ручной проверки.

Если более дорогая модель не повышает долю принятых изменений настолько, чтобы покрыть разницу в стоимости, оставьте Sol.

Дополнительные условия выбора разобраны в сравнении GPT-6.1 Sol, GPT-6 Astra и Claude Opus 5.5.

Kimi K3.1 Pro лидирует на терминальных задачах

В сочетании с Kimi Code CLI модель Kimi K3.1 Pro набрала 68% на Terminal-Bench 4.1. Это лучший результат в опубликованном Artificial Analysis сравнении данного компонента.

Для остальных конфигураций указаны такие оценки:

  • Claude Code + Sonnet 5.5 max: 66%
  • Claude Code + Opus 5.5 max: 65%
  • Antigravity CLI + Gemini 4 Carbon high: 65%
  • Claude Code + Fable 5.2 high или xhigh: 64%

Но общий результат Kimi Code CLI составляет 49 баллов при средней стоимости API $2.94 за задачу.

Значит, лидерство на терминальных задачах не делает Kimi лидером всего индекса.

Проверьте Kimi K3.1 Pro в первую очередь, если агент должен много работать с терминалом: настраивать окружение, запускать команды, исправлять конфигурации и автоматизировать системные операции.

Для сложных изменений непосредственно в исходном коде сначала сравните результаты с Fable high. Если преимущество FrontierCode переносится на ваши задачи, более дорогая модель может окупиться.

Для подключения используйте руководство по Kimi K3.1 Pro в Claude Code и Codex.

Как fallback после отказа по безопасности влияет на результаты?

Coding Agent Index v2.1 измеряет работу всей агентной конфигурации. В некоторых случаях она включает переход на другую модель после отказа по соображениям безопасности.

Такой переход называют fallback. Если основная модель отказывается продолжать задачу, агент может передать её другой модели.

В разборе Artificial Analysis указана доля попыток, которые завершала резервная модель:

КонфигурацияПопытки, завершённые fallback-моделью
Devin Fusion CLI: Opus 5.5 max + GPT-6 Luna high9%
Claude Code + Opus 5.5 max9%
Claude Code + Fable 5.2 xhigh6%
Claude Code + Sonnet 5.5 max5%

Для Codex с GPT-6.1 Sol max и GPT-6 Astra max Artificial Analysis также отмечает примерно 1% попыток, заблокированных после отказа.

Важно различать завершение попытки и успешное решение. Fallback-модель могла довести работу до конца, но результат всё равно должен пройти проверку.

Согласно методологии оценки, завершённая резервной моделью попытка оценивается обычным способом. Если отказ окончательно блокирует выполнение, попытка получает ноль.

Это влияет на сравнение моделей.

Во-первых, 58 баллов Opus 5.5 нельзя считать результатом исключительно самой Opus. Часть попыток в этой конфигурации завершала другая модель.

Во-вторых, процент fallback-попыток не показывает, насколько изменилась бы оценка без резервной модели. Для такого вывода нужны отдельные результаты с отключённым fallback.

В бенчмарке есть задачи, связанные с безопасностью, которые могут вызывать отказы провайдера или модели. В вашем проекте правила провайдера, настройки маршрутизации и поведение резервной модели могут отличаться.

При локальном сравнении агентов фиксируйте факт переключения модели. Иначе разницу в цене или качестве можно ошибочно приписать основной модели.

Как настроить effort в Claude Code и контролировать расходы?

Для Fable 5.2 начните с high. Переходите на другой уровень, только когда результаты на ваших задачах дают для этого основание.

Документация Anthropic по effort подтверждает пять доступных уровней Fable 5.2: low, medium, high, xhigh и max. По умолчанию API использует high.

Opus 5.5 поддерживает те же пять уровней, но её настройка API по умолчанию — medium.

Это важно учитывать при сравнении. Результат Opus 5.5 max в Coding Agent Index не соответствует обычному API-запросу с настройками по умолчанию.

Как выставить и проверить effort в Claude Code

Предположим, Claude Code уже установлен и у вас настроен доступ к Fable 5.2.

Откройте терминал в каталоге проекта.

Для Bash выполните:

claude --model claude-fable-5-2 --effort high

После запуска Claude Code в интерактивном сеансе используйте:

/model
/effort

Проверьте выбранную модель и текущий уровень effort.

Официальное руководство по настройке effort также описывает команды:

/effort medium
/effort high
/effort xhigh
/effort auto

Выполняйте нужную команду отдельно. Последняя команда задаёт запрошенный уровень для сеанса.

Команда /effort auto возвращает значение по умолчанию для выбранной модели.

Чтобы сохранить настройку для конкретной модели, используйте /effort в локальном интерактивном сеансе.

Начиная с Claude Code v2.1.251, выбранный уровень сохраняется в modelSettings пользовательского файла ~/.claude/settings.json.

Не рассчитывайте, что верхнеуровневый параметр effortLevel в этом пользовательском файле задаст effort для Fable 5.2.

В справочнике настроек Claude Code сказано, что Opus 5.5 и более новые модели игнорируют устаревшее пользовательское значение до сохранения настройки для конкретной модели.

Ещё один способ — переменная окружения CLAUDE_CODE_EFFORT_LEVEL.

Согласно справочнику переменных окружения, она имеет приоритет над --effort, /effort, modelSettings и effortLevel.

Если выбранный через /effort или --effort уровень не применяется, сначала проверьте, задана ли CLAUDE_CODE_EFFORT_LEVEL. Уберите переопределение, если хотите управлять effort через команду или параметр запуска.

Для обычных сравнений удобнее использовать /effort или --effort. Флаг действует в одном сеансе, а сохранённый интерактивный выбор может применяться и при следующих запусках.

Claude Code сохраняет max только на текущий сеанс, если этот уровень не задан явно через переменную окружения.

В Enterprise администратор также может ограничить максимальный effort. Если вы запросите уровень выше разрешённого, Claude Code применит установленный предел.

Другие параметры подключения и проверки модели описаны в руководстве по Claude Fable 5.2 для Claude Code и API.

Как сравнить effort на собственном репозитории

Возьмите типичную задачу с понятными критериями приёмки.

Например, попросите агента найти причину падения теста парсера, внести минимальное исправление, запустить нужные тесты и перечислить изменённые файлы.

Сначала выполните задачу с Fable 5.2 high.

Зафиксируйте результат тестов, факт принятия или отклонения правки, время выполнения, стоимость API и возможные тайм-ауты или переключения на fallback-модель.

Затем повторите задачу на medium и xhigh, каждый раз возвращая репозиторий к одному исходному состоянию.

Не меняйте между попытками права на инструменты, команды проверки, версию репозитория и ограничение времени.

Оцените четыре показателя:

  1. Прошло ли изменение тесты и проверку кода?
  2. Помог ли более высокий effort избежать отклонения правки или повторного запуска?
  3. Успел ли агент закончить работу до установленного срока?
  4. Оправдало ли улучшение дополнительные расходы на API?

Для команды лучше использовать несколько характерных задач из каждой категории. Один успешный запуск не позволяет надёжно выбрать настройку для всего проекта.

Считайте полную стоимость одного принятого результата, включая неудачные попытки и повторы. Время ручной проверки и инфраструктурные расходы учитывайте отдельно от платы за API.

Так вы получите показатель, который полезнее для бюджета, чем простое деление стоимости задачи на баллы публичного бенчмарка.

Меняется ли рекомендация при использовании другого API-провайдера?

Рекомендацию начинать с high можно проверить и на другом API-маршруте. Но переносить опубликованные расходы за задачу без проверки нельзя.

По состоянию на 2026-11-15 в каталоге моделей BetterToken представлены claude-fable-5-2, claude-opus-5-5, gpt-6.1-sol и kimi-k3.1-pro для доступа с оплатой по мере использования.

В инструкции BetterToken по Claude Code указан Anthropic-совместимый Base URL https://bettertoken.ai, без /v1.

Подключение через BetterToken относится только к его API. Оно не предоставляет доступ к сторонним сайтам, учётным записям Anthropic, установщикам или обновлениям Claude Code. Такой API-доступ не заменяет подписку Claude и не включает её эксклюзивные функции.

Маршрутизация, попадания в кэш и поддержка отдельных возможностей API могут влиять на фактическую стоимость и поведение агента.

Поэтому перед переносом результатов Artificial Analysis на другой маршрут проверьте поддержку effort и измерьте реальные списания за запросы.

Для повторяющихся задач с оплатой за токены начните с Fable 5.2 high. Снижайте effort там, где качество остаётся достаточным. Переходите на xhigh, только если измерили преимущество на сложных задачах.

Не делайте max настройкой по умолчанию только потому, что это самый высокий уровень. Для рабочего проекта важнее стоимость изменений, которые агент успевает завершить и которые проходят проверку.

Готовы оптимизировать LLM workflow?

Подключите единый API, управляйте ключами и контролируйте расходы на AI-модели в BetterToken.

Начать бесплатно