Artificial Analysis Coding Agent Index v2.0: цена задачи

По результатам Artificial Analysis Coding Agent Index v2.0 для смешанных задач разработки стоит начать со связки Codex + GPT-6.1 Sol (max), а при жёстком ограничении расходов на API — сначала проверить Codex + DeepSeek V4.1 Flash (max). Claude Code + Claude Opus 5.5 (max) имеет смысл включить в сравнение, когда ценность принятого результата оправдывает больший бюджет. Это рекомендации на основе бенчмарка: опубликованные суммы относятся к использованию API, а не к подпискам, и не гарантируют такую же стоимость ваших задач.

Основа сравнения — анонс Artificial Analysis от 23 октября; методология и актуальная таблица проверены по состоянию на 2026-10-25. Здесь оценивают модель вместе с оболочкой агента (agent harness) — приложением, которое управляет контекстом, инструментами, выполнением действий и обращениями к модели.

Четыре конфигурации для первого сравнения

Из этих четырёх вариантов GPT-6.1 Sol — наиболее разумная отправная точка для проверки качества и бюджета на смешанной нагрузке. DeepSeek заметно снижает расходы на API, а Opus даёт более высокий итоговый балл. Для выбора Astra нужен отдельный аргумент.

AA выделила следующие связки в анонсе. Все четыре оценивались с указанным в результатах уровнем рассуждений max.

Агент + модель	Балл индекса v2.0	Балл FrontierCode v1.1	Стоимость API на задачу
Codex + DeepSeek V4.1 Flash	47.3	52.6%	$0.39
Codex + GPT-6.1 Sol	54.1	49.4%	$1.50
Codex + GPT-6 Astra	54.7	49.3%	$7.04
Claude Code + Claude Opus 5.5	61.7	56.0%	$11.42

Это средние расходы в USD на нагрузке бенчмарка. По состоянию на 2026-10-25 в актуальном сравнении Claude Code и Codex указаны те же четыре суммы, хотя сами баллы на странице округлены.

Перед вами подборка, а не весь рейтинг и не полный набор лучших сочетаний цены и балла. В актуальной таблице есть и Codex + GPT-6 Luna (max): $0.16 на задачу при округлённом балле индекса 31. DeepSeek дешевле остальных трёх выделенных вариантов, но не всех протестированных конфигураций.

В рейтинге на момент анонса лидирует Opus. Следом идут Claude Code + Sonnet 5.5 (max) с 59.3 и Muse Code + Muse Wonder Full (max) с 58.9. Само место в таблице ещё не определяет, какая связка лучше подходит под ваши задачи и бюджет.

Выбирайте связку под конкретную работу

Решайте, какую конфигурацию пробовать первой, по результату в наиболее близкой к вашим задачам части бенчмарка. Итоговый индекс придаёт одинаковый вес трём видам работы. В вашем списке задач их соотношение, скорее всего, другое.

Поток правок в репозитории: сначала DeepSeek

Начните с Codex + DeepSeek V4.1 Flash, если нужно выполнять много правок с чёткими границами и каждую можно проверить тестами и ревью. Его результат на FrontierCode — 52.6%, выше, чем 49.4% у Sol и 49.3% у Astra, хотя общий индекс ниже.

Это основание попробовать недорогую обработку такого потока, а не доказательство её эффективности в продакшене. Выбор стоит пересмотреть, если отклонённые патчи, повторные попытки и ручные доработки съедают экономию на API.

Работа с кодом и терминалом: начните с Sol

Возьмите Codex + GPT-6.1 Sol за базовый вариант, если задачи чередуют изменение кода и работу с окружением разработки. По сравнению с DeepSeek он добавляет 6.8 балла индекса при доплате $1.11 за попытку на нагрузке бенчмарка.

В официальном сравнении округлённые результаты Terminal-Bench 4.0 составляют 53% у Sol и 28% у DeepSeek. Такой разрыв даёт основание первым проверить Sol на задачах с большим объёмом работы в терминале. Он не означает, что разница будет такой же при исправлении вашего CI или скриптов развёртывания. Выбирайте DeepSeek, если он достигает вашего порога приёмки при меньших совокупных расходах.

Если ошибка обходится дорого: сравните Opus с базовым вариантом

Проверьте Claude Code + Opus 5.5, когда цена неудовлетворительного результата выше дополнительных расходов на API. У этой связки самый высокий общий балл в анонсе — 61.7 — и лучший результат FrontierCode среди рассматриваемых четырёх вариантов: 56.0%.

При $11.42 за попытку на бенчмарке она примерно в 7.61 раза дороже Sol с его $1.50. Оставляйте Opus для конкретной категории задач, только если собственное сравнение покажет достаточный выигрыш по числу принятых изменений, времени ревью или количеству повторных попыток.

Переход на Astra: сначала подтвердите пользу на своих задачах

Не переходите с Sol на Astra только ради роста индекса с 54.1 до 54.7. Опубликованная стоимость увеличивается с $1.50 до $7.04: примерно в 4.69 раза за дополнительные 0.6 балла.

При этом Astra может оказаться сильнее на определённом наборе задач. Например, его округлённый результат Terminal-Bench — 56% против 53% у Sol. Начните с Sol и выбирайте Astra, когда увидите преимущество, существенное именно для вашей работы. Небольшая разница в общем индексе сама по себе этого не доказывает.

Как оценить бюджет и не принять баллы за долю успешных решений

Умножайте опубликованную стоимость на число попыток и считайте результат оценкой, зависящей от нагрузки. Нельзя умножить число задач на процент индекса и назвать полученное число количеством готовых исправлений.

Для примера возьмём 1,000 попыток с тем же составом задач, что у AA, и неизменными средними расходами на токены:

Конфигурация	Оценка расходов на API за 1,000 попыток
Codex + DeepSeek V4.1 Flash	$390
Codex + GPT-6.1 Sol	$1,500
Codex + GPT-6 Astra	$7,040
Claude Code + Opus 5.5	$11,420

Расчёт прост: число попыток умножается на опубликованную среднюю стоимость одной попытки — attempts × reported mean API cost per attempt. В эти оценки не входят инфраструктура, платные внешние инструменты и ручное ревью. Это не бюджет на 1,000 принятых запросов на слияние изменений (pull request).

Для расчёта стоимости одного балла индекса используйте опубликованную шкалу 0–100:

• DeepSeek: $0.39 / 47.3 ≈ $0.00825 на балл индекса.
• Sol: $1.50 / 54.1 ≈ $0.02773 на балл индекса.
• Astra: $7.04 / 54.7 ≈ $0.12870 на балл индекса.
• Opus: $11.42 / 61.7 ≈ $0.18509 на балл индекса.

Это отношение описывает конкретный срез результатов, но не стоимость успешно решённой задачи. Индекс объединяет разные системы оценки, а веса его компонентов отличаются от способа усреднения расходов. Низкое отношение цены к баллу может оказаться и у дешёвой конфигурации, качество которой не достигает вашего минимального порога.

Чтобы принять решение о расходах, на собственном наборе задач считайте общие затраты, разделённые на число принятых результатов. В числитель включайте и расходы на неудачные попытки, и повторные запуски с более сильной конфигурацией.

Что изменилось в Coding Agent Index v2.0?

В версии 2.0 заменили компонент, оценивающий изменения кода, и пересмотрели проверку ответов на вопросы о репозиториях. Terminal-Bench 4.0 остался без изменений относительно индекса v1.5.

В опубликованной методологии указаны следующие компоненты:

Компонент	Задач	Что проверяет	Как оценивается
FrontierCode v1.1 Main	100	Изменения в реальных репозиториях	Ноль при провале обязательной проверки; иначе 70–100%
Terminal-Bench 4.0	66	Выполнение задач через терминал	Набор тестов пройден или не пройден
SWE-Atlas-QnA-AA	124	Ответы на вопросы о поведении кода в репозитории	Задача засчитывается только при выполнении всех критериев

Всего получается 290 отдельных задач. AA выполняет по три попытки на задачу и усредняет их результаты, а не выбирает лучшую из трёх. Затем три оценки по бенчмаркам усредняются с одинаковым весом.

Поэтому компонент со 124 вопросами не влияет на итог сильнее, чем компонент с 66 терминальными задачами. И балл 61.7 не означает, что агент выполнит 61.7% обычных задач разработки.

FrontierCode оценивает соответствие требованиям мейнтейнера

FrontierCode заменяет DeepSWE v1.1 и включает качество кода в итоговую оценку. Бенчмарк Cognition проверяет, соответствует ли изменение требованиям мейнтейнера — разработчика, который сопровождает репозиторий. Важны и границы изменений, и качество кода, а не только функциональная корректность.

AA использует закрытый набор Main из 100 задач. Невыполнение хотя бы одного обязательного требования даёт ноль. Если все обязательные проверки пройдены, результат находится в диапазоне 70–100% и зависит от остальных критериев.

Доступ к интернету сохраняется. По правилам допустимого использования интернета в FrontierCode 1.1 читать документацию можно, а получение материалов с готовым решением может обнулить попытку. AA применяет модифицированную версию сканера Cognition и присваивает ноль попыткам, которые он пометил как нарушающие эти правила.

Закрытый набор задач уменьшает риск попадания тестовых материалов в обучение. Но это не означает, что исходное решение из репозитория нельзя найти в интернете.

SWE-Atlas-QnA-AA меняет модель-судью и формулировки критериев

Вопросы о репозиториях остались прежними, а правила их проверки изменились. AA сохранила 124 задачи и 1,306 критериев, переформулировала 127 критериев и выбрала GPT-6 Luna в режиме xhigh в качестве модели-судьи. Для каждого критерия собирается пять голосов.

В опубликованном датасете и конфигурации проверки указано, что решение по каждому критерию принимается большинством голосов. Для зачёта задачи по-прежнему нужно пройти все критерии: даже технически правдоподобный ответ может не засчитаться, если в нём пропущена одна обязательная деталь.

По словам AA, изменения делают вердикты более согласованными. Для сравнения результатов главное другое: новый балл относится к обновлённой системе проверки, а не к прежнему сочетанию критериев и модели-судьи.

Почему снижение баллов не доказывает, что модели стали хуже

Между версиями индекса изменилась сама оценка, поэтому падение баллов нельзя трактовать как ухудшение тех же моделей. Сначала сравнивайте конфигурации внутри v2.0 и только потом сопоставляйте их числа со старым индексом.

В официальной ветке анонса AA сообщает: средний индекс для 21 конфигурации, присутствующей в обеих версиях, снизился с 54.8 до 47.4. Снижение произошло у 20 из 21. На DeepSWE v1.1 эти же конфигурации в среднем набирали 65.6%, а на пришедшем ему на смену FrontierCode v1.1 — 45.1%.

Средний результат по вопросам о репозиториях тоже снизился: с 58.8% до 57.1%; баллы упали у 14 из 21 конфигурации. Terminal-Bench не менялся. При равных весах компонентов эти опубликованные изменения объясняют общее снижение на 7.4 балла:

((45.1 - 65.6) + (57.1 - 58.8) + 0) / 3 = -7.4

Теперь используется другая шкала измерения. Меняется и соотношение результатов: более строгая проверка не отнимает у всех конфигураций одинаковое число баллов.

Что входит в стоимость API и что остаётся за её пределами

Метрика расходов AA учитывает оплату токенов, включая кэширование там, где оно поддерживается. В ней нет стоимости подписки Claude или ChatGPT и полного объёма инженерной работы, необходимой для выпуска изменения.

В разделах стоимости и использования токенов разделены некэшированный ввод, ввод из кэша, запись в кэш и вывод. На публичной странице также доступны распределение токенов по типам и доля попаданий в кэш. Если считать, что каждый входной токен оплачивается по полной цене без кэширования, получится другой расчёт.

Средняя стоимость считается по совокупности попыток, тогда как в итоговом индексе каждый из трёх бенчмарков имеет одинаковый вес. При отсутствии телеметрии AA исключает соответствующее наблюдение из среднего показателя эффективности, а не подставляет ноль. Поэтому деление расходов на балл индекса не даёт стоимость решённой задачи.

Ваши расходы могут измениться из-за размера контекста, повторных попыток, уровня рассуждений и работы кэша у провайдера. Другой API endpoint — адрес подключения к сервису — или другая оболочка агента способны изменить результат сравнения, даже если название модели выглядит знакомо.

Также не смешивайте эти данные с отдельной оценкой моделей на FrontierCode у AA: там используется оболочка Stirrup. Её результаты нельзя подставлять вместо баллов конфигураций Claude Code и Codex из таблицы выше.

Как сравнить две конфигурации на своём репозитории

Прежде чем направлять весь поток задач одной из связок, проверьте обе по одинаковым критериям приёмки. Цель небольшого пилота — выбрать вариант для своего типа задач, а не заявить о воспроизведении закрытого бенчмарка AA.

1. Подберите характерные задачи. Начните с десяти реальных задач того типа, который хотите автоматизировать. До запуска агентов запишите ожидаемое поведение и допустимые границы изменений.
2. Зафиксируйте одинаковые исходные условия. Используйте один и тот же коммит репозитория, текст задания, доступные инструменты и разрешения. Запишите версию CLI, точный ID или ревизию модели, уровень рассуждений и провайдера, через которого идут запросы.
3. Запускайте конфигурации независимо. Каждую попытку начинайте с чистой рабочей копии и нового сеанса. Учитывайте неудачные попытки и повторные запуски, а не только самый удачный патч.
4. Проверьте пригодность результата. Для изменений кода запустите относящиеся к ним тесты и оцените корректность, соблюдение границ задачи и удобство сопровождения. Для вопросов о репозитории сверьте объяснение с кодом и, если это требуется, с фактическими результатами выполнения.
5. Сопоставьте принятые результаты и все расходы. Учитывайте оплату API, внешних инструментов и вычислительных ресурсов, а время ревью переведите в деньги по выбранной командой часовой ставке. Разделите общие затраты на число принятых результатов. Если сравниваете доступ по подписке, отдельно зафиксируйте её стоимость и доплаты за превышение включённых лимитов.

У DeepSeek особенно важно проверить, какая именно версия модели стоит за именем в API. По состоянию на 2026-10-25 документация собственного API DeepSeek указывает имя deepseek-flash, запросы к которому обслуживает DeepSeek-V4.1-Flash-1017. Короткая подпись в рейтинге сама по себе не доказывает, что новый запрос попадёт на ту же версию, которую оценивала AA.

Если проводите пилот через BetterToken, используйте отдельные инструкции подключения API для Codex и Claude Code и измеряйте расходы именно при таком подключении. Такой API-доступ существует отдельно от подписок на приложения вендоров. Условия доступа к endpoint BetterToken не распространяются на сторонние сайты, скачивание клиентов, вход в аккаунты и обновления.

Оставляйте более дешёвую конфигурацию там, где она достигает вашего порога приёмки. Используйте более сильную для тех категорий задач, где дополнительные расходы оправданы более качественными результатами, прошедшими приёмку, или меньшим объёмом ручного ревью.