MaxxBench: какие модели для кода учитывают новые требования
MaxxBench меняет 89 задач DeepSWE, чтобы проверить адаптацию моделей. Сравните исходные 12 конфигураций и уровни рассуждений, разберите ошибки из-за догадок о скрытых тестах, выберите способ доступа и проверьте одно изменённое требование в своём репозитории.
Содержание

MaxxBench полезен разработчикам, чей агент игнорирует изменённое требование, хотя по баллам DeepSWE почти не уступает другим моделям. Для таких задач сначала сравните Claude Opus 5.5 и GPT-6 Astra, опираясь на результаты unLAP. Прежде чем менять модель по умолчанию, проверьте обе на одном изменённом требовании в своём репозитории.
Какие модели проверить в первую очередь?
В опубликованном сравнении лидирует Claude Opus 5.5, за ним идут GPT-6 Astra и GPT-5.6 Sol. Это ориентир для задач, где важно точно соблюдать спецификацию, а не гарантия результата в вашем инструменте.
Ниже сохранено исходное сравнение 12 конфигураций. По состоянию на 2026-11-16 актуальная таблица исследования уже включает 17 конфигураций. Оценки взяты из таблицы исследования, а настройки уровня рассуждений — из рейтинга MaxxBench.
| Модель | Уровень рассуждений | Опубликованный результат DeepSWE | MaxxBench |
|---|---|---|---|
| Claude Opus 5.5 | max | 74.2% | 76.4% |
| GPT-6 Astra | xhigh | 74.1% | 71.9% |
| GPT-5.6 Sol | max | 72.7% | 69.1% |
| Claude Fable 5 | xhigh | 69.9% | 63.5% |
| Claude Opus 5 | max | 73.6% | 63.5% |
| GLM-5.3 | max | 69.0% | 56.7% |
| DeepSeek V4.1 Flash | max | 74.2% | 55.6% |
| GLM-5.3 Flash | max | 63.4% | 55.1% |
| Gemini 3.8 Flash | high | 73.8% | 53.4% |
| GPT-5.6 Luna | max | 67.2% | 46.1% |
| Muse Spark 1.2 | xhigh | 54.9% | 38.8% |
| DeepSeek V4 Flash | max | 53.3% | 28.1% |
Для этих 12 конфигураций разброс результатов вырос с 20.9 процентного пункта на DeepSWE до 48.3 на MaxxBench. Шесть конфигураций, прежде укладывавшихся в 1.5 пункта, разошлись на 23.0 пункта. Только Opus 5.5 улучшил результат; Astra и Sol потеряли 2.2 и 3.6 пункта.
Если требования часто меняются, начните со сравнения Opus 5.5 и Astra. Выбирайте Astra, если она проходит те же приёмочные проверки быстрее или с меньшими общими затратами.
Для ограниченных по объёму правок с хорошими тестами можно оставить модель Flash, если она проходит ваши проверки с приемлемыми общими затратами. Результаты DeepSeek V4.1 Flash (55.6%) и Gemini 3.8 Flash (53.4%) не позволяют уверенно выбрать победителя для вашего репозитория. Учитывайте повторные попытки и время проверки кода, а не только цену токенов. Этому посвящён разбор стоимости задачи по Coding Agent Index.
Не смешивайте версии моделей. В актуальном рейтинге отдельно указан DeepSeek V4.1 Flash 1017; выше приведён результат более ранней версии. Прежде чем сопоставлять название в бенчмарке с моделью в API, прочитайте руководство по версиям DeepSeek Flash для работы с кодом.
Что именно меняет MaxxBench?
В MaxxBench изменены инструкции или исходный код 89 задач DeepSWE, но основная инженерная задача остаётся прежней. unLAP обновляет эталонное решение и тесты, сохраняя проверки поведения, которое не должно измениться.
Одна задача требует отдельных отчётов для каждого браузера. MaxxBench добавляет требование к регистру имён: Chrome.xml должен стать chrome.xml, а отчёты должны работать как прежде. Полная спецификация есть в опубликованной задаче Testem.
В другой задаче для маршрутов FastAPI задают даты вывода из эксплуатации. Новое требование задаёт временные метки UTC с завершающим Z вместо сохранения исходного смещения часового пояса.
Медианный прирост эталонного патча составляет 17 строк, или 3.5%. Это дополнительные изменения, а не весь объём работы над функцией. Опубликованный инструмент запуска тестов требует прохождения всех обязательных функциональных и регрессионных тестов.
Почему агент понимает требование, но всё равно ошибается?
Разбор действий агентов unLAP показал: догадки о скрытых тестах иногда перевешивают явно заданные требования. В приведённых примерах агент верно описывает задачу, но итоговый код делает другое.
В задаче для ytt GLM-5.3 заметила риск потери точности при преобразовании uint64 в float64. Но модель предположила, что достаточно большие числа не попадут в тесты. Проверка значения 2^53 + 1 завершилась неудачей.
Если взять вместе сбои Opus 5, GLM-5.3 и GLM-5.3 Flash на изменённых проверках, примерно четверть следовала одному сценарию. Агент понимал новое требование, но затем возвращался к исходному поведению. По отдельной классификации unLAP, догадки о тестах способствовали 16.7% неудачных попыток у Opus 5.5, 30.8% у Opus 5 и 40.3% у GLM-5.3.
Эти доли относятся к сбоям, разобранным исследователями, а не ко всем запросам или частоте ошибок в вашем приложении. Анализ действий агентов показывает, почему следует проверять итоговое поведение, а не считать верное объяснение доказательством.
Какой способ доступа выбрать для проверки?
Сначала используйте существующий аккаунт, если он соответствует условиям доступа и уже позволяет вызвать нужную модель. Для проверки Opus по состоянию на 2026-11-16 есть следующие варианты.
| Способ | Условия и оплата | Когда выбрать |
|---|---|---|
| Подписка с доступом к Claude Code | Ваш аккаунт claude.ai и подходящий платный тариф. Убедитесь, что модель доступна, а лимит использования не исчерпан. Для покупки подписки на сайте нужна кредитная или дебетовая карта. | Вы уже пользуетесь инструментом и хотите проверить именно эту конфигурацию. |
| Anthropic API | Аккаунт Console, ключ API и средства на оплату запросов. Большинство организаций используют предоплаченные кредиты. Входные, выходные и кэшированные токены оплачиваются по разным правилам. Принимаются кредитные и дебетовые карты. | Вам нужен прямой доступ к API поставщика с отдельным учётом использования. |
| BetterToken | Свой аккаунт, ключ API и баланс; списания по тарифу модели. По данным BetterToken на 16 ноября 2026 года, поддерживается оплата в рублях, а доступ к его API из России обычно не требует VPN. Подключайте инструмент по соответствующей инструкции. | Вы хотите обращаться к доступным моделям через отдельного API-провайдера и платить за фактическое использование. |
Условие «без VPN» относится только к API BetterToken. Оно не распространяется на сторонние сайты, скачивание клиентов, вход в аккаунты и обновления. Способы оплаты, доступные карты, минимальную сумму, курс, комиссии и сроки зачисления проверяйте в консоли перед платежом.
Для выбранного официального способа проверьте страны и регионы доступа к Claude или регионы Anthropic API. Anthropic отдельно описывает авторизацию в Claude Code и оплату через Console.
Как проверить Opus 5.5 через BetterToken в Claude Code
По состоянию на 2026-11-16 в BetterToken доступны claude-opus-5-5 и claude-opus-5. Это отдельный способ подключения Claude Code через API, а не подписка Claude.ai. Прежде чем запускать больше задач, проверьте актуальные цены.
Установите Claude Code и создайте собственный ключ в консоли BetterToken. В инструкции подключения Claude Code указан базовый адрес https://bettertoken.ai без /v1.
Выполните команды в Bash:
read -rs BETTERTOKEN_API_KEY && export BETTERTOKEN_API_KEY
export ANTHROPIC_BASE_URL="https://bettertoken.ai"
export ANTHROPIC_AUTH_TOKEN="$BETTERTOKEN_API_KEY"
export ANTHROPIC_MODEL="claude-opus-5-5"
claude -p "Reply with only: OK"
Когда первая команда начнёт ждать ввода, вставьте ключ из консоли и нажмите Enter. Ключ не отображается при вводе и не попадает в историю команд.
Ответ OK подтверждает подключение. В консоли проверьте запись запроса, модель, расход токенов и списание. Затем запустите claude в рабочей копии репозитория для проверки. Чтобы сравнить с Opus 5, перед новой сессией задайте ANTHROPIC_MODEL значение claude-opus-5.
При 401 проверьте токен. Если в текущей оболочке задан конфликтующий ANTHROPIC_API_KEY, уберите его из окружения. В интерактивной сессии команда /status должна показать базовый адрес BetterToken и ANTHROPIC_AUTH_TOKEN. Если запросы идут не туда, проверьте конфликтующие настройки и перезапустите Claude Code.
Как проверить изменение требования в своём репозитории?
Возьмите уже реализованную функцию и измените одно требование, результат которого можно проверить. Это локальный способ выбрать модель, а не воспроизведение MaxxBench.
Зафиксируйте чистое исходное состояние репозитория и запустите относящиеся к задаче существующие тесты. Напишите новый приёмочный тест до того, как поручите агенту менять код. Убедитесь, что исходная версия не проходит его именно из-за ещё не выполненного требования.
Для каждой модели подготовьте одинаковую рабочую копию и начните новую сессию. Не меняйте версию инструмента, разрешения, зависимости и текст задания. Запишите ID модели и уровень рассуждений; не считайте max, xhigh и high равными по бюджету.
Для репозитория, который уже создаёт отдельные отчёты по браузерам, подойдёт такой запрос:
Goal: Make per-browser report filenames lowercase.
Allowed scope: Report filename generation and its focused tests.
Preserve: Report contents, separate files for each browser, and existing filename escaping.
Acceptance: Chrome produces chrome.xml. Firefox produces firefox.xml. Existing reporting tests still pass.
Verification: Add focused tests, implement the change, and run the repository's reporting tests. Report the exact test command, its result, and changed files. Stop when these checks pass.
Самостоятельно запустите приёмочные проверки и проверьте созданные файлы. Не принимайте патч, если новый тест проходит, но прежнее поведение отчётов сломано. Верное объяснение без нужного результата тоже считайте неудачной попыткой.
Фиксируйте ошибки, повторные попытки, общее время, расходы на вызовы модели и время проверки кода. Разделите все расходы на вызовы модели, включая повторы, на число изменений, прошедших все приёмочные проверки. Время ручной проверки учитывайте отдельно.
Одно успешное переименование — лишь первичная проверка. Прежде чем выбирать модель для всей команды, повторите опыт на типичных изменениях из своей очереди задач. Оставляйте более дешёвую модель, пока результат соответствует критериям приёмки; иначе передавайте задачу более сильному кандидату.
Каких выводов эти оценки не позволяют сделать?
Разрыв в баллах — повод проверить, как модели адаптируются, а не измеренная доля запомненных решений. В наборе DeepSWE от Datacurve 113 задач; MaxxBench изменяет 89 из них. unLAP также переработала эталонные решения и тесты. Поэтому по опубликованным колонкам «до» и «после» нельзя отделить влияние изменённых требований от остальных различий.
Результаты публикуют сами авторы бенчмарка, причём модели используют разные уровни рассуждений. Небольшое преимущество нельзя считать статистически убедительным без повторных запусков в сопоставимых условиях. Рост Opus 5.5 на 2.2 пункта также не доказывает, что изменение требований улучшает способности модели.
Локальная проверка в Claude Code оценивает не ту конфигурацию агента, которую использовали в опубликованных запусках через mini-swe-agent. Её результат поможет выбрать инструмент и модель для вашего репозитория, но не подтвердит воспроизведение рейтинга.