MaxxBench: 변경된 요구사항을 따르는 코딩 모델은?
MaxxBench는 DeepSWE 과제 89개를 변경해 모델의 적응력을 평가합니다. 초기 12개 구성과 추론 설정을 비교하고, 숨겨진 테스트를 추측하다 발생한 실패를 살펴봅니다. 접속 방법을 선택하고 자신의 저장소에서 요구사항 하나를 변경해 검증하는 절차를 설명합니다.
목차

MaxxBench는 DeepSWE 점수가 비슷해 코딩 에이전트를 서로 바꿔 써도 될 것 같지만, 실제로는 요구사항 변경을 무시하는 에이전트 때문에 고민할 때 유용합니다. 이런 작업에는 unLAP의 발표 결과를 바탕으로 Claude Opus 5.5와 GPT-6 Astra를 먼저 비교합니다. 기본 모델을 바꾸기 전에 자신의 저장소에서 요구사항 하나를 변경해 두 모델을 시험합니다.
어떤 모델을 먼저 시험해야 합니까?
발표된 비교에서는 Claude Opus 5.5가 앞서고, GPT-6 Astra와 GPT-5.6 Sol이 뒤를 잇습니다. 명세를 정확히 지켜야 하는 작업에서 후보를 추리는 기준으로 활용합니다. 사용하는 코딩 도구에서도 같은 결과가 나온다는 보장은 아닙니다.
아래 표는 초기 12개 구성의 비교를 유지합니다. 2026-11-16 기준 연구 페이지의 비교 대상은 17개 구성입니다. 점수는 연구의 비교표에서, 추론 강도 설정은 MaxxBench 순위표에서 가져왔습니다.
| 모델 | 추론 강도 | 발표된 DeepSWE 점수 | MaxxBench |
|---|---|---|---|
| Claude Opus 5.5 | max | 74.2% | 76.4% |
| GPT-6 Astra | xhigh | 74.1% | 71.9% |
| GPT-5.6 Sol | max | 72.7% | 69.1% |
| Claude Fable 5 | xhigh | 69.9% | 63.5% |
| Claude Opus 5 | max | 73.6% | 63.5% |
| GLM-5.3 | max | 69.0% | 56.7% |
| DeepSeek V4.1 Flash | max | 74.2% | 55.6% |
| GLM-5.3 Flash | max | 63.4% | 55.1% |
| Gemini 3.8 Flash | high | 73.8% | 53.4% |
| GPT-5.6 Luna | max | 67.2% | 46.1% |
| Muse Spark 1.2 | xhigh | 54.9% | 38.8% |
| DeepSeek V4 Flash | max | 53.3% | 28.1% |
이 12개 구성에서 최고점과 최저점의 차이는 DeepSWE의 20.9퍼센트포인트에서 MaxxBench의 48.3퍼센트포인트로 커졌습니다. 원래 1.5포인트 이내에 모여 있던 여섯 구성은 23.0포인트 차이로 벌어졌습니다. 점수가 오른 모델은 Opus 5.5뿐이며, Astra와 Sol은 각각 2.2포인트와 3.6포인트 하락했습니다.
요구사항이 자주 바뀌는 작업이라면 Opus 5.5와 Astra를 비교합니다. 실제 시험에서 Astra가 같은 인수 기준을 충족하면서 총소요 시간이나 비용이 더 적다면 Astra를 선택합니다.
변경 범위가 한정되어 있고 테스트가 충분한 작업에서는, 허용할 만한 총비용으로 검사를 통과하는 Flash 모델을 계속 사용할 수 있습니다. DeepSeek V4.1 Flash의 55.6%와 Gemini 3.8 Flash의 53.4%만으로 자신의 저장소에 적합한 모델을 확실하게 고를 수는 없습니다. 토큰 가격뿐 아니라 재시도와 코드 검토 시간도 비교합니다. 비용에 따른 선택은 Coding Agent Index의 작업당 비용 가이드에서 별도로 다룹니다.
모델 버전은 구분해야 합니다. 현재 순위표에는 DeepSeek V4.1 Flash 1017이 별도 항목으로 있지만, 위 표는 이전 DeepSeek 결과를 사용합니다. 벤치마크의 이름을 API 모델과 연결하기 전에 DeepSeek Flash 버전 및 코딩 가이드를 확인합니다.
MaxxBench는 무엇을 바꿉니까?
MaxxBench는 DeepSWE 과제 89개의 지시사항이나 시작 코드를 바꾸되, 핵심 엔지니어링 문제는 유지합니다. unLAP은 참조 구현과 테스트를 수정하면서 그대로 유지해야 하는 동작의 검사도 남겨 둡니다.
한 과제에서는 브라우저별 보고서를 따로 만들어야 합니다. MaxxBench는 파일 이름을 소문자로 만들라는 요구사항을 추가합니다. 보고서 기능은 계속 작동하면서 Chrome.xml이 chrome.xml로 바뀌어야 합니다. 전체 명세는 공개된 Testem 과제에서 확인합니다.
다른 과제에서는 FastAPI 라우트에 사용 종료 날짜를 추가합니다. 변경된 요구사항은 입력된 시간대 오프셋을 유지하는 대신, 끝에 Z가 붙는 UTC 타임스탬프를 사용하도록 합니다.
참조 패치의 증가량 중앙값은 17줄, 즉 3.5%입니다. 이는 패치에 추가된 변경량이며, 기능 전체를 구현하는 데 필요한 작업량은 아닙니다. 공개된 실행 도구는 필요한 기능 테스트와 회귀 테스트를 모두 통과하도록 요구합니다.
요구사항을 이해하고도 실패하는 이유는 무엇입니까?
unLAP은 실행 기록을 검토하면서, 숨겨진 테스트에 대한 추측이 명시된 요구사항보다 우선하는 사례를 발견했습니다. 발표된 사례에서는 에이전트의 설명과 제출한 코드가 일치하지 않았습니다.
ytt 과제에서 GLM-5.3은 uint64 값을 float64로 바꾸면 정밀도가 손실될 수 있음을 알아차렸습니다. 그런데도 충분히 큰 값은 테스트하지 않을 것이라고 가정했습니다. 검증기가 2^53 + 1을 검사하자 해당 실행은 실패했습니다.
Opus 5, GLM-5.3, GLM-5.3 Flash를 합쳐 보면, 변경된 검사에서 발생한 실패 중 약 4분의 1이 같은 양상을 보였습니다. 에이전트가 새 요구사항을 이해한 뒤에도 원래 동작으로 되돌아간 것입니다. 별도로 unLAP은 테스트에 대한 추측이 Opus 5.5 실패의 16.7%, Opus 5 실패의 30.8%, GLM-5.3 실패의 40.3%에 영향을 주었다고 분류했습니다.
이 비율은 연구자가 분류한 실패 중의 비율입니다. 전체 요청에서의 비율이나 실제 운영 환경의 실패율이 아닙니다. 실행 기록 분석은 올바른 설명을 증거로 받아들이기보다 최종 동작을 직접 확인해야 하는 이유를 보여 줍니다.
시험할 때 어떤 접속 방법을 선택해야 합니까?
이미 가진 계정이 이용 조건을 충족하고 후보 모델을 제공한다면 그 계정부터 사용합니다. Opus를 시험할 수 있는 2026-11-16 기준 선택지는 다음과 같습니다.
| 접속 방법 | 필요 조건과 과금 | 선택할 상황 |
|---|---|---|
| Claude Code를 이용할 수 있는 구독 | 자신의 claude.ai 계정과 지원되는 유료 요금제가 필요합니다. 후보 모델을 사용할 수 있고 사용 한도가 남아 있는지 확인합니다. 웹에서 구독하려면 신용카드나 직불카드가 필요합니다. | 이미 도구를 사용하며 그 구성 전체를 평가하려는 경우입니다. |
| Anthropic API | Console 계정, API 인증 정보, 사용료를 지불할 자금이 필요합니다. 대부분의 조직은 선불 크레딧을 사용합니다. 입력·출력·캐시 토큰에는 서로 다른 과금 규칙이 적용됩니다. 신용카드와 직불카드를 받습니다. | 모델 제공업체의 API를 직접 사용하고 사용량을 별도로 측정하려는 경우입니다. |
| BetterToken | 자신의 계정, API 키, 잔액이 필요하며 모델별 사용 요금이 적용됩니다. 콘솔에서 결제 수단을 확인하고 도구별로 문서에 안내된 연동 방법을 사용합니다. | 별도 API 제공업체를 통해 목록에 있는 모델을 사용하고 사용량만큼 결제하려는 경우입니다. |
선택한 공식 접속 방법에 따라 Claude 지원 지역 또는 Anthropic API 지원 지역을 확인합니다. Anthropic은 Claude Code 인증과 Console 결제를 별도 문서로 안내합니다.
Claude Code에서 BetterToken으로 Opus 5.5 시험하기
2026-11-16 기준 BetterToken 목록에는 claude-opus-5-5와 claude-opus-5가 있습니다. 이 Claude Code용 API 접속 방식은 Claude.ai 구독과 별개입니다. 시험 범위를 늘리기 전에 현재 요금을 확인합니다.
Claude Code를 설치한 뒤 BetterToken 콘솔에서 자신의 키를 만듭니다. Claude Code 연동 문서에 안내된 기본 URL은 https://bettertoken.ai이며, /v1을 붙이지 않습니다.
Bash에서 다음을 실행합니다.
read -rs BETTERTOKEN_API_KEY && export BETTERTOKEN_API_KEY
export ANTHROPIC_BASE_URL="https://bettertoken.ai"
export ANTHROPIC_AUTH_TOKEN="$BETTERTOKEN_API_KEY"
export ANTHROPIC_MODEL="claude-opus-5-5"
claude -p "Reply with only: OK"
첫 번째 명령이 입력을 기다리면 콘솔에서 만든 키를 붙여 넣고 Enter를 누릅니다. 입력한 값은 화면에 표시되지 않고 셸 명령 기록에도 저장되지 않습니다.
OK 응답으로 연결을 확인합니다. 콘솔에서 요청, 모델, 토큰 사용량, 청구 금액을 확인합니다. 이어서 시험용 작업 사본에서 claude를 실행합니다. Opus 5와 비교하려면 새 세션을 시작하기 전에 ANTHROPIC_MODEL을 claude-opus-5로 설정합니다.
401이 발생하면 토큰을 확인하고, 충돌하는 ANTHROPIC_API_KEY가 있다면 해당 셸 환경에서 제거합니다. 대화형 세션의 /status에는 BetterToken 기본 URL과 ANTHROPIC_AUTH_TOKEN이 표시되어야 합니다. 요청이 잘못된 곳으로 향한다면 충돌하는 설정을 확인하고 Claude Code를 다시 시작합니다.
자신의 저장소에서 요구사항 하나를 바꿔 검증하는 방법
저장소에 이미 구현된 기능을 골라 결과를 관찰할 수 있는 요구사항 하나를 변경합니다. 이는 자신의 환경에서 모델을 선택하기 위한 시험이며, MaxxBench 재현 실험은 아닙니다.
관련 없는 변경이 없는 초기 상태를 저장하고 해당 기능의 기존 테스트를 실행합니다. 에이전트에 코드 수정을 요청하기 전에 새 요구사항의 충족 여부를 판정할 인수 테스트를 작성합니다. 초기 코드가 의도한 이유로 새 테스트에 실패하는지 확인합니다.
각 후보에 동일한 작업 사본과 새 대화를 제공합니다. 도구 버전, 권한, 의존성, 작업 지시사항을 동일하게 유지합니다. 모델 ID와 추론 강도를 기록하며, max, xhigh, high가 같은 예산을 뜻한다고 가정하지 않습니다.
브라우저별 보고서를 이미 생성하는 저장소에서는 다음 프롬프트를 사용합니다.
Goal: Make per-browser report filenames lowercase.
Allowed scope: Report filename generation and its focused tests.
Preserve: Report contents, separate files for each browser, and existing filename escaping.
Acceptance: Chrome produces chrome.xml. Firefox produces firefox.xml. Existing reporting tests still pass.
Verification: Add focused tests, implement the change, and run the repository's reporting tests. Report the exact test command, its result, and changed files. Stop when these checks pass.
인수 테스트를 직접 실행하고 생성된 파일을 확인합니다. 새 테스트를 통과하더라도 기존 보고서 동작을 망가뜨리는 패치는 받아들이지 않습니다. 설명이 정확해도 필요한 결과물이 없으면 실패한 시도로 처리합니다.
실패, 재시도, 경과 시간, 모델 호출 비용, 코드 검토 시간을 기록합니다. 재시도를 포함한 전체 모델 호출 비용을 모든 인수 테스트를 통과한 변경 건수로 나눕니다. 사람이 검토한 시간은 별도로 기록합니다.
파일 이름을 한 번 성공적으로 바꾼 것은 기본 동작 확인에 불과합니다. 팀 전체에서 쓸 모델을 선택하기 전에 대기 중인 작업에서 대표적인 변경을 골라 같은 절차를 반복합니다. 저렴한 후보는 인수 기준을 충족하는 동안에만 유지하며, 기준을 충족하지 못하면 더 높은 성능의 후보로 작업을 넘깁니다.
점수에서 어떤 결론을 내리면 안 됩니까?
점수 차이는 요구사항 변경에 대한 적응력을 더 시험할 근거이지, 정답을 암기한 비율을 측정한 값은 아닙니다. Datacurve가 공개한 DeepSWE에는 과제 113개가 있고 MaxxBench는 89개를 변경합니다. unLAP은 참조 구현과 테스트도 수정했습니다. 따라서 발표된 변경 전후 점수에서 요구사항 변경만의 영향을 분리할 수는 없습니다.
이 결과는 벤치마크 제작자가 발표했으며, 모델마다 추론 강도 설정도 다릅니다. 조건을 맞춘 시험을 반복하지 않고 작은 격차를 통계적으로 결정적인 차이로 해석해서는 안 됩니다. Opus 5.5의 2.2포인트 상승 역시 요구사항을 바꾸면 모델의 능력이 높아진다는 증거가 아닙니다.
또한 Claude Code로 진행하는 로컬 시험은 공개된 mini-swe-agent 실행과 다른 에이전트 구성을 평가합니다. 결과는 자신의 저장소에서 사용할 도구와 모델 조합을 고르는 데 활용합니다. 공개 순위표를 재현했다고 주장하는 근거로 사용하지는 않습니다.