Artificial Analysis Coding Agent Index v2.0: 작업당 비용 비교

Artificial Analysis Coding Agent Index v2.0을 참고한다면, 여러 종류의 코딩 작업에는 Codex + GPT-6.1 Sol (max)부터 시작하고 API 예산이 가장 큰 제약일 때는 Codex + DeepSeek V4.1 Flash (max)를 먼저 시험해 보세요. 채택할 만한 변경을 얻기 위해 더 큰 예산을 쓸 수 있다면, 점수가 더 높은 Claude Code + Claude Opus 5.5 (max)를 비교 대상으로 삼으세요. 이는 작업 유형별 벤치마크 결과에 따른 권고이며, 달러 금액은 API 사용 비용이지 구독료나 실제 운영 환경에서 보장되는 비용은 아닙니다.

이 비교는 Artificial Analysis의 10월 23일 발표를 기준으로 하며, 방법론과 실시간 비교 페이지의 확인 기준일은 2026-10-25입니다. 비교 단위는 모델과 에이전트 하네스의 조합입니다. 하네스는 컨텍스트, 도구, 실행, 모델과의 상호작용을 관리하는 애플리케이션을 뜻합니다.

주요 네 가지 구성을 비교하세요

이 네 가지 중 여러 유형의 작업에 대한 성능과 예산을 함께 시험하기에는 GPT-6.1 Sol이 가장 유용한 출발점입니다. DeepSeek는 API 비용을 크게 낮추고 Opus는 종합 점수가 더 높습니다. Astra를 선택하려면 특정 작업에서 얻을 수 있는 이점이 필요합니다.

AA는 발표에서 아래 조합을 강조했습니다. 네 조합 모두 발표에 명시된 max 추론 설정을 사용합니다.

에이전트에서 사용하는 모델	Index v2.0 점수	FrontierCode v1.1 점수	작업당 API 비용
Codex에서 DeepSeek V4.1 Flash 사용	47.3	52.6%	$0.39
Codex에서 GPT-6.1 Sol 사용	54.1	49.4%	$1.50
Codex에서 GPT-6 Astra 사용	54.7	49.3%	$7.04
Claude Code에서 Claude Opus 5.5 사용	61.7	56.0%	$11.42

비용은 벤치마크 작업을 수행하는 데 든 평균값이며 단위는 USD입니다. 현재 Claude Code와 Codex의 비교 페이지에도 2026-10-25 기준으로 이 네 비용이 표시되어 있습니다. 다만 페이지에 표시되는 점수는 반올림한 값입니다.

이는 후보를 추린 목록입니다. 전체 순위표도 아니고, 비용과 성능 면에서 다른 구성에 밀리지 않는 모든 선택지를 담은 것도 아닙니다. 실시간 비교에는 작업당 $0.16, 반올림한 인덱스 점수 31인 Codex + GPT-6 Luna (max)도 있습니다. DeepSeek는 여기서 강조한 네 후보 중 가장 저렴하지만, 측정된 모든 구성 중 최저가는 아닙니다.

발표 당시 순위에서는 Opus가 선두였습니다. 그다음은 59.3을 기록한 Claude Code + Sonnet 5.5 (max), 58.9를 기록한 Muse Code + Muse Wonder Full (max)입니다. 순위가 높다는 사실만으로 자신의 작업과 지출 한도에 가장 적합한 선택이라고 판단할 수는 없습니다.

끝내야 할 작업을 기준으로 선택하세요

어느 조합을 먼저 시험할지는 해당 작업과 관련된 개별 벤치마크 점수로 결정하세요. 종합 인덱스는 서로 다른 세 종류의 작업에 같은 비중을 줍니다. 자신의 작업 목록에서는 비중이 다를 가능성이 큽니다.

반복적인 저장소 수정: DeepSeek부터 시험하세요

범위가 명확한 변경이 많고 각 결과를 테스트와 코드 검토로 확인할 수 있다면 Codex + DeepSeek V4.1 Flash부터 시작하세요. 종합 인덱스는 더 낮지만 FrontierCode 점수는 52.6%로, Sol의 49.4%와 Astra의 49.3%보다 높습니다.

이 결과는 여러 패치를 낮은 비용으로 처리하는 실험을 해 볼 근거가 됩니다. 실제 운영 환경에서도 같은 효과가 나온다는 입증은 아닙니다. 반려된 패치, 추가 시도, 검토자의 수정 작업이 API 절감액을 상쇄한다면 선택을 바꾸세요.

코딩과 터미널 작업을 함께 한다면 Sol부터 시작하세요

코드 수정과 개발 환경 조작을 번갈아 수행하는 작업에는 Codex + GPT-6.1 Sol을 초기 비교 기준으로 삼으세요. 벤치마크 시도당 $1.11이 더 들지만, 인덱스 점수는 DeepSeek보다 6.8점 높습니다.

공식 비교에서 반올림한 Terminal-Bench 4.0 점수는 Sol이 53%, DeepSeek가 28%입니다. 이 차이는 터미널 작업 비중이 높을 때 Sol을 먼저 시험할 근거가 됩니다. 자신의 CI 수정이나 배포 스크립트 작업에서도 같은 차이가 난다는 증거는 아닙니다. DeepSeek가 더 낮은 총비용으로 자체 채택 기준을 충족한다면 DeepSeek를 선택하세요.

실패 비용이 큰 작업: 기준 구성과 Opus를 비교하세요

미흡한 결과가 초래하는 손실이 추가 API 비용보다 크다면 Claude Code + Opus 5.5를 시험하세요. 발표된 종합 점수는 61.7로 가장 높으며, 이 네 후보 중 FrontierCode 점수도 56.0%로 가장 높습니다.

벤치마크 시도당 $11.42는 Sol의 $1.50보다 약 7.61배 높은 비용입니다. 자체 비교에서 채택되는 변경, 검토 시간 또는 재시도 측면의 개선이 추가 비용을 정당화할 만큼 클 때만 해당 작업 유형에 계속 사용하세요.

Astra를 검토한다면 작업별 이점을 확인하세요

인덱스 점수가 54.1에서 54.7로 오른다는 이유만으로 Sol에서 Astra로 바꾸지는 마세요. 발표된 비용은 $1.50에서 $7.04로 늘어납니다. 인덱스 0.6점을 더 얻기 위해 약 4.69배를 지출하는 셈입니다.

특정 작업 묶음에서는 Astra가 더 나을 수 있습니다. 예를 들어 반올림한 Terminal-Bench 점수는 Astra가 56%, Sol이 53%입니다. 먼저 Sol을 쓰고, 실제 업무에서 의미 있는 이점을 관찰한 뒤에 Astra로 전환하세요. 작은 종합 점수 차이만으로는 그 이점이 입증되지 않습니다.

점수를 성공률로 바꾸지 말고 예산을 계산하세요

발표된 비용에 시도 횟수를 곱하되, 결과는 작업 구성에 따라 달라지는 추정치로 취급하세요. 작업 수에 인덱스의 백분율을 곱한 뒤 완료된 수정 건수라고 부르면 안 됩니다.

AA와 같은 작업 비중을 유지하고 평균 토큰 비용도 변하지 않는다고 가정해, 예시로 1,000번 시도할 때의 비용을 계산하면 다음과 같습니다.

에이전트에서 사용하는 모델	1,000번 시도의 예상 API 비용
Codex에서 DeepSeek V4.1 Flash 사용	$390
Codex에서 GPT-6.1 Sol 사용	$1,500
Codex에서 GPT-6 Astra 사용	$7,040
Claude Code에서 Opus 5.5 사용	$11,420

계산식은 attempts × reported mean API cost per attempt, 즉 시도 횟수에 발표된 시도당 평균 API 비용을 곱하는 것입니다. 이 추정에는 인프라, 유료 외부 도구, 사람의 검토 비용이 포함되지 않습니다. 채택된 풀 리퀘스트 1,000건의 비용 추정도 아닙니다.

인덱스 1점당 비용을 계산하려면 공개된 인덱스의 0–100 척도를 사용하세요.

DeepSeek의 인덱스 1점당 비용: $0.39 / 47.3 ≈ $0.00825.
Sol의 인덱스 1점당 비용: $1.50 / 54.1 ≈ $0.02773.
Astra의 인덱스 1점당 비용: $7.04 / 54.7 ≈ $0.12870.
Opus의 인덱스 1점당 비용: $11.42 / 61.7 ≈ $0.18509.

이 비율은 해당 시점의 수치를 설명할 뿐, 작업 한 건을 성공시키는 비용은 아닙니다. 인덱스는 서로 다른 채점 체계를 결합하며, 벤치마크별 가중치도 비용 지표를 합산하는 방식과 다릅니다. 비율이 낮으면 저렴한 구성이 유리해 보일 수 있지만, 그 구성의 절대적인 성능은 자신이 정한 최소 기준에 못 미칠 수도 있습니다.

구매나 도입을 결정할 때는 자체 작업 집합에서 총지출을 채택된 결과 수로 나눈 값을 측정하세요. 분자에는 실패한 시도와 더 강한 구성으로 넘겨 다시 처리한 비용도 포함해야 합니다.

Coding Agent Index v2.0에서 무엇이 바뀌었나요?

버전 2.0은 소프트웨어 엔지니어링 항목을 교체하고 저장소 질의응답의 채점 방식을 바꿨습니다. Terminal-Bench 4.0은 인덱스 v1.5에서 사용하던 것과 동일합니다.

공개된 인덱스 방법론은 다음과 같이 구성되어 있습니다.

구성 항목	작업 수	측정 대상	채점 방식
FrontierCode v1.1 Main	100	실제 저장소의 코드 변경	필수 검사에서 하나라도 실패하면 0점, 모두 통과하면 70–100%
Terminal-Bench 4.0	66	터미널을 통한 작업 완료	테스트 모음의 통과 여부
SWE-Atlas-QnA-AA	124	저장소 동작에 관한 질문	평가 기준을 모두 충족해야 작업 통과

총 290개의 서로 다른 작업입니다. AA는 작업마다 세 번 시도하고 평균을 냅니다. 세 번 중 가장 좋은 결과만 고르지 않습니다. 그런 다음 세 벤치마크의 점수를 같은 가중치로 평균합니다.

따라서 질문이 124개인 항목도 작업이 66개인 터미널 항목보다 인덱스에 더 큰 영향을 주지 않습니다. 인덱스가 61.7이라고 해서 일반적인 코딩 티켓의 61.7%를 완료한다는 뜻도 아닙니다.

FrontierCode는 메인테이너의 기준을 충족한 변경을 평가합니다

FrontierCode는 DeepSWE v1.1을 대체하며 코드 품질을 평가에 포함합니다. Cognition의 벤치마크 설계는 기능이 올바르게 동작하는지만 확인하지 않습니다. 변경 범위와 코드 품질을 포함해, 저장소를 관리하는 메인테이너가 요구하는 조건을 충족하는지도 평가합니다.

AA는 작업 100개로 구성된 비공개 Main 세트를 사용합니다. 필수 조건 하나라도 충족하지 못하면 0점입니다. 필수 조건을 모두 통과한 뒤에는 나머지 검사 결과에 따라 70–100% 점수를 받습니다.

인터넷 접근은 허용됩니다. FrontierCode 1.1의 이용 규칙에 따르면 문서를 읽을 수 있지만, 정답에 해당하는 자료를 가져오면 해당 실행이 무효 처리될 수 있습니다. AA는 Cognition의 검사 도구를 수정한 버전으로 이를 확인하며, 적발된 시도에는 0점을 부여합니다.

작업 집합을 비공개로 유지하면 평가 자료를 미리 접하는 데서 생기는 오염 경로 하나를 줄일 수 있습니다. 원본 저장소의 해결책이 인터넷에 존재할 수 없다는 뜻은 아닙니다.

SWE-Atlas-QnA-AA는 판정 모델과 평가 기준 문구를 바꿉니다

저장소에 대한 질문은 그대로지만 채점 방식이 바뀝니다. AA는 작업 124개와 기준 1,306개를 유지하면서 127개 기준의 문구를 수정했습니다. 판정에는 GPT-6 Luna를 xhigh로 사용하며 기준마다 다섯 개의 판정 결과를 취합합니다.

공개된 데이터셋과 판정 설정은 기준별로 다수결을 적용하도록 명시합니다. 작업이 성공하려면 여전히 모든 기준을 통과해야 합니다. 따라서 기술적으로 타당해 보이는 답변도 필수 세부사항 하나를 빠뜨리면 실패할 수 있습니다.

AA는 이 수정으로 판정의 일관성이 높아진다고 설명합니다. 비교할 때 알아야 할 점은 결과 점수가 수정된 평가 체계에서 나온다는 것입니다. 이전의 평가 기준과 판정 모델 조합에서 얻은 점수로 볼 수는 없습니다.

점수 하락만으로 모델의 성능 저하를 단정할 수 없는 이유

인덱스 버전 사이의 하락은 평가 방식의 변화를 반영하므로, 같은 모델의 성능이 나빠졌다는 의미로 해석할 수 없습니다. 과거 인덱스와 수치를 비교하기 전에 v2.0 안에서 구성들을 비교하세요.

AA는 공식 발표의 댓글 스레드에서 두 버전에 공통으로 포함된 21개 구성의 평균 인덱스가 54.8에서 47.4로 하락했으며, 21개 중 20개가 내려갔다고 밝혔습니다. 이 구성들의 평균은 DeepSWE v1.1에서 65.6%였고, 이를 대체한 FrontierCode v1.1에서는 45.1%였습니다.

저장소 질의응답 점수도 평균 58.8%에서 57.1%로 낮아졌으며, 21개 중 14개 구성이 하락했습니다. Terminal-Bench는 바뀌지 않았습니다. 세 벤치마크의 가중치가 같으므로, 공개된 항목별 변화로 전체 7.4점 하락을 설명할 수 있습니다.

전체 변화의 계산식은 ((45.1 - 65.6) + (57.1 - 58.8) + 0) / 3 = -7.4입니다.

측정 척도가 달라진 것입니다. 구성 간 상대적인 결과도 달라집니다. 채점이 엄격해졌다고 모든 구성의 점수가 같은 폭으로 떨어지는 것은 아닙니다.

API 비용에 포함되는 항목과 빠지는 항목

AA의 비용 지표는 토큰 과금을 계산하며, 지원되는 경우 캐시도 반영합니다. Claude나 ChatGPT 구독료 또는 변경 사항을 실제로 출시하는 데 필요한 전체 엔지니어링 비용을 나타내지는 않습니다.

비용 및 토큰 사용량 항목은 캐시되지 않은 입력, 캐시된 입력, 캐시 쓰기, 출력을 구분합니다. 공개 페이지에는 토큰 분포와 캐시 적중률을 보는 기능도 있습니다. 모든 입력 토큰을 캐시 미사용에 해당하는 정상 요금으로 계산하면 이 비용 산식을 잘못 해석하게 됩니다.

비용은 여러 작업 시도의 데이터를 합쳐 평균을 내지만, 종합 인덱스는 세 벤치마크에 같은 가중치를 적용합니다. AA는 측정 데이터가 없는 항목을 0으로 대체하지 않고 해당 효율 지표의 평균에서 제외합니다. 이런 차이도 비용을 인덱스 점수로 나눈 값이 해결된 이슈당 비용이 될 수 없는 이유입니다.

실제 비용은 컨텍스트 크기, 재시도, 추론 강도, 제공업체의 캐시 처리 방식에 따라 달라집니다. 모델 이름이 익숙하더라도 엔드포인트나 하네스가 다르면 비교 결과가 달라질 수 있습니다.

AA의 별도 FrontierCode 모델 평가도 구분해서 보세요. 이 평가는 AA의 Stirrup 하네스를 사용합니다. 여기서 얻은 모델 점수는 위의 Claude Code 및 Codex 구성 점수와 바꿔 쓸 수 없습니다.

자체 저장소에서 소규모 비교를 진행하세요

전체 작업 목록을 한 구성에 맡기기 전에 두 구성을 같은 채택 기준으로 시험하세요. 소규모 파일럿의 목적은 특정 작업 유형에 어떤 구성을 쓸지 정하는 것입니다. AA의 비공개 벤치마크를 재현했다는 주장을 만드는 것이 아닙니다.

대표적인 작업을 고르세요. 자동화하려는 유형에서 실제 작업 열 개를 골라 시작하세요. 어느 에이전트든 실행하기 전에 기대하는 동작과 허용할 변경 범위를 작성하세요.
시작 조건을 같게 유지하세요. 동일한 저장소 커밋, 작업 프롬프트, 사용 가능한 도구, 권한을 사용하세요. CLI 버전, 정확한 모델 ID나 리비전, 추론 설정, 요청을 보낸 제공 경로를 기록하세요.
각 구성을 독립적으로 실행하세요. 시도마다 깨끗한 체크아웃과 새 세션을 사용하세요. 가장 좋아 보이는 패치만 남기지 말고 실패한 시도와 추가 시도도 기록하세요.
실제로 쓸 수 있는 결과인지 평가하세요. 패치에는 관련 테스트를 실행하고 정확성, 변경 범위, 유지보수성을 검토하세요. 저장소 질문의 답변은 코드와 대조하고, 실행 증거가 필요한 경우 그 증거도 확인하세요.
채택된 결과와 전체 비용을 비교하세요. API 요금, 유료 도구 사용료, 실행 환경 비용을 기록하고, 팀이 정한 시간당 단가로 검토 시간의 비용을 계산하세요. 총지출을 채택된 결과 수로 나누세요. 구독 방식도 평가한다면 구독료와 사용 한도 초과 요금은 따로 기록하세요.

DeepSeek는 모델 식별에 특히 주의해야 합니다. 2026-10-25 기준으로 DeepSeek 자체 API 문서는 deepseek-flash라는 이름을 사용하며, 현재 이 이름의 요청은 DeepSeek-V4.1-Flash-1017이 처리합니다. 순위표의 짧은 이름만으로는 새 요청이 AA가 평가한 모델 버전을 그대로 재현한다고 판단할 수 없습니다.

파일럿에 BetterToken을 사용한다면 Codex와 Claude Code의 개별 API 연동 가이드를 따르고 해당 경로의 청구액을 측정하세요. 이는 API 접근 방식이며, 제공업체 애플리케이션의 구독과는 별개입니다.

저렴한 구성이 채택 기준을 충족하는 작업에는 계속 그 구성을 사용하세요. 더 강한 구성이 결과의 채택을 늘리거나 검토 작업을 줄여 추가 비용을 정당화하는 작업 유형만 상위 구성으로 넘기세요.