GLM 5.3 vs DeepSeek V4 Pro: 결과·시간·작업 비용 비교
완료한 작업과 시간, 채택된 결과당 비용을 비교하고 DeepSeek V4 Pro의 종료 계획까지 반영해 모델을 선택합니다.
목차
어려운 작업에서 채택할 수 있는 결과 하나가 늘어나면 추가 지출을 감수할 수 있다면 GLM 5.3부터 시험해 볼 만합니다. 반복 실행 비용이 가장 중요하다면 DeepSeek V4 Pro-0813이 비교 대상입니다. 한 공개 평가에서 GLM은 더 많은 작업을 완료했고 성공한 작업의 시간 중앙값도 짧았지만, Pro는 비용이 낮았습니다. 어느 모델이 항상 낫다는 뜻은 아닙니다.
가용 기간에 중요한 제약이 있습니다. DeepSeek는 2026년 9월 14일 베이징 시간 12:00, UTC 04:00, 모스크바 시간 07:00에 V4 Pro를 종료할 계획입니다. 로그인 후 볼 수 있는 공식 플랫폼 공지는 Pro 요청을 V4.1 Flash로 전달하고 V4.1 Flash 요금을 적용한다고 설명합니다. 기존 이름이 계속 Pro-0813을 제공할 것이라고 가정해 공식 API에 새 장기 통합을 구축하지 마세요.
이 글은 GLM 5.3과 Pro-0813의 비교이며 GLM 5.3 Flash나 V4.1 Flash의 비교가 아닙니다. 과거 Pro 결과는 대체 모델을 평가할 기준이 될 수 있지만, 종료 후 그 이름 뒤에서 응답할 모델의 성능을 나타내지는 않습니다.
30개 작업 평가에서 확인할 수 있는 것
Composio는 8월 27일 여러 단계로 이루어진 에이전트 작업 30개로 5개 모델을 비교했습니다.
| Composio 지표 | GLM 5.3 | DeepSeek V4 Pro-0813 |
|---|---|---|
| 완료한 작업 | 30개 중 22개 | 30개 중 19개 |
| 30개 작업 전체 비용 | $5.31 | $1.23 |
| 공개된 성공 작업당 비용 | $0.24 | $0.065 |
| 완료한 작업의 시간 중앙값 | 2분 54초 | 4분 41초 |
| 시간 초과 | 1 | 3 |
원자료: 완료, 총비용, 성공당 비용, 시간, 시간 초과.
이 표본에서 GLM은 세 작업을 더 완료했습니다. Pro의 성공당 비용은 약 3.7분의 1이었습니다: $0.24 / $0.065. 이는 사람의 재작업을 제외한 당시 평가 비용이지 현재 API 가격이 아닙니다.
시간 중앙값에는 성공한 작업만 들어가며 두 모델이 성공한 작업 집합도 다릅니다. 따라서 동일한 모든 작업에서 GLM이 더 빠르다거나 전체 작업 시간이 같은 비율로 줄어든다고 볼 수 없습니다. 실패와 시간 초과에도 시간이 듭니다.
이는 Composio의 평가이며 저희가 직접 수행한 테스트가 아닙니다. 전체 설정, 실행 환경, 반복 실행 정보 없이는 22 대 19만으로 내 프로젝트의 성공을 신뢰성 있게 예측할 수 없습니다. 외부 도구를 여러 단계로 조작하는 일과 저장소의 버그를 고치는 일도 다릅니다.
코딩 벤치마크는 우열이 엇갈립니다
GLM 5.3 공식 모델 카드에는 Pro-0813 결과가 포함됩니다.
| Z.ai 표의 테스트 | GLM 5.3 | Pro-0813 |
|---|---|---|
| Terminal Bench 2.1 | 88.2 | 87.9 |
| DeepSWE v1.1 | 66.9 | 62.7 |
| NL2Repo | 58.0 | 61.1 |
| Toolathlon Verified | 73.0 | 74.1 |
앞의 두 항목은 GLM, 뒤의 두 항목은 Pro가 앞섭니다. 이는 모델 카드에 설명된 조건에서 Z.ai가 발표한 수치로, 내 클라이언트에서 두 모델을 독립적으로 시험하는 일을 대신하지 않습니다. 서로 다른 작업과 채점 방식을 더해 하나의 품질 백분율로 만들 수 없습니다.
기본값도 다릅니다. GLM 5.3은 reasoning_effort = max를 사용합니다. 현재 DeepSeek V4 가이드는 사고 모드가 켜져 있고 추론 강도는 high입니다. 설정을 바꾸지 않은 두 실행은 다른 모드이며, 강도 이름을 맞춰도 연산 예산이 같다는 증거는 아닙니다.
벤치마크 재현에는 공개 조건을 사용하세요. 실무용 모델을 고를 때는 허용 비용과 시간을 먼저 정한 뒤 그 범위에서 각 모델에 맞는 설정을 시험하세요.
결과를 채택하기까지 모든 시도를 계산하세요
먼저 성공을 정의합니다. 버그 수정은 기존에 실패하던 테스트가 회귀 없이 통과해야 할 수 있습니다. 여러 시스템을 건드리는 에이전트는 추가 레코드나 중복 동작 없이 모든 시스템을 올바른 최종 상태로 남겨야 할 수 있습니다.
cost_per_accepted_task = total_api_cost_of_all_attempts / accepted_tasks분자에는 실패, 재시도, 예비 모델 호출도 포함합니다. 채택된 작업이 없으면 지표는 정의되지 않습니다. 성공 0건과 전체 지출을 기록하고, 성공당 비용을 0으로 기록하지 마세요.
사람의 검토·수정 시간은 따로 측정합니다. 금액으로 환산한다면 자신의 시간당 비용을 사용하고 API 지출과 분리해 표시하세요. 긴 재작업이 저렴한 모델 요금의 이점을 없앨 수 있으므로 실제 작업에서 측정해야 합니다.
BetterToken Dashboard에서 모델, 요청 시각, 입력·출력·캐시 토큰 및 해당 비용을 확인할 수 있습니다. 작업 채택 여부와 사람의 시간은 별도로 기록해야 합니다. 로그의 모델 이름만으로 외부 제공업체가 어떤 가중치를 사용했는지 독립적으로 입증할 수는 없습니다.
자신의 업무로 선택하세요
반복되는 작업 몇 개를 골라 같은 프로젝트 초기 상태, 지시, 도구 권한, 수용 기준을 두 모델에 제공합니다. 외부 동작에는 테스트 데이터를 사용해 반복 실행이 실제 중복 데이터를 만들지 않도록 합니다.
모델·클라이언트 버전, 제공업체, 사고 모드, 시간 제한, 재시도 한도를 기록하세요. 실패를 포함해 모든 실행의 비용과 결과를 보관합니다. 총 청구액뿐 아니라 각 모델이 어떤 구체적인 작업을 해결했는지 비교하세요.
- 사람의 수정 비용이 큰 복잡한 변경: GLM 5.3부터 시험하고, 일부 평가의 우위가 실제로 더 많은 변경 채택으로 이어지는지 봅니다.
- 명확한 작업과 엄격한 예산: 과거 Pro-0813 결과는 성공당 비용의 중요성을 보여 줍니다. 종료 전에는 현재 모델과 비교할 수 있지만, 계속 운영하려면 가용성이 확인된 선택지가 필요합니다.
- 여러 도구를 쓰는 긴 과정: 재시도를 포함한 작업 전체 시간을 제한합니다. 성공한 실행의 중앙값은 미완료 작업에서 잃은 시간을 빠뜨립니다.
9월 14일 이후 공식 deepseek-v4-pro의 새 요청을 자동으로 Pro-0813 테스트로 취급할 수 없습니다. 라우팅을 먼저 확인하세요. V4.1 Flash가 응답한다면 GLM 5.3과의 새로운 비교이므로 새 결과가 필요합니다. 제3자 서비스의 가용성과 일정은 별도로 확인하세요.
