Kimi K3 코딩 평가: 비용, benchmark, 도구 설정
Kimi K3를 API 비용, vendor benchmark, 도구 설정과 scope·latency·token 사용 검증 기준으로 평가하는 가이드입니다.
Kimi K3는 긴 coding run, 대규모 repository, code와 visual input을 결합하는 task의 후보입니다. leaderboard만 보고 선택하는 것은 위험합니다. 결과는 harness, reasoning effort, endpoint, task에 따라 달라집니다. 항상 활성화된 thinking 때문에 짧은 loop가 예상보다 느리고 비싸질 수도 있습니다.
통제된 budget으로 모델을 테스트하고 싶나요? Kimi K3 API 페이지에서 현재 access path를 확인하고 BetterToken catalog에서 현재 가격과 availability를 확인하세요. 본인의 API Key를 만들고 객관적인 pass condition이 있는 짧은 task 하나로 시작합니다.
Moonshot AI가 공개한 것
공식 Kimi K3 repository는 총 2.8 trillion parameter 중 token마다 104 billion이 활성화되는 sparse MoE 모델로 설명합니다. 1,048,576-token context window, native text와 image input, 계속 활성화되는 thinking을 지원합니다. API는 low, high, max reasoning effort를 제공하며 문서상 default는 max입니다.
큰 context window는 capacity이지 repository의 모든 token이 효과적으로 사용된다는 보장이 아닙니다. 유용한 평가는 agent가 올바른 file을 찾고, scope를 지키며, tool error 후 복구하고, budget 안에서 완료하는지 확인해야 합니다.
테스트 전에 API 비용 계산하기
2026년 8월 21일에 확인한 Moonshot의 Kimi K3 pricing은 cache-hit input token 100만 개당 3.00, reasoning을 포함한 output token 100만 개당 $15.00를 제시합니다.
cache가 적용되지 않은 input token 200,000개와 output token 20,000개의 경우:
0.2 × $3.00 + 0.02 × $15.00 = $0.90.
input token 200,000개가 모두 cache hit라면 같은 token 구성의 비용은 $0.36입니다. 전체 cache reuse는 예측값이 아니라 경계 사례입니다. tool result, file change, conversation history는 재사용 가능한 prefix를 자주 바꿉니다. nominal context size로 추정하지 말고 cache hit, miss, output, reasoning을 기록하세요.
coding benchmark는 harness와 함께 읽기
Moonshot이 보고한 Kimi K3 score에는 Terminal-Bench 2.1의 88.3, DeepSWE의 67.5, ProgramBench의 77.8, FrontierSWE의 81.2, SWE-Marathon의 42.0, Kimi Code Bench 2.0의 72.9가 포함됩니다. 이는 vendor-reported result입니다. repository에는 Kimi K3가 max reasoning effort를 사용하며, 일부 coding evaluation은 Kimi Code harness를 사용한 반면 competitor는 다른 published harness를 사용할 수 있다고 적혀 있습니다.
유용한 comparison unit은 다음과 같습니다.
model + harness + effort + endpoint + task.
score만으로 agent가 사용한 token 수, 요청한 file 안에 머물렀는지, 사람이 몇 번 방향을 바로잡아야 했는지는 알 수 없습니다.
Kimi K3를 coding tool에 연결하기
Moonshot은 Claude Code, Codex CLI, OpenCode를 위한 공식 guide를 각각 제공합니다. 하나의 configuration이 세 tool에서 변경 없이 작동한다고 가정하지 마세요.
- 사용할 tool과 공식 문서에 명시된 protocol 경로를 선택하세요. 다른 client의 endpoint를 재사용하지 마세요.
- tool의 credential mechanism을 통해 API key를 입력한 뒤, 아래 문서에 나온 endpoint와 model을 정확히 설정하세요.
- client를 재시작하고 read-only 작업 하나를 실행한 다음, 파일 변경을 허용하기 전에 실제 적용된 model, Base URL, usage를 확인하세요.
Claude Code의 문서화된 international Anthropic-compatible setup은 다음을 사용합니다.
client를 다시 시작하고 /status를 실행해 실제 Base URL과 model을 확인하세요. key를 commit하거나 issue에 붙여 넣지 마세요.
Codex CLI는 Responses API를 사용하지만 Kimi K3는 Chat Completions를 제공합니다. Moonshot guide는 두 contract 사이의 local router로 CC Switch를 사용합니다. 해당 router를 별도의 trusted component로 취급하세요. file change를 허용하기 전에 source, update process, credential storage, active route를 검증해야 합니다.
OpenCode에서는 opencode auth login을 실행하고 Moonshot AI를 선택한 뒤 credential dialog에서 key를 입력합니다. 그런 다음 /models와 /variants로 Kimi K3와 effort를 선택하세요. read-only task로 시작하고 provider dashboard에서 model과 usage를 검증합니다.
사용자 report를 test case로 바꾸기
MoonshotAI/kimi-code issue #1911과 #2031은 특정 session에서 발생한 hang, 약한 interrupt, scope expansion, 비정상적으로 높은 input-token consumption을 설명합니다. 이 report는 모든 사용자의 error rate가 아닙니다. 명시적인 file boundary, iteration limit, cancellation, token accounting, failed tool call 후 recovery를 테스트해야 하는 이유입니다.
대표 task 다섯 개를 준비하세요. local bug, multi-file change, test 추가, repository search, visual-input task 하나입니다. commit, prompt, tool, timeout, acceptance test를 고정합니다. input, cache, output, reasoning, duration, manual intervention, scope violation을 기록하세요. 결과를 보면 Kimi K3가 default agent, 어려운 task용 모델, fallback 중 어디에 적합한지 판단할 수 있습니다.