배경 및 맥락
open model 시장은 더 큰 parameter 수를 발표하는 경쟁에서, 장기 실행 agent를 실제로 운영할 수 있는 context·tool-use·serving 구조를 제공하는 경쟁으로 옮겨가고 있다. 특히 coding·knowledge-work agent는 모델의 단발 답변보다 긴 세션에서 계획을 유지하고, tool 결과와 사고 이력을 다시 사용할 수 있는지가 비용과 품질을 결정한다.
Moonshot AI는 이 흐름에서 Kimi K3를 ‘open 3T-class’ 모델로 소개했다. 현재는 제품과 API로 사용할 수 있고 full weights는 7월 27일에 공개할 예정이므로, API 도입과 self-hosting 가능성을 같은 단계로 취급하지 않아야 한다.
핵심 내용
Kimi K3는 2.8T parameter, 최대 1M-token context, native vision을 지원한다. Kimi Delta Attention와 Attention Residuals를 적용했고, Stable LatentMoE와 함께 896개 expert 가운데 16개를 활성화한다고 밝혔다. 회사는 Kimi K2 대비 overall scaling efficiency가 약 2.5배 개선됐다고 주장하지만, 이 수치는 회사의 학습·측정 조건에 기반한 결과다.
공식 API는 cache-hit input USD 0.30/MTok, cache-miss input USD 3.00/MTok, output USD 15.00/MTok로 안내한다. Moonshot은 coding workload에서 cache-hit rate가 90% 이상이라고 설명하지만, 실제 비율은 prompt 구성·세션 길이·harness에 따라 달라진다. 서비스는 Kimi Code에서 /model로 선택할 수 있으며 low·high thinking effort mode는 후속 업데이트 대상이다.
회사는 kernel optimization, GPU compiler, chip design 등 long-horizon 사례를 제시했다. benchmark 표에는 KimiCode·Claude Code·Codex처럼 모델마다 다른 agent harness가 사용되고 일부 비교 모델에는 fallback 조건도 있다. 따라서 이 결과는 능력 가설로 볼 수는 있어도 procurement 기준의 독립 비교 자료는 아니다.
경쟁 구도 / 비교
proprietary frontier model은 즉시 사용 가능한 운영 환경과 지원을 제공하지만, weight 접근과 low-level serving 최적화에는 제약이 있다. Kimi K3는 API로 먼저 접근성을 제공한 뒤 weights를 공개해, 제품 기반 평가와 이후 자체 deployment라는 두 옵션을 연다.
다만 KDA는 conventional prefix caching에 새로운 과제를 만든다고 회사가 명시한다. 일반적인 OpenAI-compatible API 호환성만으로 agent runtime 호환성을 보장하지 않으며, K3는 preserved thinking history 모드로 훈련되어 과거 사고 내용을 전달하지 않거나 다른 모델 세션을 중간 전환할 때 생성 품질이 불안정할 수 있다고 안내한다.
의미
대형 open model의 실전 경쟁력은 parameter 수보다 workload별 cache behavior, context compaction, harness compatibility, recovery 정책에서 갈린다. 1M-token context는 긴 작업의 가능성을 넓히지만, 무제한 context 비용과 에이전트의 비결정성 문제를 제거하지는 않는다.
테크 리더는 Kimi K3를 도입할 때 재현 가능한 taskset과 성공 기준을 먼저 만들고, 동일한 system prompt·tool permissions·context policy로 기존 모델과 비교해야 한다. 세션마다 model ID, thinking effort, cache ratio, tool error, human intervention을 기록하면 API 사용과 7월 27일 이후 weight 기반 deployment의 TCO를 분리해 판단할 수 있다.