FEATURE ARTICLE

Google TurboQuant — LLM KV 캐시 6배 압축, 정확도 손실 제로 달성 (ICLR 2026)

📌 핵심 요약 Google이 LLM의 KV 캐시를 기존 16비트에서 3비트로 압축해 메모리 사용량을 최소 6배 줄이면서도 정확도 손실이 없는 알고리즘 TurboQuant를 공개했다. ICLR 2026에서 정식 발표 예정이며, H100 GPU에서 4비트 적용 시 32비트 대비 최대 8배 추론 성능 향상이 확인됐다. 🔍 왜 주목해야 하나 KV 캐시는 긴 컨텍스트 처리 시 GPU 메모리의 가장 큰 병목 지점이었다. TurboQuant는 PolarQuant의 2단계 좌표 변환 방식으로 실현되며, 재훈련이나 파인튜닝 없이 어떠한 Transformer 모델에도 즉시 적용 가능하다는 점이 핵심이다. 이미 llama.cpp 커뮤니티에서 PyTorch/MLX/CUDA 독립 구현체가 등장했으며, 동일 하드웨어에서 초장문 컨텍스트 서빙 비용을 수배 이상 절감할 수 있는 실질적 기회다. ⚡ 실무 시사점 128k+ 컨텍스트를 서빙하는 팀은 TurboQuant 적용으로 같은 하드웨어에서 배치 크기를 최대 6배 늘릴 수 있다. llama.cpp 기반 온프레미스 배포 운영 중이라면 GitHub Discussion #20969를 팔로업하고 비용 대비 메모리 효율화 계획에 반영할 것.