읽을거리
Google TurboQuant, LLM KV 캐시 6배 압축 — 정확도 손실 0%
Google Research가 LLM의 KV(Key-Value) 캐시를 3비트로 압축해 메모리를 6배 절감하면서도 정확도 손실이 전혀 없는 알고리즘 TurboQuant를 공개했다. Nvidia H100 기준 Attention 연산 속도 최대 8배 향상을 기록하며 ICLR 2026에 채택됐다.
읽을거리
Google Research가 LLM의 KV(Key-Value) 캐시를 3비트로 압축해 메모리를 6배 절감하면서도 정확도 손실이 전혀 없는 알고리즘 TurboQuant를 공개했다. Nvidia H100 기준 Attention 연산 속도 최대 8배 향상을 기록하며 ICLR 2026에 채택됐다.
이어 읽기