배경 및 맥락
open-weight MoE 모델은 전체 parameter 수보다 token마다 활성화되는 expert가 적어 계산량을 줄일 수 있다. 그러나 긴 컨텍스트와 높은 동시성에서는 sparse routing, KV cache, device 간 collective가 새로운 병목이 된다. 따라서 모델 성능을 실제 서비스 성능으로 전환하려면 커널·메모리 배치·분산 병렬화가 함께 맞물려야 한다.
Google의 사례는 400GB weight footprint를 가진 Qwen 3.5-397B-A17B를 Ironwood TPU v7x에서 운영하는 과정에 초점을 둔다. 모델은 총 397B parameters 중 token마다 17B를 활성화하며, 512 routed expert에서 top-10과 하나의 shared expert 경로를 사용한다. 60개 레이어는 Gated DeltaNet 기반 linear attention과 GQA가 섞인 hybrid 구조여서, 기존의 균일한 Transformer sharding 가정을 그대로 적용하기 어렵다.
핵심 내용
8-way tensor parallelism에서는 2개의 KV head를 8개 device에 균등 분할할 수 없어 KV cache 복제와 동시성 제한이 생긴다. Google은 attention에는 8-way Data Parallelism, MoE에는 8-way Expert Parallelism을 쓰는 DP+EP 토폴로지를 택했다. 이 방식은 attention의 KV cache를 각 core에서 일관되게 처리하면서, 512 experts를 device당 64개로 배치한다.
통신에는 예측 불가능한 All-to-All 대신 All-Gather → local MoE → hierarchical Reduce-Scatter를 사용했다. routing metadata의 세 All-Gather를 두 개로 합치고, chip 내부와 chip 간 단계를 나눈 custom reduce-scatter로 통신 지연을 줄였다. Pallas 기반 Batched Ragged Page Attention, SparseCore gather/reduce, fused Conv1D·Gated DeltaNet 커널도 HBM 왕복을 줄이는 데 사용됐다. Google은 prefill-heavy workload에서 최대 4.7배, decode-heavy workload에서 약 3.1배 성능 향상을 보고했다.
경쟁 구도 / 비교
일반적인 tensor parallel MoE 구현은 expert 균등 분배에는 유리하지만, GQA의 작은 KV-head 수와 긴 context KV cache에서 메모리 복제를 유발할 수 있다. 반대로 attention DP와 expert EP를 분리하면 weight와 cache의 비용을 각 연산 특성에 맞춰 나눌 수 있지만, expert 전환 시 collective 설계가 핵심이 된다.
이 사례의 차별점은 특정 모델의 일회성 tuning보다 vLLM·SGLang 같은 open-source serving stack에 이식 가능한 모듈을 강조한다는 점이다. 모델 구조가 바뀌어도 Ragged attention, grouped GEMM, routing metadata packing처럼 공통 병목을 재사용하려는 접근은 accelerator별 성능 엔지니어링의 유지비를 낮출 수 있다.
의미
AI 인프라 경쟁은 peak FLOPS보다 prefill·decode·network·HBM의 실제 병목을 얼마나 체계적으로 해소하는지로 이동하고 있다. 특히 MoE 도입 팀은 active parameter 수만 보고 비용을 추정하지 말고, KV cache와 routing collective가 concurrency에 미치는 영향을 capacity model에 넣어야 한다.
플랫폼 팀은 모델 도입 전부터 workload를 long-input/short-output과 short-input/long-output으로 나눠 측정하고, 모델 구조별 병렬화 제약을 아키텍처 결정 기록에 남길 필요가 있다. 이는 특정 accelerator를 선택하는 문제라기보다, 새 모델이 나왔을 때 production path로 옮기는 시간을 줄이는 운영 역량의 문제다.