배경 및 맥락
Inference 수요는 frontier model 출시 속도와 agent 사용량 증가로 계속 커지고 있다. Blackwell 공급이 제한적이고 가격이 높아지는 상황에서 AMD MI350 계열은 하드웨어 스펙과 비용 측면에서 대안이지만, ROCm 생태계와 day-0 framework support 부족이 실제 배포의 병목으로 남아 있었다.
Wafer의 GLM5.2 on AMD MI355X 사례는 이 병목이 어느 정도 engineering support 문제로 바뀌고 있음을 보여준다. 핵심은 칩 성능 자체보다 quantization, speculative decode, MoE kernel selection, cache-aware workload tuning이 함께 맞물렸다는 점이다.
핵심 내용
Wafer는 GLM5.2를 AMD MI355X에서 서빙하며 20k input / 1k output, 60% cache hit workload 기준 2,626 tok/s/node, 2.4 RPS, TTFT knee 5초 이하를 달성했다고 밝혔다. 이는 회사가 측정한 B200 성능의 약 80%지만 비용은 2배 이상 낮다는 주장이다.
기술적으로는 bf16 GLM-5.2를 AMD Quark 기반 MXFP4로 quantize했고, FP8 baseline 대비 GPQA-Diamond, tau2, GSM8K에서 손실이 없었다고 설명한다. inference framework는 vLLM, ATOM, SGLang 중 SGLang을 선택했다. MTP head의 bf16 shared expert prefix mismatch와 ROCm guard 누락을 수정해 speculative decode를 활성화했고, fp4 MoE shape에 맞춘 kernel selection으로 prefill-bound aggregate throughput을 끌어올렸다.
경쟁 구도 / 비교
NVIDIA CUDA 생태계의 강점은 단순 성능이 아니라 최신 모델이 나왔을 때 곧바로 안정적으로 서빙할 수 있는 software path다. AMD는 silicon cost advantage가 있어도 ROCm image, quantization path, framework bugs, tuned kernel 부재가 운영 비용으로 돌아온다.
이번 사례는 AMD가 Blackwell을 모든 면에서 이겼다는 의미가 아니다. single-node workload에서 성능/달러가 매력적일 수 있다는 증거이며, multi-node scaling, long-tail model support, observability, failure recovery는 아직 별도 검증이 필요하다.
의미
추론 인프라 전략은 GPU 벤더 선택이 아니라 workload economics로 봐야 한다. cache hit ratio, prompt/output 길이, TTFT 목표, quantization 허용 손실, single-stream latency와 aggregate throughput을 분리해 측정해야 한다.
실무적으로는 NVIDIA 용량만 기다리는 대신 AMD spot 또는 dedicated capacity를 실험 후보로 넣을 만하다. 특히 open-weight model serving, batch-heavy workload, cache-friendly agent workload에서는 ROCm 최적화 비용을 감수해도 총비용을 낮출 여지가 있다.