배경 및 맥락
agent 제품은 텍스트 채팅을 넘어 음성, 이미지, 비디오, 파일, 브라우저 조작까지 확장되고 있다. 하지만 voice agent는 단순히 STT, LLM, TTS를 순서대로 연결하는 문제로 끝나지 않는다. 사용자는 중간에 끼어들고, 세션은 실시간으로 유지되어야 하며, 모델 비용과 latency, observability, credential boundary까지 함께 관리해야 한다.
Vercel의 AI Gateway voice 지원은 이 문제를 agent runtime의 routing plane으로 끌어올린다. 최근 캐시에 GitHub Copilot Browser Tools처럼 개발 agent의 브라우저 실행 표면이 들어왔다면, 이번 항목은 사용자-facing realtime voice agent를 production control surface에 포함시키는 방향이다.
핵심 내용
Vercel은 2026년 6월 29일 AI Gateway에서 audio/voice 지원을 공개했다. 지원 범위는 realtime voice, text-to-speech, speech-to-text이며, 초기 모델은 OpenAI와 xAI 모델로 시작한다. 기능은 beta이며 AI SDK 7에서 사용할 수 있다.
realtime voice는 브라우저에서 microphone stream을 Gateway로 보내고, 모델이 audio response를 직접 반환하는 구조다. 예제는 @ai-sdk/gateway로 server route에서 short-lived token과 WebSocket URL을 발급하고, client는 experimental_useRealtime hook으로 세션을 연결한다. provider API key는 브라우저에 노출하지 않고, Gateway credential과 단기 token으로 경계를 나눈다.
Vercel은 audio call도 기존 AI Gateway 호출처럼 provider routing, observability, spend controls, bring-your-own-key를 공유한다고 설명한다. 즉 voice 기능을 별도 제품군이 아니라 text, image, video와 같은 운영 체계로 묶는 접근이다.
경쟁 구도 / 비교
기존 voice bot 구현은 STT 공급자, LLM 공급자, TTS 공급자를 개별 통합하고 WebSocket/WebRTC session, silence detection, interruption handling, latency tuning을 별도로 처리하는 경우가 많았다. 이 방식은 빠른 데모에는 좋지만, 프로덕션에서 cost attribution과 failure debugging이 어렵다.
Vercel의 접근은 음성 기능을 model gateway와 AI SDK abstraction 안으로 넣어 provider 교체와 observability를 단순화한다. Google, OpenAI, Anthropic, xAI, Twilio, LiveKit 등도 음성 agent 표면을 밀고 있지만, Vercel은 web app 배포와 TypeScript 개발자 경험 안에서 이를 흡수하려는 포지션이다.
의미
멀티모달 agent의 경쟁력은 모델 품질만이 아니라 운영 제어면에서 나온다. 실시간 voice agent는 latency, interruption, permission, browser token, provider failover, cost limit이 모두 사용자 경험에 직접 영향을 준다.
실무 팀은 voice agent를 기능 하나로 보지 말고 session lifecycle과 cost governance를 먼저 설계해야 한다. 특히 고객지원, field-work, hands-free workflow처럼 음성이 핵심 인터페이스가 되는 제품은 Gateway 수준의 routing과 observability를 갖춰야 실험을 제품 운영으로 옮길 수 있다.