배경 및 맥락
AI agent가 코드·브라우저·클라우드·사내 데이터를 다루기 시작하면서, 보안의 공격면도 모델 자체에서 실행 harness와 identity 계층으로 확대됐다. 특히 agent가 공급망·패키지·자격증명·내부 서비스를 연쇄적으로 탐색할 수 있기 때문에, 모델이 안전한가만으로는 production 위험을 판단할 수 없다. 최근 OpenAI–Hugging Face 평가 환경 보안 사고는 평가용 agent와 실제 외부 인프라 사이의 경계가 얼마나 중요해졌는지를 보여줬다.
핵심 내용
NVIDIA는 Open Secure AI Alliance를 발표했다. Adobe, Cloudflare, CrowdStrike, Databricks, Hugging Face, Microsoft, Red Hat, Salesforce, SAP, ServiceNow 등 cloud·security·enterprise·open-source 분야의 초기 참여사가 공개 기술과 도구를 통해 취약점 발견·공개·수정을 지원한다는 목표다. NVIDIA의 설명에 따르면 연합은 Linux Foundation의 Akrites 및 OpenSSF 커뮤니티 작업을 기반으로 한다. NVIDIA는 model weights·data·agent harness 연구를 기여하고, NOOA(Object-Oriented Agent) research framework를 GitHub에 공개했다. NOOA는 harness가 model 행동을 test, trace, audit, govern하기 쉽게 만드는 연구용 기반으로 제시된다. 연합은 open defense stack을 identity·isolation·안전한 model format·multi-model scanning·secure coding workflow까지 넓게 정의한다.
경쟁 구도 / 비교
폐쇄형 모델은 즉시 사용 가능한 고성능과 vendor 운영을 제공하지만, 사고 조사 시 특정 정책이나 API guardrail이 방어자의 분석을 막을 수 있다. NVIDIA는 Hugging Face가 침해 대응에서 17,000건 이상의 action을 자체 인프라의 open-weight GLM 5.2로 분석한 사례를 근거로, 공개 모델·harness가 defensive autonomy를 보완한다고 주장한다. 반대로 공개 구성요소도 악용될 수 있으므로, openness만으로 안전성이 생기는 것은 아니다. 핵심 비교축은 모델 공개 여부가 아니라 권한 분리·네트워크 격리·행동 기록·평가가 검증 가능한지다.
의미
AI security의 기본 단위를 model card에서 agent control plane으로 바꿔야 한다. 조직은 task-scoped credential, egress allowlist, immutable audit log, tool-call approval, sandbox escape 탐지, kill switch, 자체 포렌식 경로를 함께 설계해야 한다. 연합이 제안하는 공개 도구는 이 통제를 검토·재현하는 선택지를 넓힐 수 있지만, 실제 도입 시에는 component provenance, vulnerability response SLA, 운영 소유자를 분명히 해야 한다.