AirLLM — 4GB GPU에서 70B LLM 돌리는 초경량 추론 라이브러리
양자화나 증류 없이 70B 모델을 4GB GPU에서, Llama 3.1 405B를 8GB VRAM에서 실행할 수 있는 추론 최적화 라이브러리. 계층별 모델 분해(layer-wise decomposition)로 필요한 레이어만 메모리에 로드하는 방식. 블록 단위 양자화 압축으로 3배 속도 향상. GitHub 스타 15k+.
오픈소스
무료
주제
양자화나 증류 없이 70B 모델을 4GB GPU에서, Llama 3.1 405B를 8GB VRAM에서 실행할 수 있는 추론 최적화 라이브러리. 계층별 모델 분해(layer-wise decomposition)로 필요한 레이어만 메모리에 로드하는 방식. 블록 단위 양자화 압축으로 3배 속도 향상. GitHub 스타 15k+.
3월 31일 Anthropic Claude Code의 TypeScript 소스코드 약 51만 2천 줄이 npm 레지스트리에 실수로 노출된 사건을 계기로, 개발자 Sigrid Jin이 클린룸 방식으로 오픈소스 AI 코딩 에이전트 프레임워크 Claw Code를 출시했다. 출시 첫날 72,000 GitHub stars를 기록하고 일주일 만에 100K를 돌파하며 역사상 가장 빠르게 성장한 AI…
Google이 4월 2~3일 Gemma 4를 Apache 2.0 라이선스로 공개했다. Effective 2B·4B·26B MoE·31B Dense 네 가지 크기로 제공되며, 256K 토큰 컨텍스트, 비전·오디오 네이티브 멀티모달, 140개 이상 언어를 지원한다.
PrismML이 4월 3일 스텔스에서 등장해 세계 최초 상업적으로 실행 가능한 1-bit LLM 패밀리 Bonsai를 Apache 2.0으로 공개했다. 플래그십인 Bonsai 8B는 1.15GB 메모리에 구동되며, FP16 8B 모델 대비 14배 소형·8배 빠른 속도·5배 낮은 에너지 소비를 달성하면서 추론 품질은 동급 수준을 유지한다.
2D 캔버스 기반 AI 작업공간. Canvas는 웹에서 쓰고, 별도 FlowithOS는 Mac/Windows 데스크톱 앱을 제공한다. 다만 공식 자료상 셀프호스팅/오프라인 실행 안내는 없고, 계정 로그인 기반으로 동작한다.
Google이 Gemini Code Assist를 개인 개발자에게 완전 무료로 전면 개방했다. Gemini 2.5 기반으로 VS Code, JetBrains, Android Studio를 지원하며 일 6,000회 코드 요청과 240회 채팅이 무료로 제공된다. 신용카드 없이 개인 Gmail 계정으로 즉시 이용 가능하다.
Y Combinator 회장 Garry Tan이 만든 Claude Code 기반 AI 소프트웨어 팩토리. 23개의 전문화된 AI 역할(경영진, 엔지니어링, 디자인, QA, 보안 등)을 조합해 10~15개 스프린트를 병렬로 돌린다. 60일간 60만 줄 프로덕션 코드 산출, 일일 1~2만 줄 생산량. GitHub 스타 60.1k.
여러 AI 에이전트를 하나의 회사 조직처럼 구성하고 운영하는 오픈소스 오케스트레이션 플랫폼. 조직도, 목표 정렬, 예산 관리, 거버넌스(승인 게이트, 롤백, 감사 로그)까지 갖추고 있다. "OpenClaw이 직원이라면 Paperclip은 회사다." GitHub 스타 42.8k.
Mistral AI가 3월 26일 오픈소스 텍스트-음성 변환 모델 Voxtral TTS(4B 파라미터)를 출시했다. 9개 언어를 지원하고 5초 이하의 음성 샘플로 목소리를 복제하며, 첫 오디오 출력 지연(TTFA)이 90ms에 불과해 실시간 음성 에이전트 구현이 가능하다.