Autoresearch - Karpathy의 AI 자동 LLM 훈련 실험 프레임워크

개요

Karpathy가 만든 Autoresearch는 AI 에이전트에게 실제 LLM 훈련 설정을 주고 밤새 자율적으로 실험하도록 하는 프레임워크입니다.

핵심 구조 (3개 파일)

• prepare.py: 데이터 준비 및 유틸리티 (수정 불가)
• train.py: 모델/옵티마이저/훈련 루프 (AI 에이전트가 수정)
• program.md: 에이전트 지시사항 (사용자가 수정)

작동 방식

1. AI 에이전트가 train.py 코드 수정
2. 정확히 5분간 훈련 실행
3. val_bpb(검증 비트/바이트) 성능 평가
4. 개선 여부 판단 후 반복
5. 시간당 ~12회, 수면 중 ~100회 실험 가능

디자인 철학

• 범위 제한: 에이전트는 train.py만 수정 → 검토 가능성 확보
• 공정한 비교: 고정 5분 시간 예산으로 아키텍처 변경 간 직접 비교
• 자체 완결: PyTorch와 소수 패키지만 필요

기술 스택

Python 3.10+ / uv 패키지 관리 / PyTorch / nanochat 기반

GitHub: 43.9k⭐, 6.1k 포크, MIT 라이선스

출처: github.com/karpathy/autoresearch