배경 및 맥락
AI for Science는 논문 요약, 코드 작성, 실험 계획 보조에서 실제 연구 판단 자동화로 이동하고 있다. 특히 computational biology에서는 sequencing 비용이 낮아지고 biobank-scale 데이터가 늘면서, 병목이 데이터 생성이 아니라 데이터 해석과 분석 설계로 옮겨가고 있다.
OpenAI의 GeneBench-Pro는 이 병목을 평가하기 위한 benchmark다. 최근 캐시에 Anthropic Claude Science가 과학자 workflow를 auditable workbench로 묶는 제품 표면이었다면, GeneBench-Pro는 모델이 실제 연구 상황의 모호성과 판단을 얼마나 다룰 수 있는지 측정하는 평가 표면이다.
핵심 내용
GeneBench-Pro는 genomics, quantitative biology, translational medicine을 포함한 computational biology benchmark다. 전체는 129개 질문, 10개 domain, 21개 sub-domain으로 구성된다. 문제는 realistic and messy dataset, 짧은 experimental context, downstream decision과 연결된 target estimand를 제공하고, 모델은 데이터를 탐색하고 적절한 분석 경로를 고른 뒤 최종 답을 JSON 형태로 반환해야 한다.
OpenAI는 각 문제를 synthetic하게 구성해 data-generating process를 통제한다고 밝혔다. 이렇게 하면 현실적인 ambiguity를 유지하면서도, 그럴듯하지만 잘못된 분석 경로를 결정론적으로 실패 처리할 수 있다. 129문제 중 82문제는 외부 domain expert에게 검토를 받았고, OpenAI는 10개 representative question을 Hugging Face에 공개하며 50문제 subset을 Artificial Analysis에 제공할 예정이다.
결과적으로 GPT-5.6 Sol은 highest reasoning level에서 28.7% pass rate, Pro mode에서 31.5%를 기록했다. OpenAI는 GPT-5.6 Sol이 GPT-5.2보다 약 6배 많은 문제를 풀면서 token 사용량은 약 2/3라고 설명한다. 동시에 human expert가 한 문제에 20-40시간을 쓸 수 있는 난이도라며, 현재 agent는 전문가를 대체하기엔 부족하지만 부분 자동화의 경제성은 크다고 본다.
경쟁 구도 / 비교
기존 biological benchmark는 지식 회상, 단일 분석 함수 실행, 정답이 명확한 toy task에 가까운 경우가 많았다. GeneBench-Pro는 데이터 QC, confounding, causal estimand, 분석 경로 수정, decision-ready 판단을 평가하려 한다는 점에서 더 연구 운영에 가깝다.
Anthropic Claude Science, OpenAI LifeSciBench, domain-specific lab agents는 모두 AI for Science 시장을 형성하고 있다. 차이는 GeneBench-Pro가 제품 워크플로가 아니라 고난도 evaluation harness라는 점이다. 이 benchmark가 널리 쓰이면 각 모델의 과학 연구 능력을 단순 paper QA가 아니라 end-to-end analysis judgment로 비교하는 압력이 커질 수 있다.
의미
AI 과학 agent를 도입하는 조직은 모델이 코드를 실행할 수 있는지보다, 잘못된 분석을 알아차리고 가정을 수정할 수 있는지를 봐야 한다. GeneBench-Pro의 낮은 pass rate는 frontier model도 messy scientific data에서 inferential loop를 닫는 데 아직 어려움이 있음을 보여준다.
실무적으로는 연구 agent 평가에 solver contract를 명확히 포함해야 한다. 입력 데이터, 허용 도구, 분석 경로 설명, QC 기준, 최종 답 형식, human reviewer 개입 지점을 정하지 않으면 모델 성능 비교가 prompt wording이나 scaffold 차이에 휘둘릴 수 있다. 바이오 AI 리더에게 핵심 질문은 모델 도입 여부가 아니라, 어떤 연구 판단을 자동화해도 되는지와 어떤 판단은 반드시 expert review로 남겨야 하는지다.