AI 에이전트가 스스로 코드를 고쳐 벤치마크 점수를 올리는 자동화 루프
벤치마크 과제에서 AI 에이전트가 실패 원인을 분석하고 코드를 수정해 점수를 높이는 과정을 실시간으로 지켜볼 수 있습니다. SIA는 메타, 타깃, 피드백 세 가지 에이전트가 협력해 과제를 수행하고 개선하는 자기 개선형 AI 프레임워크입니다. 연구 논문에서는 법률 벤치마크에서 56.6%의 성능 향상과 GPU 커널 실행 시간 91.9% 단축을 보고했습니다.
세 가지 에이전트의 협업 구조
SIA는 과제를 해결하는 과정을 세 단계로 나누어 자동화합니다. 먼저 메타 에이전트가 과제 설명을 읽고 초기 타깃 에이전트를 생성합니다. 타깃 에이전트는 실제 과제를 수행하며 자신의 행동과 결과를 기록합니다. 마지막으로 피드백 에이전트가 이 기록을 검토해 개선점을 찾아내 타깃 에이전트를 업데이트합니다. 이 과정이 반복되면서 시스템은 과학적 과제를 해결하는 능력을 자율적으로 다듬어 갑니다.
벤치마크에서 확인한 성과
SIA는 다양한 분야의 어려운 과제에서 기존 방법보다 나은 결과를 냈습니다. OpenAI MLE-Bench Hard에서는 모든 세대 테스트에서 1위를 기록했습니다. 중국 법원 사건 설명에서 형사 혐의를 예측하는 LawBench에서는 Top-1 정확도 70.1%를 달성해 이전 최고 기록인 45%를 넘어섰습니다. AlphaFold-3 관련 Triton 커널 최적화에서는 기준선 대비 14배 빠른 속도를 보였고, 단일 세포 RNA 시퀀싱 데이터의 노이즈 제거에서는 MSEnorm 0.289로 이전 최고 기록 0.240을 상회했습니다.
로컬에서 실행하는 방법
SIA는 Python으로 작성되어 있으며, pip install 'sia-agent[claude]' 또는 pip install 'sia-agent[openhands]' 명령으로 설치할 수 있습니다. Claude 모델만 사용하려면 Claude Agent SDK 프로필을, Gemini나 OpenAI 등 다양한 제공자를 사용하려면 OpenHands 프로필을 선택합니다. 실행 중에는 http://127.0.0.1:8000에서 실시간 대시보드가 자동으로 열리며, 각 세대의 에이전트 코드와 평가 점수를 확인할 수 있습니다. 보안이 필요한 경우 --sandbox docker 옵션을 사용해 Docker 컨테이너 내에서 격리 실행할 수 있습니다.
사용 전 확인 사항
기본 샌드박스 모드는 호스트 시스템에 접근 권한을 주므로, 신뢰할 수 없는 모델이나 과제를 실행할 때는 반드시 Docker 샌드박스를 활성화해야 합니다. 또한 메타 에이전트와 타깃 에이전트에 사용할 API 키를 준비해야 하며, OpenRouter를 통해 400개 이상의 모델을 단일 키로 사용할 수 있습니다.