에이전트 스킬이 실제 작업에 도움이 되는지 검증하는 도구
에이전트 스킬을 배포하기 전, 그 스킬이 에이전트의 작업 결과를 실제로 개선하는지 확인하고 싶다면 이 도구가 필요합니다. NVIDIA가 개발한 SkillEvaluator는 스킬의 정적 품질부터 실제 에이전트 실행까지 세 단계로 나누어 점검합니다. 이를 통해 스킬이 안전하고 중복되지 않으며, 에이전트의 성능에 긍정적인 영향을 미치는지 객관적으로 판단할 수 있습니다.
세 단계로 나누는 평가 구조
SkillEvaluator는 평가를 세 개의 독립적인 티어로 구성합니다. 1티어는 스킬이 안전하고 형식이 올바른지, 그리고 에이전트 하네스와 호환되는지 확인하는 검증 단계입니다. 2티어는 다른 스킬과 내용이 겹치거나 중복되는지 감지하는 중복 제거 단계입니다. 3티어는 실제 에이전트를 실행하여 스킬이 있는 경우와 없는 경우의 결과를 비교하는 라이브 평가 단계입니다. 각 티어는 독립적으로 실행할 수 있으며, 필요한 단계만 선택적으로 적용할 수 있습니다.
API 키 없이 시작하는 기본 검증
가장 기본적인 1티어 검증은 외부 API 키나 GPU, Docker 없이도 실행할 수 있습니다. uv와 Git만 설치되어 있으면 skillevaluator quality-check 명령어로 스킬의 정적 품질 점수를 받을 수 있습니다. 이 과정에서는 결정론적인 품질 점수와 발견된 문제점들이 리포트로 저장됩니다. 기본 통과 기준은 70점이며, 예제 스킬은 86.2점을 받아 통과합니다. 다만 이 단계는 정적 분석에 그치므로, 보안 스캐너나 라이브 에이전트 평가는 별도로 설정해야 합니다.
모델 기반 평가와 라이브 에이전트 실행
더 심층적인 평가를 원한다면 NVIDIA Build API 키를 사용할 수 있습니다. 이 키를 설정하면 모델 기반의 루브릭 점수와 피드백을 받을 수 있으며, 2티어의 임베딩 기반 중복 감지도 가능합니다. 3티어 라이브 평가를 위해서는 지원되는 에이전트와 샌드박스 환경이 필요합니다. 이 단계에서는 스킬이 에이전트의 실제 행동에 어떤 영향을 미치는지 측정합니다.
배포 전 반드시 확인해야 할 사항
이 도구는 현재 실험적 단계로 분류되며, NVIDIA의 엔터프라이즈 지원이나 SLA가 제공되지 않습니다. 따라서 프로덕션 환경에 바로 적용하기보다는, 스킬 개발 초기 단계의 품질 관리 도구로 활용하는 것이 적절합니다. 또한 이 프로젝트는 SkillSpector, Gitleaks, Semgrep 등 제3자 오픈소스 소프트웨어를 다운로드하여 설치하므로, 사용 전 해당 소프트웨어의 라이선스 조항을 검토해야 합니다. 보안 취약점이 의심될 경우 공개 이슈가 아닌 비공개 프로세스를 통해 보고해야 합니다.