법률 에이전트의 실제 업무 수행력을 점수화하는 개방형 시험대
인공지능 에이전트가 인수합병 데이터룸 같은 실제 법률 환경에서 주어진 지시를 얼마나 정확히 수행하는지 눈으로 확인해 볼 수 있습니다. 이는 법률 업무에 특화된 벤치마크로, 에이전트의 능력을 평가하고 개선하는 데 쓰입니다. 복잡한 이론이 아닌, 에이전트가 문서를 읽고 산출물을 만들어 내는 전 과정을 점수화하는 과정입니다.
M&A 데이터룸 시나리오로 검증
이 도구는 단순한 질의응답이 아닌, 현실적인 M&A 데이터룸 업무를 끝까지 수행하는 과정을 평가합니다. 에이전트가 지시를 읽고 관련 문서를 분석한 뒤, 요구된 산출물을 만들어 내는 전 과정을 추적합니다. 각 작업에는 에이전트에게 전달할 지시문, 참고할 문서, 그리고 채점 기준인 루브릭이 함께 제공됩니다. 이를 통해 에이전트가 실제 법률 환경에서 얼마나 신뢰할 수 있는 결과를 내는지 파악할 수 있습니다.
실행 하네스와 채점 시스템 구성
도구는 두 부분으로 나뉩니다. 하나는 에이전트 지시, 문서, 채점 기준이 담긴 작업 데이터셋이고, 다른 하나는 에이전트를 실행하고 결과를 평가하는 실행 하네스입니다. 하네스는 에이전트가 작업을 수행하는 환경을 제공하고, 생성된 결과를 미리 정해진 기준에 따라 채점합니다. 특히 .docx 형식의 결과물을 채점할 때는 pandoc CLI 3.5 이상을 시스템에 설치해야 합니다. 이 구성은 에이전트 실행과 평가 과정을 분리하여 재현 가능한 결과를 보장합니다.
라이브러리 형태로 활용하기
실행 하네스와 채점기는 lab-core라는 Python 패키지로 제공됩니다. 이 패키지를 설치하면 저장소 외부에서도 에이전트를 실행하고 평가할 수 있습니다. 설치 시 LAB_ROOT 환경 변수를 작업 데이터셋이 있는 경로로 지정하면 됩니다. 또한 python -m lab_core.… 명령어를 통해 다양한 기능을 사용할 수 있습니다. 이 방식은 연구자나 개발자가 자신의 에이전트를 이 벤치마크에 쉽게 연결할 수 있게 합니다.
사용 전 확인해야 할 사항
이 프로젝트는 계속 발전 중인 단계로, 작업 세트와 실행 하네스가 정기적으로 추가 및 개선됩니다. 따라서 최신 버전을 사용하는 것이 중요합니다. 또한 이 도구는 법률 업무에 특화되어 있으므로, 다른 분야의 에이전트 평가에는 적합하지 않을 수 있습니다. 연구 목적으로 사용할 경우 README에 제시된 인용 형식을 따르는 것이 좋습니다.
