에이전트가 실제 데스크톱을 조작하고 팀이 함께 쓰는 컴퓨터 환경을 구축하는 도구
에이전트가 코드를 실행하거나 API를 호출하는 것을 넘어, 실제 화면에서 마우스를 움직이고 키보드를 치며 작업을 완수하는 장면을 만들 수 있습니다. Cua는 사용자가 가진 여러 컴퓨터를 하나의 슈퍼컴퓨터처럼 묶어 에이전트와 팀이 공유하는 오픈소스 프로젝트입니다. 데스크톱 자동화 드라이버, 로컬 가상 머신, 벤치마크까지 컴퓨터 사용(Computer-Use) 시나리오에 필요한 요소가 한곳에 담겨 있습니다.
내 컴퓨터를 에이전트의 작업 공간으로
Cua Spaces는 macOS 데스크톱 앱으로, 사용자의 Mac이나 클라우드 서버를 에이전트가 쓸 수 있는 독립된 데스크톱 환경인 'Space'로 만들어 줍니다. 각 Space는 로컬에서 구동되는 macOS 가상 머신이거나 Linux 이미지일 수 있으며, 메뉴 바와 노치 영역에서 상태를 확인할 수 있습니다. 'Teleport' 기능은 Chrome이나 Slack처럼 로그인된 앱을 Space 안으로 옮기면, 기존 세션이 유지된 채로 열리도록 합니다. 이때 세션 정보는 Mac에 암호화되어 저장되며, 사용자가 승인한 후에만 Space로 전달됩니다. 팀원이나 에이전트가 같은 데스크톱에서 각자의 커서를 가지고 동시에 작업할 수 있는 멀티플레이어 기능도 지원합니다.
에이전트가 앱을 조작하는 방식
Cua Driver는 macOS, Windows, Linux에서 네이티브 데스크톱 앱과 브라우저를 검사하고 조작하는 도구를 제공합니다. 에이전트는 CLI, MCP, 또는 타입화된 SDK를 통해 이 드라이버에 연결하여 화면을 보고 마우스와 키보드 입력을 보냅니다. 배경 전달(Background delivery) 기능이 지원되는 플랫폼에서는 에이전트가 사용자의 포인터를 움직이거나 앱의 포커스를 빼앗지 않고도 작업을 수행할 수 있습니다. 예를 들어 계산기 앱에서 6을 7로 곱한 결과가 42로 표시되는지 확인하는 간단한 튜토리얼을 통해 에이전트의 조작 과정을 검증할 수 있습니다. LibreOffice Calc나 Inkscape와 같은 복잡한 앱에서도 셀이나 객체를 선택하는 데 사용할 수 있습니다.
로컬 가상 머신과 샌드박스 관리
Lume는 Apple Silicon 기반 Mac에서 Apple의 Virtualization.Framework를 이용해 로컬 macOS와 Linux 가상 머신을 생성하고 관리하는 도구입니다. Apple 복구 이미지에서 macOS Tahoe VM을 만들고 SSH로 연결하는 과정을 자동화합니다. 또한 cua CLI와 SDK를 사용하면 gVisor 컨테이너나 로컬 런타임으로 샌드박스를 빠르게 생성하고 실행할 수 있습니다. Python, TypeScript, Rust SDK를 통해 프로세스 내장 또는 공유 데몬 방식으로 샌드박스를 제어할 수 있으며, 에이전트 없이도 샌드박스를 직접 구동할 수 있습니다. cua host setup 명령을 사용하면 포트 포워딩 없이도 다른 컴퓨터에서 이 머신을 접근할 수 있게 설정할 수 있습니다.
모델과 벤치마크
CUA-S1은 컴퓨터 사용에 특화된 소형 'System 1' 모델 계열입니다. 이는 빠른 제한된 결정, 예를 들어 어떤 값을 필드에 넣을지 선택하거나 요소를 그대로 둘지 판단하는 데 초점을 맞춘 엔지니어링 비유입니다. 첫 번째 연구 프로필은 형태(Form)에 집중하여, 구조화된 인터페이스 요소와 문서 값을 기반으로 결정을 점수화합니다. Cua Bench는 컴퓨터 사용 태스크를 만들고 에이전트를 평가하며, 학습용 궤적을 내보내는 벤치마크 도구입니다. VM이나 Docker, 모델 API 키 없이 시뮬레이션된 태스크를 만들어 평가자가 보상을 1.0으로 보고하는지 검증할 수 있습니다. Python 3.12 또는 3.13과 uv가 설치되어 있어야 합니다.
라이선스와 사용 전 확인 사항
이 저장소의 대부분은 MIT 라이선스를 따르지만, Cua Spaces와 Cua Driver Bench는 FSL-1.1-MIT 라이선스를 적용받습니다. FSL-1.1-MIT는 소스 공개(Source-available) 라이선스로, 호스팅 서비스로 제공하거나 경쟁하는 호스팅 서비스를 만들지 않는 조건으로 자유롭게 사용, 셀프 호스팅, 구축할 수 있으며, 릴리스 2년 후 MIT로 전환됩니다. Cua Spaces 앱은 macOS 26 이상에서만 설치할 수 있으며, 개인 사용자는 무료로, Pro는 월 18달러, Teams는 시트당 월 30달러입니다. 또한 cua-perception 확장 기능은 AGPL-3.0 라이선스를 포함할 수 있어 재배포 시 주의가 필요합니다.
