AI 코딩 어시스턴트가 실제 스마트폰을 직접 조종해 테스트를 수행하게 하는 도구
IDE 채팅창에 '로그인 후 팝업이 뜨는지 확인해 줘'라고 입력하면, AI가 실제 기기의 화면을 보고 버튼을 눌러 결과를 보고합니다. ARTEMIS는 자연어 지시를 받아 안드로이드 기기에서 작업을 실행하고 로그와 스크린샷을 수집하는 자동화 시스템입니다. 구글 연구소의 AndroidWorld 벤치마크에서 99% 이상의 작업 완료율을 기록했습니다.
IDE와 기기를 연결하는 MCP 서버
ARTEMIS는 Model Context Protocol(MCP) 서버를 내장하여 Antigravity, Claude Code, Codex 등 AI IDE와 연결됩니다. 개발자가 IDE에서 테스트 시나리오를 설명하면, ARTEMIS가 이를 단계별 계획으로 변환하고 실제 기기에 적용합니다. 실행 중 발생하는 Logcat 로그와 스크린샷을 수집해 구조화된 진단 보고서로 반환합니다. 이 과정에서 AI는 모바일 테스트 엔지니어의 관점을 담은 규칙 파일(rules.md)을 참조하여 UI 상호작용을 더 정확하게 수행합니다.
작업 성격에 따른 Flash와 Pro 프로필
ARTEMIS는 작업의 복잡도에 따라 Flash와 Pro 두 가지 실행 프로필을 제공합니다. Flash 프로필은 3~5초 단위의 빠른 반응 루프로, 일상적인 UI 조작이나 결정론적인 작업에 적합합니다. Pro 프로필은 15~40초 단위의 계획 및 검증 워크플로우로, 100단계 이상의 긴 워크플로우나 안정성 테스트에 사용됩니다. Pro 모드는 실행 전 안전장치(Safety Net)를 거치며, 실패 시 복구 로직을 내장하고 있어 복잡한 시나리오에서도 신뢰성을 유지합니다.
기기에 설치되는 접근성 헬퍼
첫 번째 작업 실행 시 ARTEMIS는 'Artemis Accessibility Helper'라는 작은 접근성 서비스를 기기에 설치합니다. 이 서비스는 화면 레이아웃을 읽기 위해 사용되며, UiAutomation 연결을 차지하지 않아 다른 도구와의 충돌을 줄입니다. 기기에 'Artemis test helper is running' 알림이 표시되고 설정 > 접근성 항목에 추가되지만, 데이터는 기기 외부로 전송되지 않습니다. uv run artemis helper uninstall 명령으로 언제든 제거할 수 있으며, UIAutomator2 백엔드를 선호한다면 환경 변수를 통해 전환할 수도 있습니다.
안드로이드에 집중된 현재 상태와 향후 계획
ARTEMIS는 Apache License 2.0으로 배포되며, 현재는 안드로이드 플랫폼에 집중되어 있습니다. iOS 지원은 로드맵에 포함되어 있으며, Android Studio 통합과 온디바이스 경량 VLM 실행도 계획되어 있습니다. AI IDE와의 연동을 위해서는 MCP 프로토콜을 지원하는 환경이 필요하며, 기기에 접근성 권한을 부여해야 합니다. 복잡한 UI나 커스텀 인터페이스(Compose, Flutter 등)를 다룰 때는 시각적 모델과 OCR을 결합한 멀티모달 타겟팅 기능이 작동합니다. 다만, Flash 모드는 사전 안전장치나 최종 보고서 기능이 제한적이므로, 중요한 검증이 필요한 작업은 Pro 모드를 사용하는 것이 좋습니다.