AI 에이전트가 웹을 읽고 구조화된 데이터를 뽑아내는 크롤러
URL 하나만 던지면 브라우저 실행과 프록시 설정을 신경 쓸 필요 없이, AI가 바로 처리할 수 있는 마크다운 텍스트가 돌아옵니다. Crawl4AI는 웹 페이지를 크롤링해 LLM이 이해하기 좋은 형태로 변환하는 오픈소스 도구입니다. 클라우드 API를 통해 호스팅된 서비스를 쓰거나, 내 컴퓨터에서 직접 실행하는 두 가지 방식이 준비되어 있습니다.
클라우드와 로컬, 두 가지 사용법
Crawl4AI Cloud는 호스팅된 API로, 브라우저 실행과 프록시 관리를 서비스 측에서 처리합니다. 무료 API 키를 발급받아 월 1,000 크레딧을 사용할 수 있으며, 신용카드 등록이 필요 없습니다. 반면 이 저장소에는 Apache-2.0 라이선스의 크롤러 코드가 포함되어 있어, Python 라이브러리로 설치하거나 Docker로 서버를 띄워 직접 운영할 수도 있습니다. 클라우드를 쓰면 JS가 많은 페이지나 봇 차단 대응을 자동으로 처리해주지만, 로컬에서는 세션, 쿠키, 사용자 스크립트 등 모든 설정을 직접 제어할 수 있습니다.
LLM 친화적인 데이터 추출
이 도구의 핵심은 웹 페이지를 LLM이 잘 읽을 수 있는 형태로 변환하는 것입니다. 메뉴나 푸터 같은 불필요한 요소는 필터로 제거하고, 제목, 목록, 표, 코드 블록은 구조를 유지한 채 마크다운으로 정리합니다. 페이지 내 링크는 번호가 매겨진 참고 문헌 목록으로 변환되어 인용이 쉽습니다. 또한 CSS 선택자나 XPath 스키마를 이용해 LLM 없이도 빠르게 구조화된 JSON을 추출할 수 있고, 필요 시 LLM을 연결해 더 복잡한 데이터 추출을 수행할 수도 있습니다.
설치와 실행 방법
로컬에서 실행하려면 Python 환경에 pip install -U crawl4ai 명령으로 설치한 뒤, crawl4ai-setup을 실행해 브라우저를 준비해야 합니다. Docker로 서버를 띄울 때는 CRAWL4AI_API_TOKEN 환경 변수를 설정해야 하며, 토큰이 없으면 컨테이너 내부에서만 응답합니다. 클라우드 API를 사용하려면 CRAWL4AI_KEY 환경 변수에 API 키를 넣고, https://api.crawl4ai.com/scrape 엔드포인트에 URL을 보내면 됩니다. Claude Code나 Cursor 같은 AI 에이전트 도구에는 MCP 서버를 통해 한 줄 명령으로 연결할 수 있습니다.
선택을 위한 기준
브라우저 관리나 프록시 설정에 시간을 쓰고 싶지 않고, 웹 검색 기능까지 함께 쓰고 싶다면 클라우드 API가 적합합니다. 월 1,000 크레딧의 무료 한도 내에서 테스트해본 후, 필요 시 유료 플랜으로 전환할 수 있습니다. 반면 데이터 주권을 중시하거나, 특정 브라우저 설정이 필요한 경우 로컬 실행을 고려해야 합니다. 로컬 실행은 무료이지만 인프라 비용은 사용자가 부담해야 하며, JS가 많은 페이지나 봇 차단이 있는 사이트에서는 직접 프록시와 스텔스 모드를 설정해야 합니다. Apache-2.0 라이선스이므로 상업적 사용도 가능하지만, 프로젝트에 배지나 인용을 포함하는 것이 권장됩니다.
