클라우드 없이 내 컴퓨터에서 PDF를 마크다운과 JSON으로 빠르게 변환하는 오픈소스 도구
복잡한 설정 없이 내 컴퓨터에서 PDF의 텍스트와 레이아웃을 즉시 추출해 보세요. LiteParse는 PDF, DOCX, XLSX, PPTX, 이미지 등 다양한 문서를 받아 들여 제목, 표, 목록, 이미지, 링크가 포함된 마크다운이나 JSON, 텍스트로 변환하는 도구입니다. 특히 LLM 에이전트나 RAG 파이프라인에 깨끗한 데이터를 공급하는 데 초점을 맞춥니다.
로컬 실행과 빠른 처리 속도
이 도구는 PDFium C 라이브러리를 사용해 페이지당 약 2~5ms의 속도로 텍스트를 추출합니다. 모든 처리가 로컬에서 일어나므로 클라우드 의존성이나 비공개 LLM 기능이 필요 없습니다. Rust 코어로 작성되어 Linux, macOS(Intel/ARM), Windows에서 모두 동작합니다. Node.js, Python, Rust, 브라우저(WASM)에서 사용할 수 있는 바인딩이 제공되어 기존 프로젝트에 쉽게 통합할 수 있습니다.
OCR과 복잡도 감지 기능
내장된 Tesseract 엔진으로 추가 설정 없이 OCR을 수행하거나, EasyOCR, PaddleOCR 등 외부 OCR 서버를 HTTP API로 연결할 수 있습니다. lit is-complex 명령을 사용하면 문서 전체를 파싱하기 전에 OCR이 필요한지, 더 무거운 처리가 필요한지 빠르게 판단할 수 있습니다. 이를 통해 문서를 다른 파이프라인으로 라우팅하거나, 처리 비용을 추정하고, 처리할 수 없는 문서를 거부하는 등 효율적인 워크플로우를 구성할 수 있습니다.
벤치마크 결과와 비교
2026년 9월 9일 기준 최신 릴리스 버전으로 측정된 공개 벤치마크에서 LiteParse는 모델 기반 도구가 아닌 '모델 프리' 도구들 중 우수한 성능을 보였습니다. ParseBench(2,049개 문서)에서 평균 점수 0.364를 기록했으며, Tesseract OCR을 추가하면 0.380, PaddleOCR을 추가하면 0.389로 상승했습니다. 같은 조건에서 경쟁 도구인 pdf-inspector는 0.283, opendataloader는 0.277, markitdown은 0.185의 점수를 얻었습니다. opendataloader-bench와 olmOCR-bench에서도 유사하게 다른 무료 로컬 도구들보다 높은 점수를 기록했습니다.
설치와 사용 방법
Node.js/TypeScript 환경에서는 npm i -g @llamaindex/liteparse, Python에서는 pip install liteparse, Rust에서는 cargo install liteparse 명령으로 설치할 수 있습니다. 브라우저용 WASM 버전도 npm i @llamaindex/liteparse-wasm으로 설치 가능합니다. 설치 후 lit parse document.pdf --format markdown 명령으로 마크다운 파일로 변환하거나, --format json으로 구조화된 JSON을 얻을 수 있습니다. 특정 페이지만 추출하거나, OCR을 비활성화하고, 벡터 그래픽이나 주석, 폼 필드 등 추가 메타데이터를 포함하는 옵션도 제공합니다.
적합한 대상과 한계
이 도구는 로컬에서 빠르게 문서를 처리해야 하거나, 클라우드 비용과 데이터 프라이버시를 고려해야 하는 환경에 적합합니다. 특히 LLM에 공급할 마크다운 데이터를 생성하거나, 문서의 레이아웃 블록과 바운딩 박스 정보를 필요로 하는 개발자에게 유용합니다. 다만, 매우 복잡한 표, 다중 열 레이아웃, 차트, 손글씨, 스캔된 PDF와 같은 어려운 문서에서는 클라우드 기반 LlamaParse가 더 정확한 결과를 제공할 수 있습니다. 또한 차트 데이터 재구성이나 수식(LaTeX) 출력은 현재 지원되지 않으며, 이러한 항목은 벤치마크에서 0점에 가깝게 평가됩니다.