에이전트가 긴 문서를 부분적으로 읽고 인용할 수 있게 하는 로컬 문서 처리 도구
수백 페이지 분량의 PDF나 표가 가득한 엑셀 파일을 에이전트가 한 번에 읽지 않고, 필요한 부분만 찾아 인용할 수 있게 됩니다. MinerU는 문서를 기계가 이해하기 쉬운 마크다운이나 JSON으로 변환하는 도구이자, 변환된 결과를 저장하고 검색하는 로컬 문서 라이브러리 역할을 합니다. 4.0 버전에서는 문서 변환, 라이브러리 관리, 에이전트용 읽기 기능을 하나의 워크플로로 묶어 제공하며, 특히 에이전트가 문서를 부분적으로 읽고 이어가는 방식을 지원합니다.
4.0 버전의 변화: 변환과 읽기를 하나로
MinerU 4.0은 단순한 문서 변환 도구를 넘어, 로컬 문서 라이브러리와 서비스 도구를 통합한 워크플로를 제공합니다. 이전 버전들이 주로 파일 형식 변환에 집중했다면, 이번 버전에서는 변환된 결과를 캐시하고 검색하며, 에이전트가 페이지나 블록 단위로 내용을 이어 읽을 수 있는 기능을 강화했습니다. 또한 문서 위치를 식별하는 안정적인 로케이터를 제공하여, 에이전트가 나중에 특정 부분을 다시 참조하거나 인용할 때 혼란을 줄입니다. 이러한 변화는 에이전트가 긴 문서를 한 번에 처리하지 않고, 필요한 부분만 단계적으로 접근하는 방식을 가능하게 합니다.
네 가지 품질 단계와 지원 형식
MinerU는 문서의 복잡도와 사용 목적에 따라 네 가지 품질 단계(tier)를 제공합니다.
- 품질 단계 선택 사용자는 문서의 성격과 하드웨어 사양에 따라
flash,basic,standard,advanced중 하나를 선택할 수 있습니다. 기본값은standard이며, 빠른 확인이 필요할 때는flash를 명시적으로 지정해야 합니다. - 다양한 출력 형식 하나의 문서 모델이 Markdown, HTML, LaTeX, DOCX, EPUB, PDF, Structured Content, Content List V1/V2 등 아홉 가지 렌더링 타깃을 지원합니다. 각 CLI나 API는 자체적으로 지원되는 출력 형식의 하위 집합을 제공합니다.
- 모델 엔진 구성 소형 모델은 ONNX 또는 Torch를, VLM은 llama.cpp, vLLM, LMDeploy 중 선택하여 독립적으로 구성할 수 있습니다. 이는 다양한 하드웨어 환경에서 최적의 추론 속도를 얻기 위한 유연성을 제공합니다.
에이전트 워크플로에서의 사용법
MinerU는 에이전트가 문서를 읽는 과정을 명령줄 인터페이스(CLI)와 Python SDK를 통해 지원합니다. 에이전트는 mineru parse 명령으로 문서를 파싱하고, --json 옵션을 사용하여 구조화된 결과를 받아 제어 흐름을 결정합니다. 긴 문서를 처리할 때는 전체 파일을 컨텍스트에 로드하지 않고, 반환된 로케이터를 이용해 페이지나 블록 단위로 내용을 이어 읽을 수 있습니다. 이러한 기능들은 에이전트가 문서에 대한 질문을 답변하거나 요약을 생성할 때 필요한 정보를 효율적으로 추출하는 데 도움을 줍니다.
설치와 하드웨어 요구 사항
MinerU는 Python 3.10 이상 3.15 미만의 환경을 요구하며, uv나 pipx를 통해 설치할 수 있습니다. 기본 설치 시 소형 모델은 ONNX CPU 추론을, VLM은 Vulkan 모드의 llama.cpp를 사용하므로 대부분의 장치에서 호환성이 좋습니다. NVIDIA GPU가 있는 경우 mineru[full]을 설치하면 더 높은 처리량을 얻을 수 있으며, 이는 최소 16GB의 RAM과 8GB 이상의 VRAM을 가진 Volta 이후의 NVIDIA GPU를 요구합니다. Apple Silicon이나 저사양 GPU 환경에서는 기본 패키지나 torch 추가 패키지가 적합합니다.
프라이버시와 원격 파싱 정책
MinerU는 프라이버시를 최우선으로 고려하며, 기본적으로 모든 문서는 로컬에서 파싱됩니다. 문서를 원격으로 전송하여 파싱하려면 --remote 옵션을 명시적으로 사용해야 하며, 이 경우 사용자의 동의가 필요합니다. 특히 민감하거나 기밀이 포함된 문서는 로컬 파싱을 유지하는 것이 권장되며, 로컬 파싱이 실패했다고 해서 자동으로 원격으로 전환되지 않습니다. 원격 파싱이 허용된 경우에도, 사용자의 명시적 동의 없이는 문서가 업로드되지 않습니다. 이러한 정책은 기업이나 개인이 민감한 정보를 다루면서도 문서 자동화 워크플로를 활용할 수 있도록 안전 장치를 제공합니다.
