arXiv 논문 수집부터 텔레그램 봇 연동까지, 7주 만에 실전 RAG 시스템을 직접 구축하는 과정
arXiv에서 최신 논문을 자동으로 수집하고, 사용자가 질문하면 관련 내용을 찾아 답변하는 AI 연구 보조기를 직접 만들어 봅니다. 벡터 검색만 다루는 튜토리얼과 달리, 키워드 검색의 기초를 다진 뒤 의미론적 검색을 결합하는 산업 현장의 표준 방식을 따릅니다. 매주 배포되는 코드와 노트를 따라가며, 최종적으로는 텔레그램 봇으로 연결된 지능형 RAG 시스템을 완성하게 됩니다.
검색의 기초부터 시작하는 학습 경로
이 과정은 단순히 AI 모델을 호출하는 데서 끝나지 않습니다. 1주차에는 Docker와 FastAPI, PostgreSQL, OpenSearch, Airflow로 구성된 인프라를 세팅합니다. 2주차에는 arXiv API를 통해 논문을 가져오고 PDF를 파싱하는 데이터 파이프라인을 구축합니다. 3주차에는 BM25 알고리즘을 활용한 키워드 검색을 구현하며, 이것이 왜 RAG 시스템의 핵심 기반인지 이해합니다. 4주차에는 문서 청킹 전략과 하이브리드 검색을 도입해 검색의 정확도를 높입니다.
완전한 RAG 파이프라인과 운영 모니터링
5주차에는 Ollama를 이용한 로컬 LLM을 연동하여 검색 결과를 자연어 답변으로 변환하는 과정을 학습합니다. 이때 프롬프트 최적화를 통해 응답 속도를 6배까지 개선하는 기법도 함께 다룹니다. 6주차에는 Langfuse를 이용한 추적(tracing)과 Redis 캐싱을 적용해 시스템의 성능과 비용을 모니터링하는 방법을 배웁니다. 캐싱을 통해 150~400배의 속도 향상을 기대할 수 있는 구조를 이해하게 됩니다.
에이전트 기반 RAG와 모바일 접근성
마지막 7주차에서는 LangGraph를 활용해 에이전트 워크플로우를 구성합니다. 에이전트는 검색 전략을 스스로 평가하고, 결과가 부족하면 쿼리를 재작성하거나 문서를 등급별로 분류하는 등 적응형 검색을 수행합니다. 또한 도메인 밖 질문을 감지하여 환각(hallucination)을 방지하는 가드레일 기능을 구현합니다. 완성된 시스템은 텔레그램 봇으로 연결되어 모바일에서도 대화형 AI를 이용할 수 있게 됩니다.
실행 전 준비 사항과 비용
이 과정을 따라가기 위해서는 Docker Desktop, Python 3.12 이상, UV 패키지 매니저가 필요합니다. 하드웨어 사양으로는 8GB 이상의 RAM과 20GB 이상의 여유 디스크 공간이 요구됩니다. Jina AI의 무료 API 키와 Langfuse 키를 설정해야 하며, 텔레그램 봇 토큰은 7주차부터 필요합니다. 모든 서비스는 로컬에서 실행되므로 기본 비용은 0원이며, 외부 LLM 서비스를 선택적으로 사용할 경우 약 2~5달러의 비용이 발생할 수 있습니다. MIT 라이선스로 공개되어 있어 자유롭게 학습 및 활용이 가능합니다.