AI 에이전트의 판단 근거를 규제 기관이 이해할 수 있는 형태로 추적하는 방법
AI가 내린 결정의 이유를 감사나 규제 기관에 설명해야 할 때, 단순히 '유사도 점수'만으로는 답이 되지 않습니다. 이 도구는 기업 데이터를 구조화된 그래프로 변환해, 어떤 데이터가 어떤 결정을 이끌어냈는지 원천부터 추적할 수 있게 합니다. LLM이나 벡터 저장소를 대체하는 것이 아니라, 그 아래에 의미와 인과 관계를 갖춘 지층을 추가하는 역할입니다.
추상적 유사도 대신 구조화된 의미
대부분의 AI 에이전트는 임베딩 벡터의 유사도로 정보를 찾지만, 이는 결과의 출처나 인과 관계를 설명하지 못합니다. 이 시스템은 문서나 데이터베이스에서 엔티티와 관계를 추출해 지식 그래프를 구축하고, 각 사실에 출처 정보를 붙입니다. 그래프 구조 덕분에 '왜 이 결과가 나왔는가'라는 질문에 데이터의 연결 고리를 따라가는 방식으로 답할 수 있습니다. 또한 서로 충돌하는 사실은 자동으로 감지되어 무작정 덮어쓰지 않고 처리됩니다.
결정 기록과 감사 추적
AI의 모든 결정은 그래프의 노드로 저장되며, 원인과 결과의 관계를 명시적으로 연결합니다. 이를 통해 과거의 유사한 결정 사례를 검색하거나, 특정 결정이 이후 어떤 영향을 미쳤는지 역추적할 수 있습니다. 생성된 기록은 W3C PROV-O 표준 형식으로 내보낼 수 있어, 금융이나 의료처럼 규제가 엄격한 분야에서 감사 자료를 준비하는 데 바로 활용할 수 있습니다. 결정의 신뢰도 점수와 적용된 정책 규칙도 함께 기록되어 투명성을 확보합니다.
기존 스택과의 통합 방식
이 도구는 기존에 사용하던 LLM이나 벡터 데이터베이스를 제거하지 않고 그 위에 레이어를 추가하는 방식으로 동작합니다. Databricks, Snowflake, SAP 등 주요 엔터프라이즈 데이터 플랫폼에서 데이터를 직접 가져와 그래프 노드로 변환합니다. 그래프 저장소도 Oxigraph, Neo4j 등 다양한 옵션을 지원하며, 코드 수정 없이 백엔드를 교체할 수 있습니다. Agno, CrewAI, LangChain 등 인기 있는 에이전트 프레임워크와도 연동되어 기존 워크플로우에 쉽게 접목됩니다.
도입 전 확인 사항
이 시스템은 LLM 내부의 추론 과정을 설명하는 것이 아니라, 모델 외부에서 제공된 컨텍스트와 생성된 결정의 흐름을 추적하는 데 초점을 맞춥니다. 따라서 LLM 자체의 블랙박스 문제를 해결하는 것은 아닙니다. 또한 그래프 기반 추론과 프로베넌스 추적은 결정론적으로 작동하지만, 대규모 데이터셋에서의 성능이나 특정 산업 표준에 대한 구체적인 벤치마크 수치는 README에 명시되어 있지 않습니다.
