음성 데이터로 영상을 다듬는 편집 에이전트
원본 영상 파일을 폴더에 넣고 "이걸로 런칭 영상을 만들어줘"라고 말하면, 불필요한 말과 여백을 잘라낸 완성본이 돌아옵니다. 영상 프레임을 직접 보지 않고 음성 인식 결과와 필요한 순간의 스크린샷만으로 편집을 수행하는 도구입니다. 프롬프트로 지시하는 방식이라 메뉴나 설정 화면을 건드릴 필요가 없습니다.
음성 데이터 기반 편집 방식
이 도구는 LLM이 영상 프레임을 직접 분석하지 않도록 설계되었습니다. 대신 ElevenLabs Scribe를 이용해 단어 단위 타임스탬프와 화자 정보를 추출한 텍스트 파일을 주요 입력으로 사용합니다. 시각적 확인이 필요한 순간에만 특정 시간 구간의 필름스트립과 파형 그래프를 생성해 참조합니다. 이러한 방식은 수십만 토큰의 영상 데이터를 처리하는 대신, 약 12KB의 텍스트와 소수의 이미지로 편집 결정을 내립니다. 이는 브라우저 에이전트가 스크린샷 대신 구조화된 DOM을 사용하는 것과 같은 원리입니다.
자동화되는 편집 작업
대사 중의 '음', '어' 같은 채워 넣는 말과 테이크 사이의 정적 구간을 자동으로 제거합니다. 각 세그먼트에 색 보정을 적용하며, 컷 지점마다 30ms 오디오 페이드를 넣어 팝 노이즈를 방지합니다. 자막은 기본값으로 2단어 대문자 형식으로 삽입되지만 스타일을 자유롭게 변경할 수 있습니다. HyperFrames, Remotion, Manim, PIL을 활용해 애니메이션 오버레이를 생성하며, 각 애니메이션은 병렬 서브 에이전트로 처리됩니다. 모든 편집 세션의 기억은 project.md 파일에 저장되어 다음 세션에서 이어서 작업할 수 있습니다.
설치 및 실행 방법
Claude Code, Codex, Hermes 등 셸 접근 권한이 있는 에이전트에 설치 프롬프트를 붙여넣으면 클론, 의존성 설치, ffmpeg 연동, ElevenLabs API 키 등록까지 자동으로 처리됩니다. 수동으로 설치하려면 저장소를 클론한 뒤 에이전트의 스킬 디렉토리에 심볼릭 링크를 만들고, uv sync 또는 pip install -e .으로 의존성을 설치합니다. ffmpeg는 필수이며, 온라인 소스 다운로드를 위해 yt-dlp를 선택적으로 설치할 수 있습니다. .env 파일에 ElevenLabs API 키를 입력한 후, 원본 영상이 있는 폴더에서 에이전트를 실행하면 됩니다.
편집 품질 보증 프로세스
렌더링된 출력물은 사용자가 보기 전에 자체 평가 단계를 거칩니다. 모든 컷 경계에서 시각적 점프, 오디오 팝, 숨겨진 자막 여부를 확인하며, 문제가 발견되면 최대 3회까지 수정 및 재렌더링을 수행합니다. 이 과정이 통과한 후에만 미리보기가 제공됩니다. 편집 전략은 사용자의 승인을 받은 후에만 실행되며, 콘텐츠 유형에 대한 사전 가정을 두지 않고 먼저 확인한 뒤 편집을 진행합니다.
사용 전 확인 사항
이 도구는 ElevenLabs API 키가 필수이며, ffmpeg가 설치된 환경에서 작동합니다. Claude Code, Codex, Hermes, Openclaw 등 셸 접근이 가능한 에이전트 환경이 필요합니다. 영상 편집의 정확성은 음성 인식의 품질에 크게 의존하므로, 배경 소음이 심한 원본 영상은 인식 오류가 발생할 수 있습니다. 복잡한 비선형 편집이 필요한 경우보다는, 대본 기반의 직선적 편집이 필요한 콘텐츠에 적합합니다.
