게임용 PC에서 언어 모델의 거절 반응을 제거하고 말투를 조정하는 도구
거대한 데이터센터가 없어도, 내 컴퓨터에서 돌리는 AI 모델이 '죄송합니다'라고 거절하는 문장을 없애거나, 지나치게 아첨하는 말투를 고칠 수 있습니다. Heretic은 모델을 다시 학습시키지 않고, 수학적 기법으로 모델의 행동 방향만 살짝 틀어주는 도구입니다. 복잡한 내부 구조를 몰라도, 몇 분 안에 원하는 대로 모델을 수정할 수 있습니다.
학습 없이 모델을 바꾸는 원리
일반적으로 AI 모델의 성격을 바꾸려면 막대한 계산 자원을 들여 다시 학습해야 합니다. Heretic은 이 과정을 생략하고, 비교용 프롬프트와 점수 계산기를 이용해 모델의 출력을 유도합니다. 거절 빈도나 특정 단어 사용률 같은 지표를 최적화하는 방식으로 작동합니다. 덕분에 RTX 3090 같은 소비자용 그래픽 카드로도 4B 규모의 모델을 30~40분 안에 처리할 수 있습니다. 처리가 끝나면 모델을 저장하거나, Hugging Face에 업로드하거나, 바로 채팅으로 테스트할 수 있습니다.
설정 파일로 원하는 성격을 지정
기본 설정은 거절 반응 제거에 초점을 맞춥니다. 하지만 설정 파일을 바꾸면 다른 효과를 낼 수 있습니다. config.noslop.toml을 쓰면 무의미한 수다를 줄이고, config.nosyco.toml을 쓰면 아첨하는 말투를 억제합니다. config.emotions.toml은 감정적 정렬을 조정하는 데 쓰입니다. 각 설정은 어떤 점수 계산기(scorer)를 활성화할지, 그 점수를 최소화할지 최대화할지 결정합니다. 여러 점수 계산기를 동시에 사용하거나, 직접 코드를 작성해 새로운 평가 기준을 만들 수도 있습니다.
재현 가능한 모델 아카이브
Heretic은 모델 수정 과정을 기록해, 동일한 환경에서 바이트 단위로 동일한 모델을 다시 만들 수 있게 합니다. Hugging Face에 모델을 올릴 때 이 재현 정보를 포함할 수 있습니다. reproduce.json 파일은 모델 생성에 필요한 모든 환경 정보를 담고 있습니다. heretic --reproduce 명령을 실행하면 시스템 환경을 검사하고, 원래 모델과 동일한 결과를 내도록 가이드합니다. 이 과정은 원래의 수 시간 계산이 아니라 몇 분 안에 끝납니다. 이러한 재현 매니페스트 모음은 'Heretic Grimoire'라고 불리며, 로컬에 백업해 두면 언제든 모델을 복원할 수 있습니다.
사용 전 확인 사항
Python 3.10 이상과 PyTorch 2.6 이상 환경이 필요합니다. pip install -U heretic-llm으로 설치한 뒤, 처리할 모델 이름을 지정해 실행합니다. 4비트 양자화를 지원해 VRAM 사용량을 줄일 수 있지만, 정확도에 약간의 손실이 있을 수 있습니다. 이 도구는 거대 기업만이 할 수 있던 모델 수정을 개인에게 열어주지만, 결과 모델의 법적·윤리적 책임은 사용자에게 있습니다. AGPL v3 라이선스 하에 배포되며, 기여 시에도 같은 라이선스를 따릅니다.
