X 추천 피드의 글 선정과 순서 결정 로직을 코드 단위로 추적할 수 있는 방법
지금까지 '추천' 탭에서 왜 이 글이 뜨는지 궁금해했던 독자는 이제 그 내부 로직을 직접 읽을 수 있습니다. 이 저장소는 X의 추천 피드를 구성하는 핵심 알고리즘 코드를 공개한 것으로, 어떤 글이 후보로 올라오고 어떻게 점수를 받는지, 그리고 어떤 글이 제외되는지 과정을 보여줍니다. 복잡한 기계학습 모델과 필터링 규칙이 어떻게 결합되어 최종 피드를 만드는지 확인하며, 알고리즘이 내린 판단의 근거를 추적해 볼 수 있습니다.
최근 업데이트: 선거 필터 제거와 모델 개선
선거가 종료됨에 따라 해당 필터가 적용되던 계정들의 게시물이 더 이상 자동으로 제외되지 않습니다. 같은 달 13일에는 검색 모델이 사용자가 끝까지 읽는 게시물을 더 잘 찾아내도록 학습되었습니다. 이러한 변경사항들은 피드의 품질과 관련성을 높이는 방향으로 진행되고 있습니다.
피드 구성의 두 가지 경로: 팔로우와 추천
추천 피드는 사용자가 팔로우하는 계정의 최근 게시물과, 팔로우하지 않는 계정에서 발견한 게시물을 결합하여 만들어집니다. 팔로우 중인 계정의 글은 메모리에 저장된 최근 게시물에서 가져오며, 팔로우하지 않는 계정의 글은 기계학습 기반 검색과 유사성 클러스터링을 통해 찾습니다. 이 두 가지 출처의 게시물은 동일한 모델에 의해 함께 점수를 받고 순서가 정해집니다. 사용자가 최근 어떤 행동(좋아요, 댓글 등)을 했는지를 입력으로 받아, 각 게시물에 대해 사용자가 특정 행동을 할 확률을 예측합니다.
점수 계산과 가중치의 실제 의미
최종 점수는 각 행동의 예측 확률에 가중치를 곱한 값들의 합으로 계산됩니다. 긍정적 행동(좋아요, 공유 등)에는 양의 가중치, 부정적 행동(신고, 차단 등)에는 음의 가중치가 부여됩니다. 여기서 중요한 점은 가중치가 원본 참여 횟수를 직접 조절하는 것이 아니라, 예측된 확률 값을 조절한다는 것입니다. 예를 들어 신고의 가중치가 좋아요보다 크다고 해서 '신고 1건이 좋아요 468건을 상쇄한다'고 해석하는 것은 오해입니다. 가중치는 사용자 자신의 행동 패턴에 기반한 예측 확률에 곱해지는 배수이며, 코드의 주석에도 이를 명확히 이해하도록 설명이 추가되었습니다.
가시성 필터링과 라벨링 시스템
게시물이 피드에 표시될 수 있는지는 랭킹과 별개로 '가시성 필터링' 시스템이 결정합니다. 이 시스템은 게시물의 라벨, 사용자의 차단/무음 설정, 계정 상태 등을 종합하여 게시물을 '허용', '알림 표시', '중간 화면 표시', '제외' 중 하나로 분류합니다. 라벨은 스팸, 성인 콘텐츠, 폭력성 등을 분류하는 모델과, 계정 신뢰도를 평가하는 시스템이 지속적으로 생성합니다.
이 저장소를 읽기 전 알아야 할 점
이 저장소는 Rust로 작성되어 있으며, JAX 기반의 기계학습 모델과 Rust 서빙 레이어가 결합된 구조입니다. 모든 구성 요소가 단일 요청 경로에서 실행되는 것은 아니며, 콘텐츠 이해와 라벨링은 요청 경로 밖에서 지속적으로 수행됩니다. 일부 규칙은 게임화(회피)를 방지하기 위해 저장소에 포함되지 않았습니다. 코드 구조가 복잡하고 상호 의존성이 높으므로, 전체 아키텍처 다이어그램을 먼저 파악한 후 개별 컴포넌트를 읽는 것이 좋습니다.