BM25와 cosine score를 단순 합산하면 왜 불안정하고 RRF는 무엇을 피하나요?

BM25와 cosine은 score의 범위와 의미가 다르기 때문에 raw score를 그대로 더하면 query마다 한 retriever가 결과를 지배할 수 있습니다. 예를 들어 lexical 12와 dense .8을 더하는 것과 lexical 2와 dense .79를 더하는 것은 숫자상 lexical 차이가 과도하게 반영됩니다. RRF는 score가 아니라 각 목록의 rank에 1/(k+rank) 기여를 더해 raw scale 비교를 피합니다. 다만 RRF가 calibration, 중복 identity, 후보 누락, 권한 필터를 자동 해결하는 것은 아닙니다.

k=60일 때 lexical 1위·dense 10위 문서는 1/61+1/70≈.03065입니다. lexical 20위·dense 2위는 1/80+1/62≈.02863입니다. 두 목록에서 모두 상위권인 문서를 비교적 안정적으로 합치지만, cutoff 밖 문서는 기여가 0인 “검색되지 않은 문서”이지 실제 51위 점수로 넣을 수 없습니다. 동일 document ID는 union 후 dedupe해 두 rank 기여를 합칩니다.

raw weighted sum을 쓰려면 score calibration을 query 분포와 label로 학습하고 drift를 감시해야 합니다. RRF를 쓰더라도 lexical exact match나 권한·tenant 필터처럼 반드시 지켜야 하는 조건을 fusion 전후 어느 단계에 둘지 정합니다. 품질은 candidate recall과 NDCG, 운영성은 p95/p99와 QPS로 따로 확인하겠습니다.

두 문서 전체를 계산하면 raw sum의 문제를 더 잘 볼 수 있습니다. query A에서 D1=(12,.80), D2=(10,.79)이면 동일 가중치 합은 6.40과 5.395로 D1이 앞섭니다. query B에서 D1=(2,.80), D2=(1.9,.79)이면 1.40과 1.345로 같은 .1 lexical 차이가 다른 비중을 차지합니다. RRF k=60에서는 D1이 lexical 1위·dense 10위일 때 약 .03065, D2가 lexical 20위·dense 2위일 때 약 .02863입니다. cutoff 밖 문서를 임의의 51위로 넣지 않는 missing convention은 구현 선택이며 이번 PDF에서 직접 확인한 규칙이 아닙니다.