낮은 cardinality의 status 열을 Parquet dictionary encoding으로 저장할 때 어떤 반복과 비용이 줄어드나요?

Parquet encoding specification의 dictionary 방식은 한 column chunk의 dictionary page에 실제 값을 저장하고 data page에는 각 행의 integer ID를 RLE/bit-packing hybrid로 기록합니다. pending, paid, cancelled, refunded 네 값이 100만 행에 반복되면 문자열을 매 행 다시 쓰는 대신 ID 폭을 줄일 수 있습니다. dictionary page 자체는 비용이며, distinct value 수나 dictionary 크기가 커지면 plain encoding으로 fallback할 수 있으므로 낮은 cardinality에서만 이득을 기대합니다.

설명 산술을 분리해 보겠습니다. 평균 문자열 8바이트와 단순 metadata 1바이트라고 가정하면 원문 모델은 1,000,000×9=9,000,000 decimal bytes입니다. 네 값 ID가 2bit라고만 가정하면 payload는 1,000,000×2/8=250,000 bytes입니다. 하지만 이 0.25MB는 실제 Parquet 파일 크기가 아닙니다. dictionary entry, data page의 bit-width byte, RLE run header, page header, repetition/definition levels, compression codec을 제외한 illustrative payload 계산입니다.

cardinality가 100,000이면 dictionary page가 커지고 ID 폭이 증가합니다. 한 page 안에서 값 종류가 갑자기 늘면 writer가 dictionary를 중단하고 plain으로 fallback할 수 있으므로 page별 distinct count, dictionary bytes, 실제 encoding metadata, decode CPU를 기록하겠습니다. dictionary encoding은 codec과 같은 기능이 아니라 값 표현을 바꾸는 단계이며, 그 결과에 compression을 추가할 수 있습니다. 따라서 모든 열에 강제하지 않고 status 분포와 reader 지원을 함께 검증합니다.