실시간 집계에서 늦게 도착한 이벤트를 어디까지 기다릴까요? event time·processing time·watermark는 무엇이 다른가요?

event time은 사건에 부여된 발생 시각이고 processing time은 시스템이 처리한 시각입니다. watermark는 특정 시점 이전 이벤트가 더 올 가능성을 다루는 진행 추정·계약이며 모든 늦은 이벤트가 물리적으로 사라졌다는 증명은 아닙니다.

동작 원리와 전제

네트워크 지연·재시도·시계 오차 때문에 도착 순서는 발생 순서와 다를 수 있습니다. 윈도를 언제 확정하고 허용 지연 뒤 데이터를 버릴지 정정할지 별도 결과로 보낼지 정합니다. 사용자 timestamp는 검증 없이 권위 시각으로 쓰지 않습니다.

선택과 실패 처리

파티션별 진행 중 가장 느린 쪽이 전체 watermark를 막을 수 있고 유휴 파티션 정책이 필요합니다. 너무 빨리 진행하면 늦은 데이터가 누락되고 너무 보수적이면 결과 지연·상태 메모리가 커집니다.

구체적인 사례와 검증

매출을 1분 단위로 집계하면서 30초 지연을 허용한다면 윈도 종료 직후 값은 잠정이고 허용 창 뒤 결과는 확정판이 될 수 있습니다. 그 뒤 도착한 이벤트를 버릴지 정정판에 넣을지 사용자 계약을 명시합니다. source가 한동안 아무 메시지도 안 보내면 전체 watermark가 멈출 수 있어 idle 처리 정책이 필요하지만, idle로 본 source가 늦은 데이터를 보내면 어떻게 반영할지도 정해야 합니다. watermark가 큰 값이라고 입력 데이터의 시각이 참이라는 뜻은 아닙니다. 미래 timestamp나 시계 오류가 상태를 너무 빨리 닫지 않도록 검증하고 원본 로그와 대조하겠습니다.

역순·지연·유휴·재시작·미래 시각을 시험합니다. 잠정 집계와 확정·정정 버전을 구분해 보상·정산에 적용합니다. watermark는 업무상 마감 정책과 연결해야 하며 브로커 offset과 같은 전역 시간으로 취급하지 않습니다.