모델의 하이퍼파라미터를 여러 번 바꿔 가장 좋은 결과를 골랐습니다. 훈련·검증·테스트 데이터를 어떻게 분리해야 성능을 공정하게 추정할 수 있나요?

훈련 데이터는 모델 파라미터를 학습하고, 검증 데이터는 학습률·모델 크기·특징·정규화·임계값 같은 선택을 비교하며, 테스트 데이터는 선택이 끝난 뒤 처음 보는 자료처럼 최종 일반화 성능을 추정합니다. 검증 점수를 보고 계속 설계를 바꾸면 검증 세트도 간접적으로 학습에 사용되므로, 테스트는 더 바깥에 보존해야 합니다. 공정한 추정은 비율만 나누는 문제가 아니라 목표로 하는 일반화 단위와 예측 시점의 정보 범위를 분할에 반영하는 문제입니다.

세 데이터의 역할을 섞지 않습니다

훈련 중에는 train으로 파라미터를 갱신하고 validation으로 checkpoint·하이퍼파라미터·특징 선택을 결정합니다. 여러 후보를 validation에서 비교해 가장 좋은 것을 고른 뒤, 모든 선택을 잠근 상태에서 test를 한 번 평가합니다. 테스트 결과를 보고 다시 손실·모델·임계값을 바꾸었다면 이미 테스트도 선택 과정의 정보가 된 것이므로 새 독립 테스트나 재수집한 평가 자료가 필요합니다. 테스트 점수는 미래 운영 성능의 확정값이 아니라 선택과 분할 규칙 아래의 추정치입니다.

분할 단위는 행이 아니라 누수의 단위로 정합니다. 같은 사용자의 여러 기록, 같은 환자의 검사, 같은 상품의 거의 동일한 이미지가 train과 validation에 나뉘면 모델이 대상의 특성을 미리 본 것처럼 점수가 부풀 수 있습니다. 처음 보는 사용자에 대한 일반화가 목표면 사용자 단위로 나누고, 기존 사용자의 미래 행동 예측이면 과거로 학습해 미래로 검증하는 시간 분할을 사용합니다. 시간에 따라 정책·계절·트래픽이 바뀌는 문제는 한 번의 무작위 holdout보다 rolling validation으로 여러 시점을 시험할 수 있지만, 미래 정보를 과거 특징에 섞지 않는 규칙을 먼저 고정하겠습니다.

전처리와 교차 검증의 경계를 지킵니다

평균·분산 표준화, 결측 대체값, 어휘 사전, 특징 선택처럼 데이터에서 통계를 학습하는 전처리는 train에서만 fit하고 validation·test에는 같은 변환을 적용합니다. 전체 데이터를 먼저 모아 평균을 계산하면 validation 정보가 훈련 과정에 들어가는 누수가 생깁니다. 특징 생성도 예측 시점 이후의 값을 읽지 않는지 확인해야 합니다. 파이프라인이 전처리 fit과 모델 fit을 함께 기록하도록 만들겠습니다.

자료가 적으면 교차 검증으로 훈련 영역 안에서 여러 접기를 돌려 선택의 변동을 관찰할 수 있습니다. 각 접기에서 전처리를 다시 fit하고 validation 접기만 평가해야 하며, 접기 결과를 보고 모델을 선택한 뒤 독립 test를 사용합니다. 접기 수를 늘리면 더 많은 자료를 학습에 쓰지만 계산량이 늘고 접기 간 상관 때문에 불확실성이 사라지는 것은 아닙니다. 평균 점수뿐 아니라 분산·최악 접기·목표 집단별 결과를 함께 기록하겠습니다.

최종 보고에는 데이터 버전, 분할 기준, 예측 시점, 전처리 fit 범위, 실험 횟수, 선택된 하이퍼파라미터, test의 평가 시점을 남깁니다. 운영 분포가 바뀌면 고정 test만으로 충분하지 않아 시간 기반 재평가와 배포 후 모니터링이 필요합니다. 핵심은 가장 좋은 점수를 찾는 것이 아니라, 어떤 정보가 선택에 사용됐고 정말 처음 본 단위에서 한 번 평가했는지를 감사 가능하게 만드는 것입니다.