훈련 정확도는 계속 오르는데 검증 정확도는 떨어집니다. 과적합을 어떻게 알아보고 보지 않은 데이터의 일반화를 개선하나요?

훈련 정확도는 오르는데 검증 정확도가 떨어지고, 특히 학습이 진행될수록 훈련 손실은 줄고 검증 손실은 어느 시점부터 늘어난다면 과적합을 우선 의심합니다. 과적합은 모델이 훈련 표본의 우연한 잡음과 개별 사례까지 외워 같은 문제 분포의 새 입력에서 성능을 잃는 현상입니다. 다만 검증 점수 한 번의 하락만으로 단정하지 않고, 데이터 누수·분포 차이·라벨 품질·시드 변동을 먼저 구분하겠습니다. 목표는 훈련 성능을 계속 높이는 것이 아니라 배포 시 만날 입력의 오류를 줄이는 것입니다.

곡선과 오류 사례를 함께 읽습니다

훈련과 검증 손실을 epoch별로 기록해 두 곡선의 간격과 방향을 봅니다. 둘 다 개선되다가 훈련만 계속 개선되고 검증이 악화되면 모델 용량이나 학습 시간이 데이터가 지지하는 범위를 넘어섰다는 신호입니다. 이를 과적합(overfitting)이라고 부릅니다. 그러나 검증 데이터가 시간상 미래이거나 사용자군이 달라 실제 분포가 바뀐 경우에도 점수가 떨어질 수 있습니다. 동일한 사용자·문서·이미지의 변형이 train과 validation에 함께 들어갔는지, 전처리 통계가 전체 데이터에서 fit됐는지, 라벨 오류가 특정 분할에 몰렸는지를 확인하겠습니다. 여러 seed나 접기에서 같은 곡선이 반복되는지도 봅니다.

학습에 사용하지 않은 같은 문제 분포의 입력에서도 유용한 예측을 하는 능력을 일반화(generalization)라고 부릅니다. 모델이 크고 데이터가 적으면 훈련 사례를 구분하는 표현력은 충분해도 공통 패턴을 찾지 못할 수 있습니다. 반대로 모델을 무조건 작게 만들면 필요한 패턴까지 못 배워 훈련·검증 모두 낮은 과소적합이 됩니다. 따라서 train-validation 격차뿐 아니라 둘 다 낮은지, 실제 오류가 특정 집단·조건에 모이는지 함께 보겠습니다.

데이터와 모델을 같이 바꿉니다

먼저 중복·잘못된 라벨·희소한 상황을 정리하고 배포 분포를 대표하는 다양한 훈련 자료를 확보합니다. 이미지처럼 의미를 보존하는 변환이 명확한 도메인에서는 증강을 적용할 수 있지만, 좌우 반전이 문자의 의미를 바꾸는 문제처럼 허용되지 않는 변환은 오히려 라벨을 오염시킵니다. 증강의 강도와 종류는 검증 데이터에서 선택하되 validation 자체를 변형해 유리하게 만들지 않겠습니다.

모델 용량을 줄이거나 가중치 크기에 비용을 주는 정규화, dropout, 학습 중 검증 손실이 악화되기 전 멈추는 조기 종료를 사용할 수 있습니다. 조기 종료는 가장 좋은 validation 시점의 checkpoint를 선택하는 것이므로 그 선택을 기록하고, 여러 기법을 반복 비교한 최종 성능은 독립 테스트에서 평가해야 합니다. 정규화 강도를 너무 키우면 두 세트 모두 낮아질 수 있어 train 손실과 validation 지표를 함께 확인하겠습니다.

실제 배포에서는 시간별·집단별 성능, 입력 분포, 라벨이 늦게 도착하는 오류율을 모니터링합니다. 검증에서 낮아진 성능이 모델의 기억 때문인지 분포 변화 때문인지 보려면 feature 분포와 기준선 모델, 과거 구간 재평가를 함께 비교해야 합니다. 결론적으로 과적합 대응은 정규화 하나를 추가하는 작업이 아니라 분할의 독립성, 데이터 품질, 모델 용량, 학습 중단 시점, 운영 분포를 하나의 검증 체계로 묶는 일입니다.