과적합 곡선과 일반화 개선의 근거

일반화는 훈련 데이터를 더 잘 맞추는 문제가 아니라 보지 못한 자료에서 같은 의미를 유지하는 성능 문제입니다. 곡선은 원인 판정이 아니라 가설의 시작점이므로, 비교 가능한 평가 모드·독립 분할·오류 사례를 먼저 고정한 뒤 데이터, 모델 용량, 정규화, 학습 시점을 한 번에 하나씩 바꿉니다.

훈련 개선과 일반화 목표의 구분

학습이 진행될수록 훈련 손실은 줄지만 검증 손실은 어느 시점부터 커질 수 있습니다. 모델이 훈련 표본의 우연한 잡음까지 맞추면서 새로운 표본에서는 성능을 잃는 과적합을 의심할 만한 신호입니다. 그러나 검증 점수 한 번의 하락만으로 원인을 확정해서는 안 됩니다.

검증 손실이 오르기 시작하면 먼저 검증 집단의 분포와 라벨 오류가 훈련 집단과 다르게 몰렸는지, 그리고 같은 지표를 같은 데이터 조건에서 계산했는지 나란히 확인합니다. 특히 훈련 모드와 평가 모드에서 dropout이나 증강 적용이 다르다면 손실 숫자를 그대로 비교하기 어려우므로 두 모드의 설정을 기록해 비교 가능한 조건인지 판단합니다. 조건을 확인한 뒤에도 훈련 손실은 내려가고 검증 손실은 오르는 패턴이 지속되면 과적합을 다음 원인 후보로 둡니다.

훈련·검증 곡선의 간단한 예시 해석

다음은 원리를 설명하는 가상의 손실 표입니다. 값이 낮을수록 좋습니다.

epoch	훈련 손실	검증 손실	해석
1	0.9	1.0	아직 둘 다 큼
5	0.5	0.6	둘 다 개선
10	0.2	0.5	검증 최저
20	0.05	0.8	훈련만 개선, 일반화 악화 후보

20번째보다 10번째 checkpoint가 검증 기준에 더 맞습니다.

표의 상태를 따라가면 epoch 10에서 validation loss가 0.5로 최저이므로 그 checkpoint를 선택하고, epoch 20의 더 낮은 training loss를 최종 품질로 해석하지 않습니다. 다만 checkpoint 선택에 validation을 사용했으므로 최종 비교는 손대지 않은 test set에서 해야 합니다. seed와 분할을 바꿔 선택 시점과 점수 변동을 기록하면 단일 곡선의 우연한 요동을 과적합의 확정 증거로 과장하는 일을 줄일 수 있습니다.

실습에서는 작은 고정 표본을 거의 완전히 맞추는지 먼저 확인한 뒤, 원본을 train·validation으로 나눈 다음 train에만 증강을 적용합니다. 같은 원본의 파생물이 양쪽 분할에 섞이면 점수가 좋아져도 누출일 수 있고, 라벨을 바꾸는 변환을 적용하면 데이터 양이 늘어도 학습 목표가 오염됩니다. 마지막 모델이 항상 최선이라는 가정은 틀립니다. 조기 종료는 검증 성능으로 학습 시점도 선택하는 절차이므로 최종 평가는 별도 테스트에서 해야 합니다.

그림을 글로 읽기

• 훈련 개선 · 검증 악화
• 분할과 오류 사례 확인: 누출 · 집단 차이 · 라벨 · 평가 모드 · 표본 변동
• 원인에 맞는 변경: 데이터 · 용량 · 정규화 · 증강 · 중단 시점
• 독립 자료로 평가

1. 훈련 개선 · 검증 악화 → 분할과 오류 사례 확인: 가설
2. 분할과 오류 사례 확인 → 원인에 맞는 변경: 대조 실험
3. 원인에 맞는 변경 → 독립 자료로 평가: 선택 후 고정

훈련·검증 동시 저조와 원인 후보

훈련·검증 정확도가 모두 낮을 때는 모델 표현력 부족, 특징 신호 부족, 최적화 실패, 라벨 문제를 한꺼번에 추측하지 말고 작은 데이터 일부를 고정해 의도적으로 충분히 맞출 수 있는지 먼저 시험합니다. 그 표본조차 맞추지 못하면 학습 파이프라인 오류·모델 용량 부족·최적화 실패를 우선 점검할 근거가 되고, 맞추더라도 검증이 낮으면 특징·라벨·분포와 과적합 여부를 따로 살펴야 합니다. 이 상태에서 정규화만 늘리면 필요한 패턴까지 억제해 더 나빠질 수 있습니다.

훈련은 높고 검증은 낮다면 과적합이라고 바로 결론 내리지 말고, 분포 차이와 중복 누출이 어느 집단·원본에서 생겼는지 오류 사례와 분할 정보를 함께 대조합니다. 편향·분산은 이 차이를 생각하는 관점으로 쓸 수 있지만, 한 쌍의 곡선만으로 둘을 통계적으로 정확히 분해했다고 말할 수는 없습니다. seed와 데이터 분할을 바꿨을 때의 점수 변동도 기록해 한 번의 곡선에 과도한 의미를 부여하지 않습니다.

정규화 방식과 억제 대상

가중치 크기에 비용을 주는 정규화, dropout, 모델 용량 축소, 학습 시간 제한은 모두 다른 방식으로 훈련 적합을 제한합니다. 너무 강하면 필요한 패턴까지 못 배워 과소적합할 수 있습니다. 같은 데이터·학습 예산에서 한 요소씩 바꾸고 예측 손실과 정규화 항을 분리해 관찰합니다.

bestCheckpoint = none
for epoch in trainingBudget:
    trainOneEpoch(trainingData)
    metric = evaluateInEvaluationMode(validationData)
    if metric improves under_fixed_rule:
        bestCheckpoint = save_model_and_preprocessing_state()
        reset_patience()
    else:
        increment_patience()
    if patience_exhausted: break
restore(bestCheckpoint)

개선 최소폭·patience·평가 빈도도 하이퍼파라미터입니다. 체크포인트에는 모델뿐 아니라 필요한 전처리·버전·추론 설정을 함께 저장해야 재현할 수 있습니다. optimizer 상태는 학습 재개가 필요할 때 추가로 필요합니다.

증강 변환과 라벨 의미 보존

고양이 사진을 조금 이동하는 것은 고양이 라벨을 유지할 수 있지만 숫자 6을 크게 회전해 9처럼 만들면 라벨이 달라질 수 있습니다. 의료 영상의 좌우, 문자의 방향, 시간 순서처럼 도메인 의미가 있는 변환은 일반 이미지 변환 목록을 그대로 적용하지 않습니다.

변환 판단	확인할 근거
허용 범위	전문가·물리 규칙·실제 관측 변동
라벨 보존	원본과 변형 표본의 의미 검토
분할 독립	같은 원본의 파생물은 같은 분할
실제 이득	무증강 기준과 원본·변형 성능 비교

증강은 원본을 train·validation으로 나눈 뒤 훈련 영역에서 생성하는 것이 기본입니다. 먼저 변형을 대량 만든 뒤 무작위로 나누면 거의 같은 이미지가 양쪽에 존재합니다. 검증 자체를 쉬운 변형으로 바꿔 점수를 올리는 것은 일반화 개선이 아닙니다.

데이터 다양성과 운영 분포 변화

모델을 줄이는 것보다 빠진 조건의 데이터를 확보하는 것이 더 적절할 수 있습니다. 하지만 라벨이 틀린 데이터를 더 넣으면 해결되지 않습니다. 오류가 특정 집단·시간·장비에 몰리는지 살피고 표본 수가 적은 집단의 작은 점수 차이를 과장하지 않습니다.

배포 후에는 입력 분포와 지연된 라벨의 성능을 추적합니다. 과거 검증 성능이 좋은 모델도 계절·정책 변화에는 약할 수 있습니다. 학습 손실을 더 낮추는 것, 같은 분포에서 일반화하는 것, 새 분포 변화에 적응하는 것을 각각 다른 문제로 검증해야 합니다.