explained variance 95%를 선택한 PCA에서 validation 성능이 더 나빠질 수 있는 이유는 무엇인가요?

explained variance는 입력 X의 재구성 변동을 얼마나 보존했는지를 말할 뿐, label을 예측하는 정보가 얼마나 남았는지를 보장하지 않습니다. PC1·PC2가 입력 variance의 95%를 차지해도 희귀 양성 여부가 작은 variance의 PC3 방향에만 있다면 두 성분만 남긴 classifier의 recall이 떨어질 수 있습니다. PCA의 목적과 downstream metric의 목적이 다르기 때문입니다.

선택은 train에서 PCA를 fit하고 validation에서 component 수와 downstream 성능을 비교하는 방식으로 합니다. 후보마다 누적 ratio, validation loss·recall·precision, 집단별 결과, 추론 비용을 함께 기록합니다. 예를 들어 k=2가 95%를 넘지만 양성 recall 60%, k=3은 누적 비율이 95% 이상으로 올라가지만 recall 80%라면 운영 목적에 따라 k=3이 더 나을 수 있습니다. 이 수치는 가능한 설명용 예이며 실행 결과가 아닙니다.

반대로 variance가 낮은 성분은 noise일 수도 있으므로 항상 많이 남기는 것도 답이 아닙니다. raw baseline, PCA without whitening, whitening 후보를 같은 split·seed·예산으로 비교하고 최종 선택 뒤 test를 한 번 평가합니다. validation을 반복해서 보며 95% 기준을 계속 바꾸면 validation도 선택 정보가 되므로 실험 횟수와 선택 정책을 기록하겠습니다.

누적 비율의 산술도 함께 봐야 합니다. 예를 들어 성분별 분산이 [0.70,0.25,0.05]이면 k=2 누적 비율은 0.95, k=3은 1.00입니다. 성분을 추가했다고 누적 비율이 0.94로 내려갈 수는 없습니다. 그럼에도 k=3이 더 좋은 경우는 충분합니다. PC3의 5%가 희귀 양성 신호라면 k=2 classifier의 recall이 60%, k=3의 recall이 80%가 될 수 있기 때문입니다. 이 수치는 설명용 가정이며 실제 선택은 train-fit PCA를 고정한 뒤 validation에서 계산합니다. 95%는 reconstruction 기준을 만족시키는 후보 생성 규칙이지 분류 성능의 보증서가 아닙니다.