PCA 전에 평균을 빼지 않으면 첫 주성분이 무엇을 따라갈 수 있나요?

평균을 빼지 않으면 PCA가 데이터 중심 주변의 변동만 보는 것이 아니라 원점에서 데이터까지의 큰 위치 벡터도 분산처럼 반영할 수 있습니다. 예를 들어 (100,100),(101,100),(100,101)은 평균 주변에서 아주 작게 움직이지만 원점에서 모두 멀리 있습니다. 중심화하면 평균 (100.333...,100.333...)을 빼서 작은 변동 방향을 분석하지만, 중심화하지 않은 XᵀX는 [100,100]에 가까운 평균 위치 방향을 첫 성분으로 선호할 수 있습니다.

Centered PCA는 Xc=X-μ_train을 만든 뒤 C=XcᵀXc/(n-1)의 고유벡터 또는 Xc의 SVD 방향을 구합니다. 위 세 점의 중심화 좌표는 (-.333...,-.333...),(.666...,-.333...),(-.333...,.666...)이고, 이것이 실제 주변 변동을 나타냅니다. 중심화를 생략한 결과가 틀렸다고 무조건 단정하기보다 원점이 의미 있는 기준인지, sparse 입력에서 dense center를 만들 수 있는지 확인해야 합니다. 다만 비중심화 결과를 centered PCA와 같은 개념으로 부르면 안 됩니다.

훈련 평균은 train에서만 fit해 validation/test에 재사용합니다. PCA를 전체 자료에 fit하면 test의 평균과 방향이 표현에 섞입니다. 검증에서는 centered와 의도된 uncentered 후보를 같은 downstream metric·재구성 오차·메모리 예산으로 비교하고, component 부호가 뒤집힌 것은 같은 축일 수 있으므로 sample partition과 투영을 기준으로 확인합니다.

세 점의 합을 직접 계산하면 평균은 ((100+101+100)/3,(100+100+101)/3)=(100.333...,100.333...)입니다. 따라서 중심화 좌표는 (-.333...,-.333...),(.666...,-.333...),(-.333...,.666...)이고 각 열의 합은 0입니다. 반면 중심화하지 않은 XᵀX에는 각 행의 큰 공통 위치가 반복되어 대략 [100,100] 방향의 2차 모멘트가 크게 들어갑니다. 이 예에서 첫 축이 평균 방향과 거의 겹쳐 보이는 것이 문제의 핵심이지, 모든 비중심화 분해가 오류라는 뜻은 아닙니다. 원점이 물리적으로 의미 있는 문제라면 의도적으로 유지할 수 있지만 centered PCA와 이름을 구분해야 합니다.