제곱 손실 boosting에서 다음 트리가 잔차를 맞춘다는 말의 정확한 뜻은 무엇인가요?

제곱 손실에서 “잔차를 맞춘다”는 말은 다음 트리가 실제 y-F를 완벽히 복사한다는 뜻이 아닙니다. 현재 앙상블의 예측을 F라고 하면 표본별 손실을 L(y,F)=1/2(y-F)^2로 둘 때 ∂L/∂F=F-y이고, 손실을 줄이는 방향인 음의 gradient가 y-F가 됩니다. 그래서 다음 트리 h가 이 값을 근사하고 F_new=F+ηh로 더해집니다.

예를 들어 현재 예측이 [2,5], 정답이 [3,7]이면 음의 gradient는 [1,2]입니다. 트리가 이 값을 그대로 낸다는 설명용 가정에서 η=.1이면 새 예측은 [2.1,5.2]가 되고 잔차는 [.9,1.8]이 됩니다. 실제 트리는 깊이와 잎 제약이 있으므로 두 표본의 값을 정확히 내지 않고, 같은 잎에 들어간 표본에 공통 출력을 내어 gradient 방향을 근사합니다. 따라서 트리의 구조와 잎 출력, shrinkage를 함께 봐야 합니다.

이 표현은 제곱 손실에 특화된 직관입니다. 로그손실이나 Huber 손실에서는 다음 목표가 언제나 y-F가 아니라 현재 출력에 대한 해당 손실의 음의 미분인 pseudo-residual입니다. 분류 모델이 raw score를 쓰는지 확률을 쓰는지에 따라 식도 달라집니다. 구현을 점검할 때는 초기 F, loss gradient, 선택된 표본과 h, ηh를 단계별로 기록하겠습니다. 손실이 내려갔다고 해서 다음 트리가 잔차를 완벽히 제거했다거나 일반화가 좋아졌다고 해석하지 않습니다.

여기서 중요한 중간 상태는 트리가 학습되기 전과 후를 분리하는 것입니다. F=[2,5]일 때 첫 샘플의 손실은 1/2(3-2)^2=.5, 둘째는 1/2(7-5)^2=2이고, h=[1,2]를 그대로 가정하면 ηh=[.1,.2]가 됩니다. 새 손실은 각각 1/2(.9)^2=.405, 1/2(1.8)^2=1.62로 줄지만, 실제 잎 하나에 두 샘플이 함께 들어가면 h는 [1,2]가 아니라 두 방향의 절충값이 됩니다. 따라서 “잔차 적합”은 목표 벡터를 복사한다는 말이 아니라 제한된 함수 공간에서 음의 gradient의 감소 방향을 선택한다는 뜻입니다.