learning rate를 절반으로 줄이고 tree 수를 두 배로 늘리면 항상 같은 모델인가요?

항상 같은 모델은 아닙니다. η를 절반으로 하고 tree 수를 두 배로 늘리면 비슷한 함수 용량을 기대할 수는 있지만, 부스팅은 각 단계가 앞 단계의 결과에 의존하는 greedy 절차입니다. η=.1에서 첫 트리를 0.1h₁만큼 더한 경로와 η=.05에서 0.05h₁만큼 더한 경로는 두 번째 단계의 pseudo-residual이 달라집니다. 그 결과 이후 트리의 분할, 잎 출력, 조기 종료 시점까지 달라집니다.

예를 들어 한 설정을 500개, 다른 설정을 1000개로 두더라도 η×tree 수만 비교하지 않겠습니다. 같은 split과 seed 정책에서 단계별 train·validation loss, 최저 validation checkpoint의 tree 수, 평균 깊이, 예측 latency와 모델 크기를 기록하겠습니다. η=.05가 더 천천히 내려가면서 800번째에서 최저가 될 수 있고, η=.1은 350번째에서 이미 validation이 악화될 수 있습니다. 이는 최종 tree 수를 두 배로 맞춰도 학습 경로가 같지 않다는 구체적인 차이입니다.

작은 learning rate가 무조건 우월한 것도 아닙니다. 계산 예산과 지연 예산이 제한되어 있으면 많은 트리를 평가하는 비용이 커지고, 데이터가 적으면 더 긴 경로가 과적합 기회를 늘릴 수 있습니다. 두 후보를 비교할 때는 동일한 처리 샘플 수·seed·validation 정책을 고정하고, 성능뿐 아니라 비용을 함께 판단하겠습니다. train loss만 같아지는지를 기준으로 삼지 않고, 최종 test는 선택을 잠근 뒤 한 번 사용합니다.

두 경로의 차이는 첫 단계부터 수치로 드러납니다. 어떤 첫 트리 출력이 h₁(x)=[2,-1]라면 .1 설정은 [.2,-.1], .05 설정은 [.1,-.05]만 더합니다. 제곱손실 기준 현재 잔차가 [1,1]이었다면 다음 목표는 각각 [.8,1.1]과 [.9,1.05]로 달라집니다. 이후 같은 후보 분할을 보더라도 잎의 최적 상수와 gain이 달라질 수 있습니다. 그러므로 두 실험은 단순히 마지막 누적 계수만 맞추지 말고, 동일한 validation checkpoint 규칙으로 어느 시점에서 멈추는지를 비교해야 합니다.