모델의 학습 오차는 줄었는데 실제 성능 지표는 좋아지지 않습니다. 손실 함수와 학습 목적은 평가 지표와 어떻게 다른가요?

손실 함수는 한 예의 정답과 예측이 얼마나 다른지 계산하는 학습 신호이고, 학습 목적은 그 손실을 데이터에 집계한 값에 정규화·가중치 같은 항을 포함해 최적화기가 실제로 최소화하는 전체 식입니다. 평가 지표는 제품이나 문제의 성공을 판단하는 별도의 측정값입니다. 따라서 훈련 손실이 내려가도 임계값 뒤의 재현율, 허용 오차 비율, 클릭률처럼 운영에서 중요한 지표가 좋아진다는 보장은 없습니다. 먼저 무엇을 학습으로 미분할지와 무엇을 배포 의사결정의 기준으로 삼을지를 분리한 뒤 불일치 원인을 확인하겠습니다.

학습 신호와 최적화 대상을 구분합니다

회귀에서는 예측값과 실제값의 절댓값 차이나 제곱 차이를 평균내는 손실을 쓸 수 있고, 큰 오류를 더 강하게 벌주는 선택도 가능합니다. 분류에서는 정답 클래스에 높은 확률을 주도록 로그 확률 기반 손실을 사용할 수 있습니다. 각 예의 오차를 모아 batch나 전체 훈련 데이터에서 평균내고, 그 값의 기울기를 계산해 파라미터를 갱신합니다. 이처럼 예측과 정답 사이의 차이를 수치화한 함수를 손실 함수(loss function)라고 부릅니다. 어떤 손실을 고르느냐가 오류의 크기·클래스 불균형·확률 학습 방식을 바꿉니다.

실제 optimizer가 줄이는 값에는 예측 손실 외에 L1·L2 정규화, 클래스별 가중치, 제약 위반 비용이 들어갈 수 있습니다. 모델 복잡도에 비용을 부과해 훈련 자료를 외우는 경향을 억제하는 항까지 합친 전체를 학습 목적(objective function)이라고 부릅니다. 로그에 순수 예측 손실만 기록하면서 optimizer의 objective와 같은 값이라고 해석하면, 손실이 왜 달라졌는지나 정규화 강도의 효과를 잘못 판단합니다. 훈련·검증에서 예측 손실과 정규화 항을 필요하면 따로 기록하겠습니다.

평가 지표는 운영 판단입니다

평가 지표는 보지 않은 데이터에서 모델이 문제를 얼마나 잘 해결하는지 측정하는 기준입니다. 불균형 분류에서는 정밀도·재현율, 회귀에서는 허용 오차 안의 비율, 추천에서는 클릭률이나 장기 유지율처럼 제품 목적과 연결된 값을 사용합니다. 평균 제곱 오차가 줄어도 일부 큰 오류가 남거나, 확률 점수의 순위만 좋아지고 고정 임계값의 재현율이 나빠질 수 있습니다. 정확도·F1·매출처럼 미분하기 어렵거나 임계값에 의해 불연속적인 지표는 직접 최적화하기 불안정하므로, 그와 상관되고 미분 가능한 대체 손실을 선택한 뒤 실제 지표로 확인하겠습니다.

가중치가 있는 분류 손실은 소수 클래스의 오류를 더 크게 반영해 재현율을 끌어올릴 수 있지만, 양성 예측이 늘면서 정밀도나 검토량이 나빠질 수 있습니다. 손실에 비용을 반영했다면 임계값을 그대로 0.5로 두지 않고 검증 데이터에서 운영 비용과 처리 용량에 맞춰 정합니다. 학습 손실을 고른 데이터 분할과 평가 지표를 계산한 분할이 같은지, 전처리와 라벨이 누수되지 않았는지도 확인하겠습니다.

훈련 손실은 내려가고 검증 손실·지표가 정체되면 과적합, 임계값, 데이터 분할, 목적과 지표의 불일치를 차례로 점검합니다. 반대로 훈련 손실도 충분히 줄지 않고 평가 성능도 낮다면, 모델 용량·최적화 상태와 함께 라벨·특징·문제 정의를 점검합니다. 평가 지표를 목적 함수로 바꾸는 결정은 미분 가능성만이 아니라 오류 비용, 안정성, 확률 해석, 일반화 성능을 비교해 내리겠습니다. 숫자가 작다는 이유로 제품 목표가 달성됐다고 결론 내리지 않는 것이 핵심입니다.