확률 0과 1 근처에서 로그 손실이 NaN이 됩니다. logits 손실을 쓰는 이유는 무엇인가요?

제목처럼 모든 극단 사례가 NaN인 것은 아닙니다. sigmoid 뒤에 로그를 직접 취하면 z=1000에서 p가 1로 반올림되어 y=0일 때 log(1-p)=-∞, 손실은 +∞가 됩니다. 같은 계산에서 y=1이면 0×(-∞)가 NaN으로 전파될 수 있고, z=-1000에서는 exp(-z) 자체가 overflow합니다. 로짓 입력 안정화 식 max(z,0)-z*y+log1p(exp(-abs(z)))은 이 불필요한 표현 범위 붕괴를 피합니다. 설명용 계산에서 (z,y)=(1000,1)과 (-1000,0)의 loss는 0에 가깝고, 반대 label은 각각 1000입니다. 즉 맞는 극단 확신은 작고 틀린 확신은 큽니다.

구현에서 안정화 식이 실제로 보호하는 범위도 확인합니다. 유한한 z와 0·1 label이면 log1p(exp(-abs(z)))가 작은 쪽 지수만 계산하므로 exp(1000)을 만들지 않습니다. 하지만 label이 2이거나 z가 이미 inf이면 식의 전제가 깨지고, 평균 reduction에서 유효 표본 수가 0이면 별도의 0 나눗셈이 생깁니다. 따라서 단위 테스트는 네 극단 조합의 loss뿐 아니라 finite input 검사, empty batch, weighted denominator, backward gradient까지 포함해야 합니다. epsilon을 p에 넣는 응급 처치는 clipping 전후 gradient가 달라질 수 있어 근본 대체가 아닙니다.

특히 loss가 finite여도 backward가 finite라는 보장은 없으므로 gradient norm과 parameter update 직후를 함께 검사합니다. z=1000,y=0의 유한 안정화 loss는 “계산이 안전하다”는 뜻이지, 그 예측이 좋은 예측이라는 뜻이 아닙니다.