양성 사례가 매우 드문 분류기에서 정확도가 99%입니다. 이 숫자만으로 모델이 좋은지 판단하지 않으려면 무엇을 함께 봐야 하나요?

양성 비율이 1%인 데이터에서 모든 입력을 음성으로 예측하면 양성을 하나도 찾지 못해도 정확도는 99%입니다. 따라서 정확도 하나로 모델이 좋다고 판단하지 않고, 먼저 참양성·거짓양성·참음성·거짓음성을 세는 혼동 행렬을 만들고 어떤 오류가 실제로 비싼지 정하겠습니다. 정밀도는 양성이라고 판정한 것 중 실제 양성의 비율이고, 재현율은 실제 양성 중 모델이 찾아낸 비율입니다. 이후 임계값별 결과와 확률의 신뢰성까지 확인해야 운영 결정을 설명할 수 있습니다.

숫자보다 오류의 의미를 먼저 봅니다

사기 탐지에서 모든 거래를 정상으로 보면 거짓양성은 없지만 거짓음성이 양성 전체가 됩니다. 모든 입력을 다수 클래스로 예측하는 단순한 기준 모델(baseline)과 비교해야 하는 이유입니다. 혼동 행렬의 각 칸에 환불 비용, 조사 인력, 고객 불편처럼 실제 비용을 연결하고, 단순히 F1이 가장 높은 모델을 고르지 않겠습니다. 스팸 차단에서 정상 메일을 잃는 비용이 크면 정밀도를 높이는 방향이 필요하고, 질환 1차 선별처럼 놓치면 후속 치료 기회를 잃는다면 재현율을 우선할 수 있습니다. 클래스별 지표를 보고 소수 클래스의 성능이 다수 클래스 평균에 묻히지 않게 하겠습니다.

모델의 점수와 최종 판정은 분리된 단계입니다. 임계값을 낮추면 더 많은 사례를 양성으로 잡아 재현율이 높아질 가능성이 있지만 거짓 경보와 검토 비용이 증가합니다. 임계값을 높이면 정밀도가 개선될 수 있어도 미탐이 늘어날 수 있습니다. 검증 데이터에서 비용·처리량·안전 기준을 반영해 임계값을 정한 뒤, 테스트 데이터에서는 그 값을 고정하고 평가하겠습니다. 모델마다 점수의 분포가 달라 임계값 숫자 자체를 모델 간 의미가 같은 것으로 보지 않겠습니다.

PR 관점과 확률 보정을 함께 봅니다

여러 임계값에서 정밀도와 재현율의 변화를 그린 PR 곡선은 희소한 양성 문제에서 양성 탐지 품질과 직접 연결됩니다. ROC-AUC도 순위 비교에는 유용하지만 음성이 매우 많으면 높은 특이도가 운영의 양성 부담을 잘 드러내지 못할 수 있습니다. 그러므로 PR-AUC만 맹목적으로 최적화하지 않고 실제 양성 비율과 운영 임계값에서의 혼동 행렬을 함께 보고, 테스트 구간의 시간·사용자 분리를 유지합니다.

모델이 0.9라고 말한 사례 중 실제 양성이 대략 90%인지 확인하는 것은 판정뿐 아니라 사람 검토 우선순위와 자원 배분에 중요합니다. 예측 확률과 관측 빈도가 맞는지를 보는 확률 보정(calibration)입니다. 보정이 나쁘면 순위는 괜찮아도 확률을 위험도로 해석해서는 안 되며, 보정 방법도 검증 세트에서 선택하고 테스트에서 고정해야 합니다.

검증은 운영 분포와 동일한 시간·사용자 단위로 나누고, 임계값을 테스트에 맞추지 않습니다. 양성 부족으로 분산이 크다면 신뢰구간이나 반복 분할을 보고, 배포 후에는 양성 비율 변화·임계값별 혼동 행렬·수동 검토량을 추적하겠습니다. 결론은 정확도보다 좋은 단일 지표를 찾는 것이 아니라, 오류 비용에 맞는 판정점과 그 판정의 안정성을 함께 측정하는 것입니다.