배치 크기와 학습률을 함께 바꿉니다. 업데이트 횟수·gradient noise·처리 샘플 기준을 어떻게 맞춰 비교하나요?

꼬리 질문을 독립 문항으로 확장했습니다. 원래 문항에서 맥락 보기 →

잠깐, 답변을 보기 전에
먼저 내 말로 설명해 볼까요?

답변과 점검 포인트 펼치기답변 접기

구두 답변

정의를 외우기보다, 원리와 조건을 연결해 설명해 보세요.

배치가 커지면 동일 샘플 수에서 update 횟수가 줄고 gradient 추정의 잡음도 달라집니다. learning rate를 함께 조정할 수 있지만 보편적인 선형 규칙으로 단정하지 않습니다.

같은 샘플·step·wall time 중 어떤 예산을 고정했는지 기록합니다. optimizer·warmup·정규화·메모리와 검증 성능을 함께 비교하고 수렴 속도와 일반화를 구분합니다.

이해가 드러나는 지점을 확인해 보세요.

배치가 커지면 동일 샘플 수에서 update 횟수가 줄고 gradient 추정의 잡음도 달라집니다. learning rate를 함께 조정할 수 있지만 보편적인 선형 규칙으로 단정하지 않습니다.
optimizer·warmup·정규화·메모리와 검증 성능을 함께 비교하고 수렴 속도와 일반화를 구분합니다.

놓치기 쉬운 조건과 오해를 짚어 보세요.

다음 핵심 구분을 반대로 설명하거나 성립 조건을 생략한다: 배치가 커지면 동일 샘플 수에서 update 횟수가 줄고 gradient 추정의 잡음도 달라집니다.

하나 더 질문하며 이해의 범위를 넓혀 보세요.

득점·감점 포인트는 학습용 자기 점검 기준이며, 특정 회사의 실제 채점표가 아닙니다.

답변을 보충하는 개념·예제·슈도코드를 읽어 보세요.