메일의 특정 단어를 발견하면 스팸으로 분류하는 규칙을 직접 작성할 수 있습니다. 하지만 표현이 계속 바뀌고 여러 단서가 함께 작용하면 규칙을 관리하기 어려워집니다. 머신러닝은 데이터를 이용해 예측에 필요한 매개변수를 정하는 접근입니다. AI 에이전트는 그 모델의 판단을 도구 실행과 관찰에 연결하는 시스템이며, 학습 자체와는 다른 층입니다.
예를 들어 메일에서 링크 수와 발신 도메인 특징을 뽑아 f(x;θ)가 점수 0.8을 내면, 그 숫자는 우선 모델 출력입니다. 임계값 0.7을 적용해 차단으로 결정하는 단계와, 차단 API를 호출해 상태를 바꾸는 단계가 이어지므로 세 결과를 같은 “예측”으로 기록하지 않습니다.
입력·모델·예측
메일에서 얻은 입력을 x, 정답을 y라고 하고 모델의 예측을 f(x;θ)로 나타낼 수 있습니다. θ는 학습으로 바꿀 매개변수입니다. 간단한 선형 모형은 입력 특징에 가중치를 곱해 합산합니다. 더 복잡한 모델도 입력과 매개변수로 출력을 계산한다는 관점은 유지됩니다.
스팸 점수가 0.8이라고 나왔다고 곧바로 보정된 실제 확률 80%라고 볼 수는 없습니다. 모델의 학습 목적과 보정 상태를 확인해야 합니다. 실제 차단은 점수와 임계값을 비교하는 별도 결정입니다.
손실과 학습
예측이 정답에서 얼마나 벗어났는지를 손실 함수로 계산합니다. 학습은 훈련 데이터의 손실 등을 줄이도록 θ를 갱신하는 과정입니다. 경사하강법은 현재 매개변수에서 손실이 증가하는 방향을 계산하고 반대 방향으로 작은 보폭만큼 이동합니다.
보폭이 너무 크면 좋은 값을 지나치거나 발산할 수 있고, 너무 작으면 진행이 느립니다. 손실이 줄어도 사용자가 원하는 결과가 항상 좋아지는 것은 아닙니다. 정상 메일 차단의 비용과 스팸 누락의 비용이 다르면 실제 평가 지표와 운영 임계값을 따로 정해야 합니다.
훈련·검증·테스트
시험 문제를 미리 외운 학생의 점수로 새로운 문제 해결 능력을 판단하기 어렵듯, 모델을 조정한 데이터에서만 좋은 결과가 나오는지 확인해서는 부족합니다. 훈련 데이터는 매개변수 학습, 검증 데이터는 설정과 후보 선택, 테스트 데이터는 최종 평가에 사용합니다.
같은 사용자의 비슷한 메일이 양쪽에 섞이거나 미래 정보를 특징으로 넣으면 결과가 과하게 좋아질 수 있습니다. 전처리의 평균이나 어휘 목록도 훈련 범위에서 얻어야 합니다. 분할은 파일을 세 개 만드는 행위보다 어떤 정보를 어떤 단계까지 볼 수 있는지 정하는 규칙입니다.
분류 결과와 운영 결정
| 실제 상태·판정 | 의미 |
|---|---|
| 스팸을 스팸으로 판정 | 참 양성 |
| 정상 메일을 스팸으로 판정 | 거짓 양성 |
| 스팸을 정상으로 판정 | 거짓 음성 |
| 정상 메일을 정상으로 판정 | 참 음성 |
스팸이 드물면 모든 메일을 정상으로 분류해도 정확도가 높게 나올 수 있습니다. 스팸으로 고른 것 중 실제 스팸 비율인 정밀도와, 실제 스팸 중 찾아낸 비율인 재현율을 함께 보는 이유입니다. 검토 인력이 하루 100건만 처리할 수 있다면 검토로 보내는 양도 정책의 일부입니다.
연습으로 도구가 accepted(job_id)만 반환하도록 두고, 에이전트가 즉시 “보관 완료”라고 말하지 않게 해 봅니다. 예상 흐름은 접수 ID 저장→상태 조회→실제 보관 상태 확인이며, 조회가 실패하면 완료가 아니라 불확정으로 남겨야 합니다. 이 연습은 모델의 문장과 도구의 외부 효과를 분리하는 경계를 확인합니다.
모델 출력과 에이전트 실행
모델이 ‘메일을 보관하라’는 출력을 만들었다고 메일 서버의 상태가 바뀌지는 않습니다. 실행기가 허용된 도구와 인자를 검사하고 실제 API를 호출해야 합니다. 도구가 작업 ID만 반환했다면 접수일 수 있어 최종 완료를 별도로 확인합니다.
그림을 글로 읽기
- 사용자 목표·현재 관찰
- 모델 · 다음 행동 제안
- 실행기 · 인가·인자·예산 검사
- 도구 · 실행·결과 조회
- 사용자 목표·현재 관찰 → 모델 · 다음 행동 제안: 문맥
- 모델 · 다음 행동 제안 → 실행기 · 인가·인자·예산 검사: 제안
- 실행기 · 인가·인자·예산 검사 → 도구 · 실행·결과 조회: 허용된 실행
- 도구 · 실행·결과 조회 → 사용자 목표·현재 관찰: 실행 결과 관찰
잘못 분류한 메일을 설명하는 것과 실제 삭제하는 것은 영향이 다릅니다. 읽기 권한이 있다고 외부 서비스로 전송할 권한까지 생기지도 않습니다. 에이전트에는 모델 성능 외에 승인, 실행 수명, 중복 처리, 실제 결과 검증이 필요합니다. 여러 모델이 같은 답을 냈다는 사실만으로 이 경계가 해결되지는 않습니다.
세부 학습 경로
모델 학습은 데이터 분할, 경사하강법, 분류 지표에서 이어집니다. 행동하는 시스템은 에이전트 실행 루프와 도구 계약으로 연결합니다.