작은 모델을 쓰는데도 에이전트 비용과 응답 시간이 큽니다. 토큰 가격 외에 무엇을 측정하고 최적화하나요?

모델의 토큰 단가보다 과제 하나를 검증된 성공으로 끝내는 전체 비용을 보겠습니다. 입력·출력·추론 관련 사용량, 캐시, 도구 요금, sandbox·검색, 하위 에이전트와 실패 재시도까지 합산합니다. 작은 모델이 싼 호출을 반복하다 실패하면 더 강한 모델의 짧은 실행보다 비쌀 수 있습니다. 지연도 첫 토큰이 아니라 사용자가 쓸 수 있는 결과가 준비되는 시점까지 측정해야 합니다.

가장 긴 실행 경로를 찾습니다

도구 다섯 개를 순차 호출하면 각 네트워크 왕복과 모델 판단 시간이 누적됩니다. 독립 조회는 제한된 병렬화로 줄일 수 있지만 하위 결과가 다음 입력이면 병렬화할 수 없습니다. 병렬화는 전체 호출량을 줄이지 않으므로 총비용·rate limit·최악 지연을 같이 봅니다. 도구가 대량 데이터를 반환하면 다음 모델 입력 비용이 커져 작은 모델의 이점이 사라질 수 있습니다.

도구 검색으로 필요한 정의만 로딩하고, 프로그램형 호출로 반복 집계를 옮기며, 안정적인 접두부를 캐시하는 방법을 검토할 수 있습니다. 각 최적화에는 discovery 왕복·실행 환경 시작·캐시 miss 같은 비용이 있어 과제별로 비교해야 합니다. 토큰을 줄이려고 검증과 중요한 반례를 생략하면 비용은 낮아져도 해결률과 안전성이 악화될 수 있습니다.

예산을 성공 조건과 연결합니다

최대 호출 수·전체 deadline·금액 예산을 실행기에 두고 하위 작업에도 분배합니다. 실패 경로의 긴 꼬리를 확인해 같은 오류 반복이나 불필요한 재계획을 중단합니다. 사용자가 초안을 빨리 원하면 제한된 결과와 미확인 부분을 먼저 줄 수 있지만 실제 작업 완료를 앞당겨 보고하지 않습니다. 첫 토큰 지연·최종 완료 지연·사람 검토 시간을 별도로 측정합니다.

비교 실험은 같은 과제·도구·초기 상태·성공 기준에서 수행합니다. 총비용을 성공 건수로 나누되 안전 위반을 성공에 포함하지 않고, 미해결 과제의 비용과 수동 보정 비용도 공개합니다. 과제 유형별로 저렴한 모델·강한 모델·코드 경로를 라우팅할 수 있지만 fallback과 재시도의 누적 비용을 포함해야 합니다. 비용 최적화는 가장 싼 모델을 고르는 문제가 아니라 필요한 판단과 검증을 적은 낭비로 완료하는 실행 구조의 문제입니다.

실행 사례로 확인합니다

가령 모델 A는 한 시도에 1의 비용으로 40%를 해결하고 모델 B는 2의 비용으로 90%를 해결한다고 해도 이 숫자만으로 전체 비용을 확정할 수는 없습니다. 반복 전략·실패 과제의 상관·검증·수동 보정 비용이 다르기 때문입니다. 실제 작업 단위로 모든 시도의 비용과 결과를 기록해 비교합니다. 도구 실패 때문에 모델이 설명만 여러 번 생성한다면 모델 교체보다 오류 계약과 재시도 정책을 고치는 것이 먼저일 수 있습니다. 캐시 최적화도 비용을 낮추지만 낡은 자료 재사용이나 사용자 격리를 깨뜨리면 같은 품질의 개선이 아닙니다. 최적화 전에 성공·안전·지연 기준을 고정하겠습니다.