이 노트의 핵심은 “더 많이 생성하면 더 믿을 만한가”를 한 숫자로 답하지 않는 데 있습니다. 후보를 여러 개 만드는 확률, 후보 중 하나를 고르는 절차, 외부 효과 전에 검증하는 절차는 서로 다른 단계이므로 각각의 상태와 비용을 따라가야 합니다. 아래 식은 독립성이라는 가정을 붙인 모델이고, 실제 시스템의 품질은 과제별 기록과 검증 결과로 확인합니다.
pass@k와 k회 전부 성공 확률
각 시도의 성공확률이 p이고 k회 시도가 서로 독립이라면, 한 번이라도 성공할 확률은 모든 시도가 실패할 확률을 1에서 빼서 1-(1-p)^k로 계산합니다. 반대로 k번을 모두 성공해야 할 확률은 각 시도의 성공확률을 곱해 p^k가 됩니다.
p=0.75, k=3이면 두 값은 각각 0.984375와 0.421875이므로, 후보 탐색의 pass@k가 높아도 한 번 처리하는 운영 요청이 98.4% 성공한다는 뜻은 아닙니다. ‘모든 시도 성공’을 pass^k로 표기하는 경우도 있으므로, 보고서에서는 pass@k와 이 지표를 별도 항목으로 기록하고 k번 모두 성공이라고 풀어 써서 정의를 함께 남깁니다.
유한 표본 n개를 만들었고 그중 c개가 성공했다면, k≤n에서 n개 후보 중 서로 다른 k개를 균등하게 무작위로 고를 때 모두 실패할 확률은 C(n-c,k)/C(n,k)이므로, 표본 기반 pass@k를 1-C(n-c,k)/C(n,k)로 추정하기도 합니다. 이 수치를 사용할 때는 후보를 어떻게 sampling(뽑기)했는지와, 여러 후보 중 무엇을 사용자에게 내보낼지 정하는 선택 규칙을 따로 기록해야 합니다.
후보를 만든 뒤 피드백을 받아 고치고 다시 실행하는 연속 실행은, 이미 고정된 표본에서 k개를 고르는 이 추정과 같은 실험이 아닙니다.
후보 선택까지 포함한 상태를 예로 들면, 세 후보 중 하나가 맞아도 선택기가 틀린 후보를 내보내면 운영 성공은 0입니다. 반대로 검증기가 실행 가능한 후보만 남긴다면 pass@k는 “찾을 후보가 있었는가”를 설명하고 선택 후 성공률이 사용자 결과를 설명합니다. 실험에서는 생성→검증→선택→외부 효과를 각각 기록해 이 네 단계의 실패를 섞지 않습니다.
평균 성공확률과 과제별 반복 성공 확률
쉬운 과제와 어려운 과제를 각각 절반씩 섞고, 쉬운 과제의 성공확률은 p=1, 어려운 과제의 성공확률은 p=0이라고 해 보겠습니다. 한 번 실행했을 때 먼저 과제를 뽑는 평균 성공확률은 p=0.5입니다.
앞의 독립 실행 가정에서 같은 과제를 두 번 모두 성공할 확률을 과제별로 계산한 뒤 평균하면 (1^2+0^2)/2=0.5이지만, 평균 p를 먼저 제곱하면 0.5^2=0.25가 됩니다. 따라서 과제별 반복 결과·예산·분산·실패 유형을 저장하고, 어떤 순서로 집계했는지 함께 기록하며, 작은 표본에서는 과도한 소수점 정밀도를 주장하지 않습니다.
| 지표 | 답하는 질문 | 빠지기 쉬운 조건 |
|---|---|---|
| 단일 trial 성공 | 한번 처리하면 해결하는가 | 과제 난도 혼합 |
| pass@k | k개 중 성공 후보가 있는가 | 실제로 찾을 선택기 필요 |
| 모두 성공 | 반복 서비스가 안정적인가 | 공동 실패·비독립 |
| 선택 후 성공 | 사용자가 받는 후보가 맞는가 | 검증기 오탐·비용 |
| 성공당 비용 | 실패까지 합쳐 얼마인가 | 사람 검토·도구·재시도 |
모델 합의·공동 실패 상관성
같은 오래된 문서를 읽으면 모델·역할 이름이 달라도 모두 틀릴 수 있습니다. 독립 탐색에는 다른 결론을 먼저 주어 따라가게 하지 않고 규범 원문·SDK·실제 재현처럼 증거 방법을 나눕니다. 반대로 특정 결함의 반박 검증에는 원래 주장을 주는 것이 목적에 맞습니다.
compilation의 성공 여부나 같은 자원을 두 번 잡는 중복 예약처럼, 실제 검사 결과로 참·거짓을 가를 수 있는 주장은 모델의 투표 수가 아니라 그 검사 결과로 판단합니다. 세 모델의 결과를 표로 비교할 때는 모두 같은 결함을 놓친 공동 실패율, 다른 모델이 추가로 찾은 결함 수, 사실이 아닌 문제를 결함이라고 한 새 오탐 수, 맞는 소수 의견이 다수 의견에 묻힌 비율을 각각 계산합니다. 이렇게 계산한 모델 합의는 사용자의 승인도, 데이터 전송 권한도 아니므로, 합의만으로 승인하거나 전송하지 않습니다.
그림을 글로 읽기
- 동일 과제·공유 예산
- 추론 확대·후보 생성
- 새 원문·실행 검증
- 고정 기준으로 후보 검사
- 검증된 결과·비용·잔여 불확실성
- 동일 과제·공유 예산 → 추론 확대·후보 생성: 계산 배분
- 동일 과제·공유 예산 → 새 원문·실행 검증: 근거 배분
- 추론 확대·후보 생성 → 고정 기준으로 후보 검사: 격리된 후보
- 새 원문·실행 검증 → 고정 기준으로 후보 검사: 독립 검사
- 고정 기준으로 후보 검사 → 검증된 결과·비용·잔여 불확실성: 실제 선택 품질
수정 가능한 결함과 구체적 비평 결과
“더 자세히”는 길이만 늘릴 수 있습니다. “선택 기능을 필수로 바꿨다”, “분모가 전체가 아니라 성공 요청이다”처럼 원문·조건·수정 지점을 반환합니다. 비평자가 원문이나 실행 결과 없이 생성 답만 읽으면 같은 오해를 반복할 수 있습니다. 미확인·문제 없음도 허용합니다.
수정 전후 version·diff·핵심 불변식·회귀 test를 보존합니다. 검증된 부분까지 통째로 다시 쓰게 하지 않고 고칠 항목과 유지할 항목을 지정합니다. 마지막 생성물보다 검증된 최선 결과를 남기며 생성기가 채점 기준을 약화하지 못하게 합니다.
재현 연습으로 p=0.5인 독립 후보를 k=1,2,3으로 계산하고, 같은 후보를 검증기 없이 임의 선택하는 경우와 실행 가능한 테스트를 통과한 후보만 선택하는 경우를 나란히 기록해 봅니다. 예상 결과는 k가 늘면 “성공 후보가 하나 있을 확률”은 증가하지만, 선택기·검증기 비용과 공동 실패가 그대로라면 사용자에게 전달되는 성공률은 같은 비율로 증가하지 않는다는 것입니다.
추론 확대와 새 근거의 한계 효용
추론 예산·독립 후보·원문 조회·테스트·평가 수정은 서로 다른 자원 배분입니다. 열 후보가 같은 잘못된 수치를 반복할 때 작은 계산 스크립트 하나가 더 가치 있을 수 있습니다. 후보 생성은 외부 효과 없는 격리 환경에서 하고 각 후보가 실제 결제를 시도하게 만들지 않습니다.
예산을 단계적으로 늘려 유형별 성공·안전·지연·성공당 비용 곡선을 비교합니다. 개선 없음·같은 실패·상한 도달이면 새 근거·사람 검토·보류를 선택합니다. 이 노트의 확률은 명시된 수학 가정의 예시이며 실제 에이전트 성공률이나 독립성을 측정한 값은 아닙니다.