다음 검색이 확인할 미해결 사실
조사자는 먼저 claim → missing_condition → next_source → expected_observation의 작은 기록을 만듭니다. 예를 들어 “배포가 원인인가”라는 상태가 시간상관만 확인됨이라면 다음 관찰은 배포하지 않은 집단의 같은 지표가 됩니다. 이 연결이 없으면 검색 결과가 늘어도 판단에 필요한 조건은 줄지 않습니다.
“배포가 장애 원인인가”를 보려면 먼저 배포 시각, 오류 증가 시점, 배포하지 않은 집단의 상태를 나눠 확인해야 합니다. 첫 검색에서 장애 시각을 찾았다면 그 시간대의 배포를 후보로 잡고, 다음 검색에서는 같은 시간에 영향을 준 다른 원인을 대조합니다. 검색 결과를 모델 문맥에 넣는 단일 검색 RAG를 반복하는 것이 핵심이 아니라, 관찰할 때마다 질문을 쪼개고 자료원을 고르고 아직 비어 있는 조건을 확인하는 과정이 핵심입니다.
하나의 규정 원문으로 답할 수 있으면 반복 루프가 불필요할 수 있습니다. 단일 검색을 기준선으로 두고 추가 조회가 어떤 누락·불확실성을 줄였는지 확인합니다. 원하는 결론이 나올 때까지 검색어만 바꾸는 것은 확인 편향을 강화할 수 있습니다.
검색을 종료할 때는 “핵심 주장마다 근거가 있는가”와 “반대 가설을 구별할 관찰이 남았는가”를 확인합니다. 전자는 충족됐지만 후자가 비어 있으면 결론을 인과가 아닌 상관으로 낮춰 기록합니다. 반대로 새 검색이 같은 원문을 재포장할 뿐이면 출처 수를 늘리지 말고 그 한계를 명시합니다.
원문 수와 독립 근거 수의 구분
같은 보도자료를 재인용한 문서 열 개는 독립 증거 열 개가 아닙니다. 원본·관찰 시각·적용 버전·파생 관계를 유지하고 상충 자료를 버리지 않습니다. 검색 제목·스니펫은 위치를 찾는 단서이지 규범 세부 조건을 읽었다는 증거가 아닙니다.
그림을 글로 읽기
- 미해결 질문·필요한 반례
- 허용 자료원 검색·원문 조회
- 주장·버전·조건·단위 분리
- 원문 뒷받침·상충 근거 확인
- 확인 사실·계산·추정·미확인
- 미해결 질문·필요한 반례 → 허용 자료원 검색·원문 조회: 다음 검색 목적
- 허용 자료원 검색·원문 조회 → 주장·버전·조건·단위 분리: 출처 연결
- 주장·버전·조건·단위 분리 → 원문 뒷받침·상충 근거 확인: 논리 대조
- 원문 뒷받침·상충 근거 확인 → 확인 사실·계산·추정·미확인: 범위를 보존한 결론
주장별 결론과 원문 구간의 대조
원문에 “실험 기능이며 일부 client 지원”이라고 적혀 있는데 답변이 “모든 client가 기본 지원”이라고 하면, 링크가 공식이어도 결론은 틀립니다. 따라서 주장을 기능 존재, 지원 대상, 기본 제공 여부처럼 나누고 각 부분을 정확한 원문 구간과 대조합니다. 이때 필수인지 선택인지, 적용 version이 무엇인지, 어떤 전제에서 성립하는지도 함께 확인합니다.
| 주장 | 확인할 근거 |
|---|---|
| 기능을 반드시 지원한다 | 규범의 MUST와 대상·버전 |
| 성공률 90%다 | 과제·시도 수·분모·실패 포함 여부 |
| A가 B보다 빠르다 | 같은 자원·도구·예산·워크로드 |
| 배포가 장애를 일으켰다 | 시간 관계 외의 대조·인과 근거 |
계산한 값은 어떤 입력을 썼는지, 단위가 무엇인지, 어떤 공식으로 계산했는지를 남기고 원문에서 직접 인용한 값과 구분합니다. 두 source가 서로 다른 예산을 썼다면 숫자를 나란히 보여 주되, 같은 조건의 비교가 아니므로 어느 쪽이 우월하다고 확정하지 않습니다. 인용 필드를 필수로 만들어도 접근하지 못한 문서의 근거가 생기지는 않으므로, 접근 불가와 미확인을 결과로 허용합니다.
실무 기록에서는 각 주장에 status=confirmed|contradicted|inconclusive|unverified를 붙이고, inconclusive와 unverified를 합치지 않습니다. 예를 들어 원문을 읽었지만 대조 집단이 없으면 inconclusive, 원문에 접근하지 못하면 unverified입니다. 이 구분은 다음 조사자가 같은 질문을 다시 검색할지, 실험을 설계할지를 결정하게 합니다.
검증기별 확인 대상의 분리
코드는 URL·문서 ID·구간 존재와 계산을 확인할 수 있습니다. 주장의 논리적 뒷받침은 rubric·모델·사람 검토로 보완하되 모델 채점도 틀릴 수 있습니다. 인용 개수보다 핵심 주장 중 충분한 근거가 있는 비율·잘못된 인용·조건 누락을 봅니다. 동일 latest URL이 바뀔 수 있어 고정 revision과 확인 날짜를 기록합니다.
검색 범위와 권한 범위의 분리
다른 저장소로 이동해도 같은 사용자 ACL·외부 전송 정책·예산을 유지합니다. 새 사실 없이 같은 출처를 반복하면 중단하고 미확인 부분을 표시합니다. 문서가 권장한 조치도 사용자 실행 승인은 아니므로 실제 변경은 별도 인가·승인을 통과합니다.
삭제된 문서·모순 버전·재인용·도구 잘림·권한 철회·단위 혼합을 시험합니다. 이 노트는 조사 방법이며 특정 검색 전략의 성공률 개선을 실제 평가한 결과는 아닙니다.