검색식 도구 출력 읽기가 LLM 에이전트 정확도를 떨어뜨린다

배경

LLM 에이전트가 올바른 값을 계산하고도 최종 답은 틀릴 수 있습니다. 이 arXiv 논문은 원인으로 에이전트 설계의 한 가지 선택을 지목합니다. 많은 agent harness는 컨텍스트를 아끼려고 긴 도구 출력을 대화에 넣지 않고 파일로 저장합니다. 에이전트는 필요할 때 그 파일을 검색하거나 읽습니다.

연구진은 미국 지질조사국(USGS)의 지구화학 시뮬레이터 PHREEQC를 실제 도구로 썼습니다. 같은 입력에는 항상 같은 출력이 나오므로 보고서에 찍힌 모든 수치를 추적할 수 있습니다. 보고서는 최대 846.8k자이고, 에이전트는 이를 이용해 실행으로 검증된 객관식 158문항에 답했습니다.

논문의 기여는 세 가지입니다. 검색으로 읽을 때의 정확도 손실을 측정했고, 그 손실을 목표값 계산 빈도와 답의 근거로 나눴으며, evidence substitution이라는 새 실패 유형을 명명하고 완화책을 비교했습니다.

심층 분석

설계의 핵심은 원인 분리입니다. 한 조건에서는 에이전트가 보고서를 컨텍스트에서 직접 보고, 다른 조건에서는 섹션 인덱스로만 접근합니다. 시뮬레이션이 결정적이라서 로그에 남은 11,007회 호출을 모두 다시 실행해 필요한 키 값이 실제로 계산됐는지 확인했습니다. 덕분에 시뮬레이션이 틀린 경우와, 시뮬레이션은 맞았지만 답이 엉뚱한 근거에서 나온 경우를 구별할 수 있었습니다.

검색식 도구 출력 읽기는 왜 LLM 에이전트의 정확도를 떨어뜨릴까요? 이 연구에서 원인은 계산 실패가 아니라 증거 선택이었습니다. 섹션 인덱스로 검색하게 하자 GPT-5.1과 GPT-5.2의 정확도는 각각 11.3, 7.9%p 떨어졌습니다. Claude Opus 4.6과 Sonnet 4.6은 감지할 만한 손실이 없었고, GPT 모델이 목표값을 계산하는 빈도도 거의 그대로였습니다.

달라진 것은 근거였습니다. GPT 모델은 보고서를 건너뛰고 자신이 출력한 더 정밀한 파일을 인용한 뒤 인접한 선택지로 반올림했습니다. 시뮬레이션을 고정해도 GPT-5.2는 검색 때문에 9.4%p를 잃었습니다. GPT-5.4는 올바른 시뮬레이션을 더 자주 해서 약 10%p의 근거 사용 손실을 가렸고, 순변화는 0과 구별되지 않았습니다.

산업 영향

첫째 교훈은 평가 방법입니다. 총점만 보면 GPT-5.4는 검색의 영향을 받지 않은 것처럼 보입니다. 실제로는 반대로 작용하는 두 힘이 서로 상쇄된 결과였습니다. 컨텍스트 관리 전략을 평가할 때는 정확도가 어디서 새는지 분해해 봐야 합니다.

둘째는 배포 판단입니다. 큰 도구 출력을 디스크에 저장해 검색하게 하는 방식은 토큰을 아끼는 흔한 방법입니다. 그러나 이 실험에서 두 GPT 모델은 분명한 대가를 치렀고 두 Claude 모델은 그렇지 않았습니다. 모델 선택과 컨텍스트 전략은 함께 정해야 합니다.

셋째는 처방이 저렴하다는 점입니다. 권위 있는 출력을 명시하자 GPT 세 모델이 단순 검색보다 6.3~7.9%p 높아졌습니다. GPT-5.1과 GPT-5.2는 컨텍스트에 들어가는 출력을 인라인으로 넣어도 비슷했습니다. 반면 올바르게 반올림하라는 지시는 효과가 없었습니다. 선택지가 반올림 차이뿐인 과학 계산에서는 파일 하나를 잘못 고르면 오답이 됩니다.

전망

이 방법은 재사용할 수 있습니다. 결정적 시뮬레이터와 로그 재실행을 결합하면 실패를 계산과 근거 사용으로 나눌 수 있습니다. 데이터베이스 질의나 코드 실행 환경에도 적용할 수 있겠지만, 원문에는 그런 실험이 없으므로 이는 제안일 뿐입니다.

도구 설계자에게 당장 필요한 일은 권위 있는 출력을 분명히 표시하는 것입니다. 정밀도가 다른 파일을 여러 개 만드는 도구는 에이전트가 엉뚱한 파일을 고를 여지를 줍니다. 기준 파일을 지정하거나 짧은 결과를 인라인으로 돌려주면 그 여지가 적은 비용으로 사라집니다.

남은 질문도 있습니다. 연구는 한 종류의 도구와 158문항을 다뤘고 효과는 모델마다 달랐습니다. 한 능력의 향상이 다른 능력의 손실을 가릴 수 있으니, 앞으로의 평가는 두 부분을 함께 보고해야 합니다. 그때까지 검색식 도구 출력 읽기는 모델별로 시험해야 하는 설정입니다.