더 빠른 결정이 더 나은 에이전트를 만들지는 않는다: 4,500회 작업 실행으로 ALFWorld와 AndroidWorld에서 Jev의 효율 전이를 검증

논문 2610.13092는 2026년 10월 중순 arXiv에 올라왔고 제목은 「더 빠른 결정이 더 나은 에이전트를 만들지는 않는다: 에이전트 워크플로에서 Jev의 실증 연구」다. 출발점은 실용적이다. 에이전트는 결정을 거듭하며 작업을 끝내고, 그 결정의 핵심은 보통 LLM이 맡는다. 최근 등장한 Jev는 그 결정을 더 빠르고 싸게 만들겠다고 한다. 하지만 국소적 절감이 작업 전체의 효율적이고 믿을 만한 완수로 이어지는지는 분명치 않다. 우리 사이트는 10월 10일 뉴스에서 Jev를 다룬 적이 있다. TypeSafe AI가 공개한, 트랜스포머 기반이지만 대형 언어 모델이 아니며 텍스트가 아니라 확률을 출력하는 모델이다. 논문은 이를 '시스템 1 모델'이라 부르며, 타입이 있는 출력으로 지시에 따라 정의된 판단(주어진 선택지에 대한 확률 포함)을 낸다고 설명한다. 먼저 설계다. 저자들은 대표적인 두 환경을 골랐다. ALFWorld의 가정 내 체화 작업은 텍스트 환경과 valid_unseen 분할의 134개 작업 전부를 쓰고, AndroidWorld의 모바일 앱 사용은 텍스트로 된 UI 관측과 116가지 작업 유형별 고정 인스턴스 하나를 쓴다. 다섯 에이전트 계열 중 ALFWorld에는 ReAct와 Reflexion이, AndroidWorld에는 T3A, AutoDroid, Droidrun의 FastAgent가 있다. 각 계열에서 행동 선택을 결정 단계마다 Jev 요청 한 번으로 바꾸고 주변 관측, 기록, 실행 장치는 그대로 두어 원래 구성과 비교했다. ALFWorld에는 같은 후보 목록에서 LLM이 고르는 'LLM-Choice' 대조도 추가했다. 각 구성을 같은 작업에서 세 번씩 돌려 총 4,500회의 작업 실행이 나왔다. LLM의 결정과 보조 생성에는 gpt-5.6-luna를, Jev의 결정에는 jev-1.13.0을 썼다. 비용은 100만 토큰당 LLM 입력 0.20달러, 출력 1.20달러, Jev 입력 0.042달러, Jev 출력은 0으로 계산했다.

이제 결과다. 첫 층은 유효성이며 차이는 고르지 않다. ALFWorld에서 ReAct-J와 Reflexion-J의 성공률은 96.02%와 98.01%로 원래 구성보다 1.49, 1.74포인트 낮다. 후보 인터페이스를 공유한 대조에서는 차이가 1.00과 0.00포인트로 줄었다. AndroidWorld에서는 Jev가 T3A, AutoDroid, FastAgent보다 각각 13.22, 2.30, 18.10포인트 낮고, AutoDroid의 두 변형은 성공률이 20% 미만이다. 난이도는 시퀀스 길이만으로 정해지지 않는다. Jev 변형은 ALFWorld의 '살피기, 놓기, 식히기'에서 100%에 이르지만 '닦기'에서는 약 8.6, 7.5포인트 뒤처지며, AndroidWorld의 T3A와 FastAgent는 예산이 가장 짧은 구간에서도 12.5, 15.3포인트를 잃는다. 둘째 층은 비용과 시간이며 절감은 속도보다 더 쉽게 전이된다. ALFWorld에서 ReAct와 Reflexion은 비용이 50.9%, 32.6% 줄고 시간은 47.6%, 37.8% 줄었다. AndroidWorld에서 T3A, AutoDroid, FastAgent는 비용이 17.1%, 68.8%, 43.0% 줄었지만 시간은 10.6%, 5.7%만 줄었고 FastAgent는 0.7% 늘었으며, 모든 계열에서 작업당 토큰 사용이 늘었다. 이유는 선택 밖의 일이 절감분을 삼키기 때문이다. 기준 ReAct는 71.17초 중 68.31초를 행동 선택에 쓰는데, Jev는 이를 17.25초로 줄여 17.23초의 보조 추론을 더하고도 큰 절감을 유지한다. T3A는 보조 생성이 67.47초에서 96.99초로 늘어 Jev 추론 지출의 81.9%를 차지한다. FastAgent는 결정을 44.1% 더 내리는데, 단계당 도구 하나의 구성이 더 싼 결정과 더 긴 상호작용 열을 묶어 놓았기 때문이다.

셋째 층이 핵심이다. 완수 여부가 절감의 가치를 정한다. 두 구성이 모두 완료한 작업 쌍만 비교하면 ALFWorld는 64.8~66.2%의 비용 절감과 59.2~60.8%의 실행 시간 단축을 유지한다. 하지만 실패까지 넣으면 그림이 달라진다. Reflexion-J에서는 실행의 2.0%가 실패한 복구로 추론 지출의 53.3%를 쓴다. 성공 한 건당 비용은 네 계열에서 내려가지만 T3A에서는 7.7% 올라 68.70밀리달러에서 73.97밀리달러가 되고, 이 상승의 95% 구간은 0을 포함한다. 관측된 평균에서는 완수율 저하가 T3A의 시도당 17.1% 절감을 상쇄했다. FastAgent는 작업 시간이 거의 그대로이고 완수율이 낮아 성공 한 건당 시간이 239.4초에서 377.8초로 늘었다. 넷째 층은 실패 궤적이다. 저자들은 43개 작업 쌍, 258회 실행을 수작업으로 코딩했고 두 저자가 독립적으로 라벨을 붙여 라벨별 Cohen의 카파 평균은 0.867이었다. Jev가 지속적으로 실패하고 기준은 성공하는 묶음에서는 Jev 실행 57회 중 40회에 복구 실패가, 29회에 무효한 탐색이 있었고 기준은 3회와 2회였다. 전형적인 사례로, Wi-Fi 작업에서 Jev는 라벨이 모호한 스위치를 골라 목표가 달성되지 않았는데도 완료를 선언했고, 이로써 교정의 기회가 끊겼다. ALFWorld에서는 천 대신 손수건을 골랐고 이후의 추론이 잘못된 대상 위에서 이어졌다. Reflexion-J는 첫 시도 성공률이 95.27%로 기준의 93.53%보다 높지만, 이후 초기 실패 19건 중 11건만 회복했고 기준은 26건 중 25건을 회복해 최종 성공률은 낮아졌다.

논의는 두 방향을 가리킨다. 모델 개발에서는 간결한 수치 출력을 유지하되 목표, 행동의 전제 조건, 모순되는 피드백에 대한 민감도를 높이고, 성공과 실패 궤적의 대비로 훈련하며, 사용 가능한 어떤 행동이 목표를 진전시키는지에 대한 보정된 신뢰도를 내놓자고 제안한다. 시스템 설계에서는 결정을 관측 가능한 입력, 결과, 비용을 가진 명시적 구성요소로 다루고, 후보 인터페이스가 대상의 정체, 전제 조건, 예상되는 상태 변화를 드러내게 하며, 검사는 실패가 종결적이거나 지속적으로 변하는 지점인 완료 판단과 반복적인 무진전에 집중시킬 것을 권한다. 저자들은 후보 구성, 보조 생성, 피드백이 결과를 좌우하고 계열 간 비교에는 상호작용 예산과 워크플로 설계의 차이도 반영되므로, 비교는 평가한 통합 방식에 대한 것이라고 강조한다. 우리의 판단은 이 논문이 흔한 마케팅 서사를 검증 가능한 질문으로 다시 썼다는 것이다. 싼 결정이 곧 싼 결과는 아니다. 수치는 구체적이고 한계도 구체적이다. 텍스트 관측만, 에이전트 계열 다섯 개, 고정된 시드 하나다. 엔지니어링 팀에 주는 실용적 조언은 '작고 빠른' 결정 모델을 도입하기 전에 그것이 워크플로 시간의 얼마를 실제로 차지하는지 재고, 실패 뒤 복구 비용을 재고, 호출당 가격이 아니라 성공한 납품당 비용과 시간으로 합격 여부를 정하라는 것이다.