Ironclad로 컴퓨터 사용 능력을 높이다: OpenAI, 계약 워크플로를 에이전트 훈련 과제로

2026년 10월 6일, OpenAI는 AI 계약 관리 소프트웨어 기업 Ironclad와 진행한 공동 연구 결과를 공개했습니다. 겉으로는 계약 도구에 관한 사례 연구처럼 보이지만, 실제로는 OpenAI가 다음 단계에서 에이전트를 어떻게 훈련할지 보여 주는 글입니다. 이제 질문은 모델이 컴퓨터를 조작할 수 있는가가 아닙니다. 전문 소프트웨어 안에서 기업의 업무 규칙을 이해하고, 여러 단계로 이루어진 워크플로를 실행하며, 결과물이 처음의 요구 사항을 충족하는지 스스로 검증할 수 있는가입니다. OpenAI에 따르면 GPT-6 Astra를 공개할 때 문서 작성이나 웹사이트 테스트 같은 전문 업무에서 컴퓨터를 쓰는 능력이 이미 입증되었고, 다음 목표는 전문 소프트웨어를 활용해 복잡한 비즈니스 문제를 더 유능하고 효율적으로 풀게 하는 것입니다. 이를 위해 OpenAI는 이런 워크플로를 가장 잘 아는 소수의 소프트웨어 기업과 직접 협력하고 있으며, Ironclad가 첫 번째 파트너입니다.

핵심은 과제 설계입니다. 법무 운영팀이 소프트웨어 구매 절차를 만드는 상황을 생각해 봅시다. 일정 금액 이상의 구매는 재무팀이 승인해야 하고, 일부 요청은 보안팀이 검토해야 하며, 표준에서 벗어난 조항은 법무팀이 검토해야 합니다. 절차를 구축하는 사람은 이 짧은 목록을 요청 양식, 문서 템플릿, 승인 규칙, 최종 계약 기록으로 바꿔야 합니다. 같은 일을 하는 AI 에이전트는 첫 클릭부터 마지막 클릭까지 이 요구 사항을 계속 기억해야 합니다. 지출 기준액을 넘으면 재무 승인을 설정하고, 기준액 위와 아래의 요청이 각각 올바른 경로를 따르는지 확인해야 합니다. 개별 단계가 맞는 것만으로는 부족하며, 완성된 절차가 설계된 모든 상황에서 작동해야 합니다. Ironclad 직원과 OpenAI 내부에서 Ironclad를 쓰는 사람들이 연구진을 도와 법무, 영업, 조달 전반의 과제 11개를 정했습니다. 비밀유지계약 설정, 조달 승인 절차 생성, 요청자가 선택한 관할권을 반영하도록 재사용 가능한 법률 조항을 갱신하는 일 등이 포함됩니다. OpenAI는 숙련된 사용자가 과제 하나에 평균 30분에서 40분이 걸린다고 추정합니다.

평가와 훈련 방식도 눈여겨볼 만합니다. 각 과제는 복잡도에 따라 8개에서 50개의 기준으로 채점되었습니다. 이 세분화 덕분에 결과를 성공 또는 실패로 뭉뚱그리지 않고, 모델이 어느 부분을 맞혔고 어디서 부족했는지 볼 수 있습니다. Ironclad는 모델이 연습할 수 있도록 자사 제품의 호스팅된 소프트웨어 환경도 제공했습니다. OpenAI 연구진은 대표적인 워크플로를 바탕으로 합성 훈련 과제를 만들고, 강화 학습으로 모델이 연습과 피드백을 통해 나아지도록 했습니다. 업무를 아는 사람이 고른 과제, 상세한 채점 기준, 연습할 수 있는 장소가 함께 작동합니다. OpenAI는 이 조합이 고객에게 가장 중요한 실제 과제에서 개선이 이루어지도록 보장한다고 설명합니다. 실제 소프트웨어, 항목별 채점표, 강화 학습으로 구성된 이 방식은 공개 벤치마크만 쓰는 것보다 기업이 실제로 결과물을 검수하는 방식에 더 가깝다고 볼 수 있습니다. 결과는 구체적입니다. OpenAI는 GPT-6 Astra와 GPT-5.6 Sol을 각각 점수가 가장 높게 나온 설정, 즉 Astra는 Max 추론, Sol은 High 추론으로 비교했습니다. 11개 연구 과제에서 Astra의 평균 점수는 55.0%, Sol은 41.6%로 상대적으로 약 32% 높았습니다. 시도 한 번당 추정 평균 소요 시간은 Sol의 37.0분에서 Astra의 19.2분으로 약 48% 줄었습니다. 같은 과제를 다룬 시연 영상에서 Astra는 기준의 약 94%를 추정 약 20분에 충족했고, Sol은 약 85%를 추정 약 32분에 충족했습니다. 또한 Astra 개발에 쓰인 내부 모델은 같은 과제에서 63.7%를 기록했으며, OpenAI는 이 추가 이득을 향후 모델에 반영하는 것을 목표로 한다고 밝혔습니다. GPT-6 Astra는 Ironclad 과제로 훈련된 첫 번째 프런티어 모델입니다. 이 수치는 신중하게 읽어야 합니다. 표본은 과제 11개뿐입니다. 평가는 OpenAI가 직접 만든 연구용 테스트이며 독립된 제3자 벤치마크가 아닙니다. 소요 시간은 추정한 시뮬레이션 값이지 실제 운영 환경의 측정값이 아닙니다. 두 모델은 추론 설정도 서로 달랐습니다. 따라서 특정 소프트웨어에 맞춘 훈련이 완성도와 효율을 동시에 끌어올릴 수 있다는, 방향성을 보여 주는 증거로 받아들이는 것이 타당합니다. Ironclad에게 이번 협업은 계약 절차가 예외를 처리하면서도 기업이 의존하는 규칙을 지켜야 한다는, 고객이 잘 아는 과제를 시험하는 일입니다. 업계에 주는 신호는 더 분명합니다. 최전선의 연구소가 수직 분야 소프트웨어 기업과 손잡고 전문 업무를 훈련하고 채점할 수 있는 과제로 바꾸고 있습니다. 좋은 과제 정의와 연습 환경을 쥔 쪽이 다음 에이전트 성능 향상의 원료를 쥐게 됩니다. 에이전트를 평가하는 기업도 최종 성공률 하나에 만족하지 말고 같은 항목별 기준을 요구해야 합니다.