OpenAI Decisions API, 제한된 선택 작업에 정식 제공

선택지가 제한된 결정을 위한 전용 API

OpenAI는 10월 22일 GPT-6 Luna 기반 Decisions API를 전용 엔드포인트에서 정식 제공한다고 발표했다. 이 API는 입력을 분류하거나 요청을 적절한 경로로 보내고, 업무 흐름의 다음 단계를 고르는 등 답의 범위를 미리 정할 수 있는 과제에 맞춰져 있다. 텍스트와 이미지, 구조화된 데이터를 입력으로 받는다. 자유로운 긴 답변을 만드는 일반 채팅과 달리 호출하는 쪽이 가능한 선택지와 잘못된 응답을 처리할 방법을 먼저 정해야 한다.

OpenAI는 발표에서 설명한 제한된 과제에 한해 Responses API로 GPT-6 Luna를 사용할 때보다 응답이 최대 10배 빠를 수 있다고 주장한다. 고객 사례에도 다른 속도 배수와 280밀리초 미만의 95백분위 지연 수치가 나오지만, 각각 다른 비교 대상과 작업을 사용한다. 이 숫자들은 회사와 고객이 보고한 결과이지 이 매체가 독립적으로 수행한 벤치마크가 아니다. 입력 길이, 지역, 캐시 상태, 선택지 수가 달라지면 같은 배수가 재현된다고 단정할 수 없다.

가격과 데이터 설정에는 조건이 있다

원래 발표는 입력 토큰 100만 개당 0.10달러, 캐시된 입력 토큰 100만 개당 0.01달러를 제시하고 이 엔드포인트에는 출력 토큰 요금을 따로 부과하지 않는다고 설명한다. 여기서 토큰은 모델의 처리량을 세는 단위이며 암호화폐가 아니다. 가격은 발표 당시의 조건이므로 예산을 정하기 전에 최신 안내를 확인해야 한다. 미국과 EU 지역에서 처리할 수 있다고 하지만 데이터 미보존 설정은 자격을 갖춘 고객에게만 제공된다. 특정 계정의 적용 여부를 확인하지 않고 기본 보장으로 써서는 안 된다.

작은 판단이 수천 번 반복되는 업무에서는 호출 한 번의 지연 차이가 누적될 수 있다. 동시에 빠르고 저렴한 잘못된 분류도 빠르게 퍼질 수 있다. 팀은 자체 업무에서 정답이 확인된 사례를 사용해 정확도뿐 아니라 판단을 보류하거나 사람에게 넘기는 비율, 지연의 중앙값(p50)과 95백분위(p95), 검색과 네트워크 및 승인에 걸리는 시간을 함께 측정해야 한다. 보험 서류 30건에서 정확도가 같았다는 고객 사례를 다른 산업의 보편적 정확도로 확대할 근거는 없다.

모델의 판단은 실행 권한이 아니다

문서를 분류해 부서로 보내는 경우, 가능한 분류와 낮은 신뢰도의 처리 경로를 미리 정해야 한다. 민감한 정보에 접근하거나 외부 작업을 실행한다면 별도의 정책 검사와 필요한 사람의 승인을 유지해야 한다. 모델이 반환한 점수는 의사결정의 자료이지 명령을 실행하거나 문서를 공개할 권한이 아니다. 정식 제공이라는 제품 상태도 모든 판단 문제가 해결되었다는 뜻은 아니다.

새 API와 기존 규칙을 같은 실제 사례에 병행 적용해 오류 종류, 수정 비용과 완료 시간을 비교하는 것이 합리적이다. 캐시 가격이 낮아도 모든 입력이 재사용되는 것은 아니며 실패 후 재시도와 사람의 검토에도 비용이 든다. 이 글은 10월 26일 발행하지만 원래 발표일은 10월 22일이다. 속도와 가격은 OpenAI의 발표 내용으로 귀속한다.

가격 비교에서는 캐시가 실제로 얼마나 자주 적중하는지도 따져야 한다. 반복하지 않는 입력에는 낮은 캐시 단가를 적용할 수 없고, 네트워크 대기와 실패 시 재시도는 별도의 비용을 만든다. 미국이나 EU 처리 옵션이 문서에 있다는 이유만으로 현재 계정과 입력 자료에 같은 설정이 적용된다고 가정해서는 안 된다. 개인정보나 보안 관련 분류에는 데이터 보관 조건을 먼저 확인해야 한다.

특히 위험한 명령의 승인 여부를 모델의 분류 하나에 맡겨서는 안 된다. 사전에 정한 정책 규칙과 사람의 확인 절차를 함께 유지하고, 모델이 판단하지 못할 때는 자동 실행을 멈추는 경로가 필요하다. 새 API의 가치는 호출 자체의 속도뿐 아니라 전체 업무에서 오류를 줄이거나 안전하게 처리하는지로 평가해야 한다.