OpenAI、限定選択向けDecisions APIを一般提供

選択肢を限定したDecisions API

OpenAIは10月22日、GPT-6 Lunaを使うDecisions APIが専用エンドポイントで一般提供に入ったと発表した。入力を分類する、要求を振り分ける、作業の次の手順を選ぶといった、答えの集合をあらかじめ定められる課題向けだ。文字、画像、構造化された入力を扱う。自由な長文を生成するチャットとは異なり、呼び出し側が候補と失敗時の扱いを決めなければならない。

OpenAIは、対象とする限定的な課題では、Responses API経由のGPT-6 Lunaと比べて最大10倍速い応答が可能だと述べる。顧客事例には別の倍率や280ミリ秒未満の95パーセンタイル値もあるが、それぞれ負荷と比較対象が異なる。いずれも開発企業や顧客の報告で、本稿による独立した比較試験ではない。入力の長さ、地域、キャッシュ、候補の数が変われば、見出しの倍率をそのまま当てはめられない。

価格とデータ管理の条件

10月22日の発表文は、入力100万トークン当たり0.10ドル、キャッシュ済み入力100万トークン当たり0.01ドルと記す。専用のDecisions APIには出力トークンの課金がないという。ここでいうトークンは処理量を数える単位であり、暗号資産ではない。料金は発表時の記述なので、予算を決める前に最新の案内を確認する必要がある。米国とEUでの地域処理も挙げられるが、ゼロデータ保持は資格を満たす顧客に限られる。

小さな判定が何千回も続く作業では、１回の遅延削減が積み重なる。他方、安価で速い誤分類も同じ速さで広がる。導入試験では自社のラベル付き事例を使い、正答率だけでなく、保留して人に渡した割合、中央値と95パーセンタイルの遅延、検索やネットワーク、承認に要する時間を測るべきだ。顧客が30件の保険証明書で同じ精度を得たという例から、他業種の精度までは分からない。

判定結果は実行権限ではない

文書の振り分けなら、候補ラベル、確信度の基準、例外時の行き先を先に定める。機密データへのアクセスや外部での操作には、別途明示的な権限確認と必要な人的承認を残す。モデルが返した分類や点数は判断材料であり、コマンドの実行や資料公開を許可するものではない。APIの一般提供は、すべての判定問題が解決済みであることも意味しない。

キャッシュ料金が低くても、すべての入力が再利用可能とは限らない。再試行、失敗時の確認、人手での修正も費用に含めて比較したい。新旧の方法を同じ実例で並行運用し、誤りの種類まで比べてから対象を広げるのが妥当だ。本稿は10月26日付で原発表を報じ、速度と価格の主張をOpenAIに帰属させる。

データ保持や処理地域についても、製品紹介に記載があるだけで自分の契約に適用されると考えてはいけない。実際のアカウント、入力する情報、選んだ地域を確認し、ログがどの程度残るかを担当者とすり合わせる。分類の間違いが重大な結果につながる用途では、「判断できない」と返す経路と人への引き継ぎを試験に含めるべきだ。

判定の速さと作業全体の速さも分けて測る。検索、接続先の応答、再試行、人の確認が支配的なら、モデルの呼び出しだけが10倍速くても利用者の待ち時間は同じだけ短くならない。業務で使う実例の誤りの種類と費用を記録してから、段階的に導入する。