OpenAIの顧客事例:GreptileはGPT-6 Astraでアプリを動かしプルリクエストを試験すると説明

Greptile、GPT-6 Astraでアプリを動かしてプルリクエストを試験すると説明

OpenAIは10月26日、コード変更を審査し試験するAIエージェントを作る企業Greptileについての顧客事例を公開した。事例によれば、GreptileはGPT-6 Astraでユーザーの作業の流れを試験し、OpenAIのDaybreakで安全面の防御を強め、Codexで手戻りを減らしている。主張のほぼすべてはGreptileの共同創業者で最高経営責任者のDaksh Gupta氏によるもので、ページはOpenAIの宣伝である。ベンチマーク、誤り率、費用の数字は含まれていない。設計の説明としては役に立つが、成果の証拠にはならない。

コードを読むだけでなく、動作を試験する

中心にある考えは、差分を読むだけではすべての欠陥は見つからないというものだ。Gupta氏は、iPhoneでサイトを表示するとボタンが消える例を挙げる。事例によれば、Greptileはプルリクエストのために開発用サーバーを起動し、ブラウザーを携帯電話の大きさに変え、利用者がアプリを進む様子を模擬できる。モデルの視覚理解により、画面を調べて消えたボタンに気づける。Gupta氏はこれをGPT-6 Astraのコンピューター操作、つまりモデルが画面を通じてソフトウェアを操作する能力のおかげだとし、モデルが開発を速くした現在、人間の品質保証会社がすべての変更を試験するのは「非現実的に遅い」と述べる。事例は、この方法でどれだけの欠陥が見つかるか、誤警報がどれだけあるか、1回の実行にどれだけかかるかを述べていない。

セキュリティと共有のナレッジベース

セキュリティについてGupta氏は、より強いモデルは攻撃者がアプリを悪用しやすくするので、典型的な標的ではなかった企業も危険にさらされると述べる。GreptileはDaybreakにより、顧客に攻撃側を上回る高度な防御を提供し、それを「非常に安全な形で」行っているという。その後に技術的な詳細は続かない。事例は次に、企業のコードベースを索引化し、その仕組みを人にもエージェントにも読める形で文書化するGreptileのKnowledge Baseを説明する。GreptileはこれをModel Context Protocol(MCP)サーバー経由でCodexに提供し、生成されるコードが既存のパターンに従うようにしている。Gupta氏は、数千の顧客がCodexをこのナレッジベースにつないでいると語る。チームはAIが書いたコードが差し戻される頻度を追っており、エージェントに文脈を与えると差し戻しが減るとも述べる。差し戻し率の数字は示されていない。

頼る前に確かめるべきこと

事例は、開発を速める手段とGupta氏がみなす「Ultrafast」への期待で終わる。ページはそれが何かを説明していない。似たツールを評価する読者は、自分のリポジトリでの検出率と誤警報率の実測を求めるとよい。セキュリティ上もう一点重要なことがある。プルリクエストのコードを開発用サーバーで動かし、ブラウザーでそれを操作することは、まだ審査されていないコードを実行することを意味する。これらは読者が持つべき疑問であり、事例の中の主張ではない。こうした仕組みが非公開のコードベースに触れる前に、サンドボックス、モデルが見られるデータ、1回の実行あたりの費用を明らかにしておくべきだ。