据 OpenAI 客户案例,Greptile 称 GPT-6 Astra 可运行应用来测试拉取请求

Published · AI Daily — AI-assisted deep research, methodology & disclosure

OpenAI 10 月 26 日的客户案例引述 Greptile 首席执行官的话,称 GPT-6 Astra 的计算机操作能力让智能体能运行拉取请求中的应用、调整浏览器大小并模拟用户,还提到 Daybreak 和与 Codex 相连的知识库。页面没有检出率、成本或基准测试。

Greptile 介绍用 GPT-6 Astra 运行应用来测试拉取请求

10 月 26 日,OpenAI 发布了一篇关于 Greptile 的客户案例,这家公司开发用于审查和测试代码变更的 AI 智能体。案例说,Greptile 用 GPT-6 Astra 测试用户工作流,用 OpenAI 的 Daybreak加强安全防护,并用 Codex 减少返工。几乎每一项说法都来自 Greptile 的联合创始人兼首席执行官 Daksh Gupta,这个页面属于 OpenAI 的市场宣传。其中没有基准测试、错误率或成本数据。它适合用来了解一种设计思路,而不能当作效果的证据。

测试行为,而不只是阅读代码

核心想法是:只读代码差异,无法发现所有缺陷。Gupta 举了一个例子:网站在 iPhone 上浏览时,一个按钮消失了。据案例所述,Greptile 可以为一个拉取请求启动开发服务器,把浏览器调整为手机大小的视口,并模拟用户在应用中走一遍流程。模型的视觉理解能力让它检查屏幕,注意到缺失的按钮。Gupta 把功劳归于 GPT-6 Astra 的计算机操作能力,也就是模型通过屏幕操作软件的能力,并说在模型让开发速度加快的今天,由人工测试公司检验每一处改动“慢得不切实际”。案例没有说明这种方式能发现多少缺陷、有多少误报,也没有说一次运行要多久。

安全与共享的知识库

在安全方面,Gupta 说更强的模型让攻击者更容易利用应用的漏洞,因此连原本不算典型目标的公司也面临风险。他说 Greptile 用 Daybreak 让客户拥有比攻击方更复杂的防御手段,并且做法“非常安全”。之后没有任何技术细节。案例接着介绍了 Greptile 的 Knowledge Base,它为公司的代码库建立索引,并以人和智能体都能读取的形式记录代码如何工作。Greptile 通过模型上下文协议(MCP)服务器把它提供给 Codex,使生成的代码遵循既有的模式。Gupta 说有数千位客户已把 Codex 连接到这个知识库。他说团队会跟踪 AI 所写代码被回退的频率,智能体拿到上下文后回退会减少。案例没有给出回退率。

依赖这类说法之前应当追问什么

案例最后提到 Gupta 对“Ultrafast”的期待,他把它看作加快开发的手段,页面没有说明它是什么。评估类似工具的读者可以要求在自己的代码库上测得检出率和误报率。还有一点对安全很重要:在开发服务器中运行拉取请求的代码并驱动浏览器去访问它,意味着执行尚未审查的代码。这些是读者应当问的问题,不是案例里的说法。在这类系统接触私有代码库之前,应当先弄清沙箱、模型能看到的数据以及每次运行的成本。

这份案例回答了什么,没有回答什么

它回答的是一个设计问题:模型可以通过屏幕操作软件,把“启动应用、缩放窗口、模拟用户”变成拉取请求检查的一部分。它没有回答效果问题,包括检出率、误报率、单次运行的耗时与成本、沙箱如何隔离,以及“回退减少”是怎样测量的。想试用的团队可以做一个小规模对照:挑出二十个已知存在界面缺陷的历史拉取请求,让工具运行一遍,统计它找到了几个、误报了几个、花了多少时间和费用,再与现有的人工测试或自动化测试比较。只有这样得到的数字,才能支撑是否采用的决定,而案例中的引言不能。

案例里的两个说法也应区别对待。“数千位客户已连接 Codex”描述的是连接规模,由 Gupta 提供,并不说明这些客户的使用深度;“回退更少”是方向性的说法,没有给出基线。另外,页面上的视频与文字都是 OpenAI 的客户故事,面向的是潜在买家,读者应当把它与独立评测区分开。

读者在转述这类案例时,也应当写明数字和判断出自谁之口。Gupta 是 Greptile 的负责人,他的说法代表公司立场,OpenAI 作为发布方则有推广自家模型和产品的商业动机。把这层关系写清楚,读者才能判断每一句话的分量,而不会把销售材料误当成独立的结论。若要引用其中的任何一个数字或结论,也请先回到原页面核对上下文,以免断章取义,同时注意页面日期是 10 月 26 日。

Sources

FAQ

Greptile 说它用 GPT-6 Astra 做什么?

Greptile 的首席执行官说,其智能体可以为一个拉取请求启动开发服务器,把浏览器调整为手机大小的视口,模拟用户并发现问题,比如 iPhone 上消失的按钮。据他所说,这得益于模型的计算机操作与视觉理解能力。

这个页面能证明它找到更多缺陷吗?

不能。它是 OpenAI 的客户案例,没有基准测试、检出率、误报率或成本。关于回退减少和数千位客户连接 Codex 的说法来自 Greptile 的首席执行官,也没有给出基线。

团队在使用这类工具前应当问什么?

以下是编辑提出的问题,不是案例中的说法:在自己的代码库上测得的检出率和误报率、模型能看到哪些数据、每次运行的成本,以及沙箱如何隔离未审查拉取请求的代码。试用前应当逐项拿到可核对的答案。