Terminal X 用 GPT-6.1 做评估智能体,与资深投资人判断吻合度达 88.6%

Published · AI Daily — AI-assisted deep research, methodology & disclosure

金融研究平台 Terminal X 的评估智能体(Eval Agent)按 54 项评分标准给系统输出打分。接入 GPT-6.1 Sol 后,它与资深投资人判断的吻合度达到 88.6%,并多发现 25% 偏离基金投资授权的情况。这说明在金融这类高风险场景里,让智能体自动评审智能体,正在从概念走向可用的质量控制手段。

金融研究平台 Terminal X 近日披露了其评估智能体(Eval Agent)的最新进展。这个智能体的任务,是对平台上其他智能体生成的研究输出进行打分。它依据一套包含 54 项标准的评分表工作,逐项检查内容是否合格。据 OpenAI 发布的案例,Terminal X 把评估智能体切换到 GPT-6.1 Sol 之后,它的打分与资深投资人的判断吻合度达到 88.6%。同时,它能多发现 25% 偏离基金投资授权的情况。这里的投资授权,指的是基金在合同或策略文件中写明的投资范围、风险限制和风格约束。原文公布的核心数字就是这两个:88.6% 的吻合度,以及 25% 的偏离检出提升。需要说明的是,案例没有给出评测样本量、对比基线的具体模型,也没有说明吻合度是按条目还是按整份报告计算,读者在引用这些数字时应保留这层谨慎。

要理解这件事的分量,先要看评估智能体在整个系统里的位置。金融研究类智能体的输出,往往是一份份分析报告、公司点评或组合建议。这类内容的错误很隐蔽:数字可能引错年份,结论可能越过基金章程允许的范围,措辞可能暗含未经证实的判断。靠人工逐份审阅,成本高,也跟不上智能体的产出速度。评估智能体的思路,是把资深投资人的审稿经验拆成 54 条可检查的标准,再让模型逐条打分。这种做法在业内常被称为评分表式评审,或叫模型担任评审。它的难点不在于模型会不会读,而在于能不能稳定地理解一条标准的真实含义。比如授权里写着不得投资某类资产,模型需要判断一段文字是不是间接建议了这类资产。这需要对上下文和金融语义都有细腻的把握。88.6% 的吻合度说明,在这套评分表约束下,模型的判断已经接近资深人士的水平,但它仍然不是百分之百,剩下的差距依然需要人来兜底。另一个值得注意的点是,多发现 25% 的偏离,意味着此前的评估存在漏检。在合规场景里,漏检的代价远高于误报,所以这个数字比吻合度本身更贴近业务价值。

从行业角度看,这个案例反映出智能体应用的重心正在转移。过去一年,大多数讨论集中在如何让智能体完成任务;现在,越来越多团队开始追问如何证明它完成得好。评估智能体正是对这个问题的工程回答。对金融机构来说,影响最直接:合规和风控团队可以把一部分初审工作交给评估智能体,把人力集中到有争议的条目上。对基金经理和研究团队而言,输出被自动对照授权检查,也能降低无意越线的风险。从竞争格局看,金融数据与研究平台长期靠数据覆盖和终端体验竞争,如今质量保证能力正在成为新的差异点。谁能拿出可量化的评审结果,谁就更容易说服机构客户接入智能体。对模型供应商来说,这类案例也是一种背书:OpenAI 把客户在高风险领域的评审表现公开出来,意在说明其新一代模型在长评分表、细粒度判断上更可靠。不过,供应商案例天然带有宣传属性,其他模型在同一评分表上的表现并未公开,横向比较还缺少依据。对中小团队来说,真正可借鉴的是方法而不是数字:先把专家经验拆成可检查的条目,再让模型评审,并持续用人工抽查校准。

接下来有几个信号值得关注。第一,是评测透明度。如果 Terminal X 或 OpenAI 后续公布样本规模、条目级别的一致性、误报与漏报的拆分,这套结果的可信度会大幅提高。第二,是评审模型自身的偏差问题。让模型评审模型,存在偏好相似写作风格、对冗长内容给高分等已知风险,业界通常需要用独立的人工标注集定期复核。第三,是监管态度。金融监管机构对自动化合规检查的接受程度,将决定评估智能体能否从辅助工具升级为正式流程的一环。若监管要求保留人工签字,这类系统的价值将主要体现在提效,而不是替代。第四,是评分表的维护成本。54 项标准会随基金策略、市场环境和法规变化而更新,如何让评估智能体跟着更新而不走样,是长期运营的真正考验。总体来看,88.6% 这个数字说明方向可行,但从可用走向可托付,还需要更多公开数据、更长时间的实战检验,以及清晰的人机分工。

Sources

FAQ

Terminal X 的评估智能体是什么,取得了什么成果?

Terminal X 是金融研究平台,其评估智能体按 54 项标准给其他智能体的研究输出打分。接入 GPT-6.1 Sol 后,它与资深投资人判断吻合度达 88.6%,并多发现 25% 偏离基金投资授权的情况。

为什么 88.6% 的吻合度和多发现 25% 的偏离很重要?

金融研究智能体的错误很隐蔽,人工逐份审阅成本高又跟不上产出速度。评估智能体把资深投资人的审稿经验拆成 54 条标准,多发现 25% 的偏离意味着此前存在漏检,而合规场景里漏检代价高于误报。

引用这些数字时,后续还需要关注什么?

案例没有给出评测样本量、对比基线模型,也没说明吻合度按条目还是按整份报告计算。后续应关注样本规模、条目级一致性、误报与漏报拆分、评审模型自身偏差,以及监管是否接受自动化合规检查。