Terminal X 用 GPT-6.1 Sol 做评估智能体，与资深投资人判断吻合率达 88.6%

10 月 20 日，OpenAI 发布了 Terminal X 的使用案例。Terminal X 把大模型用于投资研究与决策辅助。案例的重点不在生成端，而在评估端：他们做了一个叫 Eval Agent 的评估智能体，专门给其他智能体的输出打分。打分依据是一套包含 54 项标准的评分细则。当底层模型换成 GPT-6.1 Sol 后，这个评估智能体与资深投资人的判断吻合率达到 88.6%。同时，它能多发现 25% 偏离基金投资授权的情况。这里的投资授权，指基金合同或投资说明书对标的范围、风险敞口、策略边界等设下的约束。需要说明的是，公开资料没有披露这 88.6% 的样本规模、评审人数，也没有说明 25% 的对比基线是哪一个模型版本，所以这些数字适合作为方向性信号，不宜当成可直接横向比较的基准成绩。

这件事为什么重要，要从金融场景的特殊性说起。普通的问答产品，答错了可以重新生成。投研产品不同：一份研究摘要如果悄悄引用了过期数据，或者给出的建议超出了基金的投资范围，后果可能是合规问题，甚至是真金白银的损失。所以评估不能只看文字通顺与否，而要看结论是否有依据、数据是否可追溯、建议是否在授权之内。54 项细则的价值就在这里：它把资深投资人头脑里模糊的「这份东西靠不靠谱」，拆成了可逐项检查的条目。从方法上讲，这属于「以模型评判模型」的做法，通常称为 LLM-as-a-judge。它的难点在于评判者本身也会出错，常见问题包括偏爱冗长回答、被表面措辞迷惑、对隐含的约束视而不见。而「偏离投资授权」恰恰是最难检出的一类错误，因为它往往不体现在某句话明显出错，而体现在推理链条里某一步悄悄越界。多发现 25%，说明新模型在理解长约束、并把约束与具体输出逐条对照这件事上更强。至于吻合率，它衡量的是评估智能体与人类专家的一致程度，是评估者能否被信任的前提：如果评估器和专家的判断差距太大，那么用它来放大人工审核的效率就没有意义。

再看行业影响。对做金融 AI 的公司来说，这个案例传递出一个清晰的信号：竞争重心正在从「谁的回答更聪明」转向「谁能证明自己的回答是可靠的」。基金公司、券商和资管机构采购智能体产品时，最关心的是可审计、可复核、可留痕，而不是演示效果。拥有一套与专家判断高度对齐的自动化评估体系，等于把专家经验沉淀成了可复用的资产，也能让迭代更快：每次改动提示词、工具链或底层模型，都可以立刻跑一遍评估，看哪些条目变好、哪些变差。对模型供应商而言，这也是一个有利的叙事。评估任务需要长上下文理解、多条件交叉核对和稳定的判断一致性，正是新一代旗舰模型想证明自己的地方。对资深投资人和合规人员而言，影响则是双面的：一方面，他们可以把大量重复的初筛工作交给评估智能体，把精力放在边界案例上；另一方面，他们的判断也成了评估体系的「标尺」，标尺本身的质量与一致性会反过来影响整套系统。对竞争对手来说，单纯复制生成端的能力已经不难，真正的壁垒是高质量的评分细则、专家标注数据，以及与具体机构授权相匹配的评估流程，这些很难靠换一个模型就补齐。

接下来值得关注几个方向。第一，是否会有更完整的披露，包括样本数量、评审者的分歧程度、与其他模型的对比，以及评估器自身的误报率和漏报率。对风控场景来说，漏掉一次真实的越界，代价远高于多报一次误警，所以只看吻合率是不够的。第二，评估器和生成器是否来自同一模型家族。同源模型之间可能存在偏好相近、盲区相似的问题，业内通常会用不同模型交叉验证来缓解，这方面的做法值得观察。第三，评分细则能否随基金授权的变化自动调整。真实的机构各有各的约束条款，如果评估体系需要大量人工重写，规模化就会受限；若能把授权文本直接转化为检查条目，落地速度会明显加快。第四，监管层面的态度。一旦金融机构把智能体的评估结果作为内部合规证据，监管方很可能会追问评估本身是否可验证、是否保留了完整记录。如果这套思路被证明稳定有效，类似的「专家细则加评估智能体」模式，也很可能扩展到法律、医疗、审计等同样强调合规与可追溯的行业。