文档摄取的静默丢失：智能体读不到作者用高亮和颜色标出的重点

企业里的智能体要靠文档干活：遵循制度、回答合规问题、提交工单，前提是某个摄取层先把 Word 或 PDF 变成 token。这篇论文指出，真正的隐患就藏在这一层。作者写文档时，常常用外观来传递含义，比如把关键要求高亮，或者标成醒目的颜色，而主流转换器几乎都会把这类信息丢掉。更麻烦的是，这种丢失是静默的。智能体看不到提示，也就不会表现出信息不全，而是自信地给出错误答案。论文的贡献可以概括为四点。第一，作者用 76 份真实制度文档构建了一个任务，要求恢复作者特别标出的要求，并以文件自身的 OOXML 属性作为标准答案，由确定性匹配器打分，全程不依赖 LLM 裁判。第二，作者把损失定位到具体的线索类型，而不是笼统地说格式很重要。第三，作者用预注册检验区分了两种做法：只保留线索，与把线索标注成类型后交给智能体。第四，作者通过独立模态验证标签质量，并测出仅靠措辞能达到的上限。最终的结论很直接：企业智能体的可靠性，主要在摄取阶段决定，而不在推理阶段。

方法上，这篇论文的重点是让评测可确定、可复现。数据端，作者从 76 份真实制度文档出发，直接读取文件的 OOXML 属性，得知哪些文字被作者用高亮、颜色、加粗、斜体、等宽字体、删除线等方式标出，并把这些属性当作标签。评测端，让智能体在不同的摄取方式下回答作者单独强调了哪些要求，再用确定性匹配器与标签比对，计算 micro F1。对照组包括保留格式线索的摄取方式、docling 以及纯文本提取。为了找出到底是哪种线索造成了损失，作者做了 span 级别的 leave-one-out：每次只抹掉一种线索，观察分数下降多少，并用 Holm 方法校正多重检验。此外，作者检查了 PDF 上是否出现同样的不对称，并把页面渲染成图像，通过独立的视觉模态核对标签，得到 kappa 0.72 的一致性。他们还只用措辞而不看格式去预测哪些句子被标出，得到 AUC 0.664，用来界定光靠文字内容能做到多少。最后，一个预注册实验专门比较了仅保留线索和显式标注线索类型这两种做法。实验结果相当醒目。保留格式线索时，micro F1 为 0.690。换成 docling 后降到 0.150，纯文本提取只有 0.075。

这个差距在六个回答模型上都能复现，其中包括 Opus、Sonnet、Haiku 三档共五个 Claude 模型，以及 OpenAI 的 GPT-5.6，说明问题出在输入，而不是某一个模型的缺陷。看不到线索的智能体只能猜，docling 在作者并未标记的要求上的误报率是作者方案的四倍，这正是自信出错的来源。leave-one-out 的结果显示，损失集中在两种线索：高亮贡献 +0.302，颜色贡献 +0.262，Holm 校正后 p 均小于 1e-4。加粗、斜体、等宽和删除线各自与零相差不超过 0.003，几乎没有影响。PDF 上也出现了同样的不对称。在 6460 份文档中，32.8% 带有刻意的颜色或高亮，10.3% 落在义务条款上。预注册检验表明，为智能体标注线索类型，在单纯保留之外还能再增加 +0.085，Holm 校正后 p 为 0.049，刚刚越过显著线。对做企业智能体的团队来说，这篇论文给出一个很具体的提醒：别只盯着模型换代，先看文档在进入模型之前被改成了什么。颜色和高亮是主流转换器都不保留、解析基准也不打分的线索，却出现在三成以上的真实文档里，还常常压在义务条款上。这是一块被现有基准忽略的盲区，也解释了为什么智能体在演示里表现正常，部署后却悄悄出错。对开源社区而言，评测方法本身就有价值：用 OOXML 自带的属性做标签，用确定性匹配器打分，避免了 LLM 裁判带来的噪声，也便于别人复现，并扩展到新的转换器和文档类型。对工业落地来说，结论是修复成本低而且可度量：先在摄取层保留颜色和高亮，再进一步把它们标成带类型的提示，就能换来可见的增益。对后续研究，这篇工作留下了几个方向：把同样的检验推广到更多文档格式，研究转换器如何输出带类型的线索，并把此类线索纳入解析基准的评分体系。