大模型处理历史文献的隐形门槛：分词税、理解税与语义鲁棒性分析

随着大型语言模型在数字图书馆工作流中的角色日益关键，学术界对其处理历史语言能力的理解仍显不足。传统观点往往将历史文本的难度视为一个单一的整体障碍，混淆了正字法变异、语言距离和预训练暴露度等多重因素。本研究的核心贡献在于提出了一种全新的诊断框架，旨在解构这一复杂难题，将其细化为四个独立且可量化的维度：分词成本、预测不确定性（即惊讶度）、语义鲁棒性以及上下文敏感性。通过这一框架，作者不仅揭示了模型在处理非现代文本时的内部机制，还明确了不同历史时期和语言变体对模型造成的具体压力类型。这种解构方法为后续研究提供了精细化的评估工具，使得我们能够区分模型是仅仅在编码效率上遇到困难，还是在深层语义理解上存在缺陷，从而为优化历史文本处理流程奠定了理论基础。

在技术方法层面，研究采用了严谨的多数据集对比策略，以隔离不同变量的影响。实验数据涵盖三个世纪的文本来构建对比基准：首先是一个新构建的17世纪意大利语文本语料库（1610-1689年），这些文本直接从原始页面图像数字化而来，代表了高难度的历史正字法；其次是以19世纪意大利语经典小说《约婚夫妇》作为高暴露度的控制组，代表模型熟悉的历史变体；最后引入18世纪俄语民用印刷书籍作为正字法压力测试的对照组。在评估过程中，研究不仅计算了tokenization的成本膨胀率，还深入分析了模型的预测分布熵值以及嵌入空间的相似度。特别值得注意的是，研究引入了"时序上下文提示"这一轻量级干预手段，通过简单的prompt工程调整模型的输入语境，观察其对预测不确定性的影响。这种方法避免了重新训练模型的高昂成本，展示了在推理阶段通过输入优化来缓解历史文本处理困难的可行性，体现了模型无关的通用缓解策略。

实验结果揭示了编码成本与理解能力之间显著的分离现象，这是本研究最引人注目的发现。数据显示，18世纪俄语和17世纪意大利语在分词层面面临相似的惩罚，token数量均增加了25%至30%，这表明两者在表面形式上都对现代分词器构成了挑战。然而，在预测难度上，两者表现截然不同：17世纪意大利语的惊讶度平均是现代意大利语的2.4倍，而在学术散文体中，这一比例更是高达3.2倍；相比之下，俄语的惊讶度仅略有增加。更深层的分析显示，尽管生成过程不稳定，但所有数据集的嵌入相似度均保持在0.85以上。这一关键结果证明，语言模型实际上能够稳健地表征历史文本的语义内容，其困难主要源于生成时的概率分布不确定性，而非语义表征的退化。

此外，消融实验表明，通过添加简单的时序上下文提示，可以将历史文本的惊讶度降低约60%，这一显著的改善证实了上下文引导在稳定模型输出方面的巨大潜力。这些发现对数字图书馆和文化遗产的数字化应用具有深远的行业意义。首先，研究证实了尽管历史文本对模型施加了持续的编码税，但数字图书馆可以安全地部署大型语言模型执行语义检索任务，因为模型的语义理解能力并未受损。这意味着基于LLM的历史文献搜索和知识提取工具是可靠且高效的。其次，对于生成式应用，如历史文本的自动翻译、摘要或改写，研究警告称必须谨慎适配，因为高惊讶度可能导致生成内容的幻觉或不稳定。通过采用简单的上下文提示策略，开发者可以显著降低这些风险，而无需昂贵的模型微调。最后，本研究提出的诊断框架和开源数据集为后续研究提供了宝贵资源，鼓励社区进一步探索如何更好地将LLM应用于多语言、多历史时期的文化遗产保护中，推动人机协作在人文数字化学科中的深入发展。