历史文本与大模型的博弈：解码分词成本与语义理解的解耦现象

随着大语言模型在数字图书馆工作流程中的渗透日益加深，其处理历史语言的能力成为亟待厘清的关键问题。传统观点往往将历史语言的难度视为一个单一的整体障碍，混淆了正字法变异、语言距离和预训练暴露度等因素。本研究的核心贡献在于提出了一种细粒度的诊断框架，旨在解构这一复杂性。作者认为，模型面对历史文本时的困难并非铁板一块，而是由分词成本、预测不确定性（即惊讶度）、语义鲁棒性以及上下文敏感性四个 distinct 维度共同构成。这种分解视角不仅有助于更精确地评估模型瓶颈，也为后续优化提供了明确的方向。通过这一框架，研究试图回答一个根本性问题：当模型面对几百年前的文本时，究竟是在编码阶段受阻，还是在深层语义理解层面失效？

这一问题的厘清对于理解大模型在低资源或长尾语言分布下的泛化能力具有重要意义，也为数字人文领域的智能化转型提供了理论基石。在技术方法层面，研究并未采用单一的基准测试，而是设计了一套多维度的评估协议。首先，通过计算输入文本的 token 数量与字符数量的比率，量化分词成本，以此衡量正字法变异带来的编码效率损失。其次，利用模型内部的预测概率分布计算 surprisal（惊讶度），以反映模型对历史词汇和句法结构的认知不确定性。第三，通过计算历史文本与现代标准文本在 embedding 空间中的余弦相似度，评估语义鲁棒性，即模型是否能在生成不稳定的情况下依然保持对含义的准确表征。最后，通过引入不同的上下文提示策略，测试模型对时序信息的敏感性。

实验特别注重控制变量，例如对比不同历史时期的意大利语与俄语，以分离语言距离与正字法差异的影响。这种多维度的技术拆解，使得研究者能够精准定位模型在特定历史文本处理中的具体短板，而非仅仅给出一个笼统的性能评分。实验设置涵盖了跨度三个世纪的丰富语料，包括新整理的17世纪意大利语文本（1610-1689年，源自原始页面图像数字化）、作为高曝光对照的19世纪意大利语经典《约婚夫妇》，以及作为正交应力测试的18世纪俄语民用印刷书籍。关键结果显示，编码成本与理解难度之间存在明显的解离现象。俄语和早期现代意大利语均面临约25-30%的分词成本膨胀，但在预测难度上却截然不同。17世纪意大利语的惊讶度平均是现代意大利语的2.4倍，在学术文体中甚至高达3.2倍，而俄语仅表现出温和的增长。

然而，令人意外的是，尽管生成过程不稳定，所有数据集的嵌入相似度均保持在0.85以上。这一消融发现表明，模型内部对历史意义的表征是稳健的，生成困难主要源于词汇分布的偏移而非语义理解的丧失。此外，研究还发现，通过添加简单的时序上下文提示，可以将历史惊讶度降低约60%，证明了外部提示工程在缓解模型认知偏差方面的有效性。这项研究的行业意义深远，特别是在数字图书馆和文化遗产数字化领域。结果表明，尽管历史文本对大模型施加了持续的编码税，导致生成任务面临挑战，但其语义检索能力并未受到实质性损害。因此，数字图书馆可以安全地部署大语言模型进行历史文献的语义搜索、分类和摘要生成等任务，无需过度担忧语义理解的偏差。然而，对于依赖精确生成的应用（如历史文本的自动校对或现代语言翻译），则需要采取针对性的缓解措施，如引入时序上下文提示或进行特定历史时期的微调。这一结论为工业界在长尾语言场景下的模型部署提供了务实的指导，同时也为后续研究指明了方向：未来的优化应侧重于如何在不牺牲语义鲁棒性的前提下，降低分词和预测层面的计算与认知开销，从而更好地服务于全球文化遗产的数字复兴。