AI翻译文学文本虽"合格"，但读者仍偏好人工翻译：沉浸感与文学性的评估困境

尽管人工智能在文本翻译领域取得了显著进展，但在文学翻译这一高度依赖语境、情感与风格保留的细分场景中，其实际表现究竟如何，尤其是从读者主观体验角度出发的评估，仍是一个未被充分探索的盲区。传统的自动翻译评估指标（如BLEU、METEOR）以及侧重于语言流畅度和信息完整度的人工评估，往往难以捕捉文学作品中至关重要的沉浸感、审美体验及深层文学效果。本研究旨在填补这一空白，核心贡献在于构建了一个以读者为中心的评价框架，深入探究读者在面对机器翻译与人工翻译时的真实心理感受与偏好差异。研究团队不仅关注翻译内容的准确性，更聚焦于阅读过程中的沉浸体验，试图揭示现有自动化评估体系在文学语境下的局限性，并为未来文学AI翻译的质量评估提供更具人文关怀的视角。

这一研究对于理解人机协作在创意写作领域的边界，以及优化面向文学领域的自然语言处理模型具有重要的理论意义。在技术方法与实验设计上，研究采用了严谨的对比实验范式。研究者选取了15部近期出版的、源自法语、波兰语和日语的小说，这些作品分别被翻译为英语。对于机器翻译部分，研究并未使用传统的统计机器翻译或简单的神经机器翻译模型，而是采用了一种基于智能体（Agentic）的大语言模型（LLM）管道生成技术，这代表了当前AI翻译的前沿水平。

为了全面评估阅读体验，实验设计了两种截然不同的阅读条件：首先是沉浸式阅读，读者需通读约8000字的完整摘录，感受整体叙事流；其次是精读模式，读者需对386对人工翻译（HT）与机器翻译（MT）的平行文本块进行逐句或逐段的细致比对。实验共涉及30次整体摘录对比和772次细粒度文本块对比，每本书由两位读者评估，且呈现顺序交替以消除顺序效应。这种混合了宏观整体感知与微观细节对比的设计，旨在从不同维度捕捉读者对翻译质量的细微差别感知，从而获得更全面、更立体的评估数据。实验结果揭示了读者偏好与自动化评估之间的显著脱节。

总体而言，读者认为机器翻译的质量"尚可"（fine），但在整体摘录层面，19/30的情况下读者更偏好人工翻译；而在细粒度的文本块对比中，这种偏好更加明显，522/772的对比中读者选择了人工翻译。读者指出，人工翻译在易读性、清晰度以及营造沉浸感方面表现更佳。此外，研究发现机器翻译的质量在同一本书内部波动较大，而人工翻译则保持了更高的一致性。一个令人惊讶的发现是，读者在盲测中难以可靠地区分人工与机器翻译（仅17/30次猜对），且倾向于偏好他们认为是人工翻译的版本，这表明心理预期对阅读体验有显著影响。

更关键的是，包括基于大语言模型作为裁判（LLM-as-a-judge）在内的多种自动指标，均未能有效恢复读者的真实偏好，反而系统性地偏向于机器翻译，这暴露了当前主流评估方法在文学语境下的严重偏差。本研究对开源社区、工业落地及后续研究具有深远影响。为此，研究团队发布了LAIT（Literary AI Translation）数据集，这是一个以读者为中心的评价基准，包含1000条读者评论、2000条判断与偏好评级以及7200个跨度级（span-level）的细粒度标注。该数据集的开源将极大促进自然语言处理社区对文学翻译质量评估的研究，推动评估指标从单纯的语言学特征向读者体验特征转变。对于工业界而言，这一发现提示在开发文学翻译产品时，不能仅依赖自动化指标优化，而应引入更多基于用户反馈的评估机制。对于后续研究，LAIT数据集为探索如何提升大语言模型在文学风格保留、情感传达及沉浸感营造方面的能力提供了宝贵的训练与评估资源，有助于推动AI从"准确翻译"向"艺术再创作"迈进。