PACE：面向QoE高效检索增強對話服務的感知延遲路由與填充控制

在对话式AI服务中，用户体验的核心痛点往往不是答案不够准确，而是等待时间过长。当用户向机器人提问后，系统需要在生成完整答案前留出处理窗口，这段空白期直接决定了用户的感知体验。PACE框架正是针对这一痛点展开研究，它首次将感知首次响应时间（PTFR）形式化为一个明确的服务质量目标，并在质量与成本的双重约束下对其进行最小化优化。与传统工作不同，既有研究大多只关注单一环节：级联路由只决定调用哪个模型，语义缓存只关注命中与否，自适应检索只优化查询策略。PACE的创新在于联合控制两个维度：一是回答由哪个来源构成，二是等待窗口用什么内容填充。这一联合视角填补了现有研究的空白，为对话服务的延迟优化提供了全新的框架。该框架已部署于一个真实的人形机器人销售服务场景，具备很强的工程落地价值。

PACE框架由三个核心机制协同构成，共同实现对感知延迟的精细控制。第一个是负载自适应级联路由器，它根据当前系统负载动态决定路由策略，在低负载时优先使用轻量模型，在高负载时切换到更强的模型以保证质量。第二个是联合路径—填充控制器，它同时决定回答的生成路径和等待期间使用的填充内容，使两者协同而非各自为政。第三个是波动感知的缓存准入策略，它根据数据变化的波动性来决定哪些内容可以进入缓存，避免因数据频繁更新导致缓存命中大量过期答案。这三个机制分别对应了延迟优化中的不同环节，从路由决策到内容填充再到缓存管理，形成了一套完整的解决方案。在训练与部署策略上，框架引入了门控规则作为安全阀，确保任何控制决策都不会使服务质量低于基线水平，同时将风险暴露严格限制在一个等待周期之内。这种设计既追求性能优化，又保证了系统的可靠性与可预测性，对于实际部署至关重要。

实验在7.5万条CarQA真实请求上展开，覆盖了不同负载条件下的多种指标表现。关键结果显示，级联机制将纯LLM方案在P95负载下的首次响应时间从0.53秒降低到0.29秒，实现近乎减半的优化效果。自适应控制器在高负载条件下达到0.41秒的P95响应时间，以同等答案质量超越传统RAG方案达2.4倍，这一差距在高负载时尤为显著。填充控制器的效果同样惊人，它使后端调用量减少了94%，同时保持零冲突，意味着绝大多数等待窗口都能被安全有效地填充而不会与最终答案产生矛盾。波动感知缓存准入策略将过期答案的比例从86%大幅降低到0%，彻底解决了缓存命中导致答案陈旧的问题。消融实验进一步验证了各机制的独立贡献，确认三者协同工作才能达到最优效果。门控规则的引入保证了控制器的质量下限，即使在不利的负载条件下也不会劣于基线方案。

这些结果共同证明了PACE框架在真实服务场景中的有效性与实用性。PACE框架的研究对开源社区与工业落地都具有深远意义。在工业落地方面，它为首个部署于真实人形机器人销售服务的延迟优化方案提供了可复用的工程范式，其联合控制视角可推广到其他需要低延迟响应的对话系统。在后续研究方面，本文首次对填充答案冲突风险进行了量化分析，这一全新的风险维度为后续研究开辟了新的方向，研究者可以在此基础上进一步探索更精细的填充策略。在开源社区方面，框架所提出的负载自适应路由、波动感知缓存准入等机制都具有较高的复用价值，可为其他检索增强系统提供参考。更重要的是，PACE将感知延迟从模糊的用户体验转化为可量化、可优化的工程目标，这种思路转变本身具有重要的方法论意义。它提醒研究者，在对话服务中，延迟不仅仅是技术指标，更是直接影响用户感知的核心体验要素。随着人形机器人和智能助手的大规模部署，如何在这种高交互频率的场景中提供流畅的对话体验，PACE框架所提出的联合控制思路无疑提供了一个值得深入借鉴的范例。