CPU-ARC：把大模型的推理轨迹缓存成能在CPU上运行的解题程序

这篇论文从一个很直观的观察出发：大语言模型总是在"重新发明轮子"。当模型面对一道数学题或科学题时，它要先想出解法，再一步步把解法执行出来，两件事缠在一起。哪怕同一类题型已经被推理过成百上千次，下一个新实例到来时，模型依然从零开始，把昂贵的推理过程重走一遍。作者认为，这种把"求解任务"和"执行解法"混为一谈的做法，是推理成本居高不下的重要原因。论文的核心主张是：任务一旦被推理清楚，把解法套用到新实例上，其实可以非常高效，几乎不需要语言模型介入。基于这一判断，作者提出了 agentic reasoning caching，即从 LLM 的推理轨迹中提炼出可复用的解法，并把它固化成能在 CPU 上直接运行的智能体推理缓存，简称 ARC。换句话说，大模型负责"想一次"，缓存负责"用很多次"。这个思路把推理从一次性的昂贵计算，变成了可以沉淀、可以复用的资产，也是整篇论文最有辨识度的贡献。在技术方法上，论文的关键是如何把 LLM 冗长、带有试错色彩的推理轨迹，转化成稳健、可执行的程序化结构。根据摘要，作者构建的 ARC 是由推理轨迹生成的、可在 CPU 上执行的智能体式推理缓存。

它不再每次调用大模型逐字生成推理，而是让解法以结构化、可运行的形式存在，由 CPU 直接执行，只在必要时才让语言模型参与。这样做带来几个直接的工程性质。第一，完全可解释：因为缓存本身是显式的解法，而不是权重里的黑箱，所以人可以逐步检查它为什么得出某个答案。第二，可持续训练：缓存可以随着新的推理轨迹不断积累、修正和扩展，而不必重新训练整个模型。第三，对输入扰动稳健：解法抓住的是任务的结构，而不是某个具体实例的表面形式，所以输入发生变化时结果依然可靠。需要说明的是，摘要没有披露缓存的具体表示形式、提取算法和训练细节，这里只能基于其公开的描述概括方法定位，更细的实现要以论文正文为准。在实验层面，论文把 ARC 放在一系列困难的数学和科学任务上，与前沿 LLM 做对比。摘要给出的核心结论有两点。其一是效果：ARC 的表现与前沿 LLM 持平，也就是说，把推理固化成缓存并没有明显牺牲准确率。这一点很重要，因为很多降本方法都是拿性能换成本，而这里作者强调的是"同等水平"。

其二是成本：调用一次 ARC，比调用源模型便宜 16 到 291 倍。这个区间跨度很大，说明节省幅度随任务和设置不同而变化，但即便在最保守的情况下，也是一个数量级以上的下降。此外，论文还强调了 ARC 对输入扰动的稳健性，这回应了人们对"缓存只能记住见过的题"的常见担忧。摘要没有给出具体的数据集名称、准确率数值或消融结果，所以这里不对这些细节做任何推断，读者若要评估实际可靠性，需要查阅正文中的基准设置和对比细节。这项工作的意义在于，它换了一个看待推理成本的角度：与其不断压缩或加速模型本身，不如把已经得到的推理结果沉淀下来重复使用。对工业落地来说，凡是任务类型相对集中、请求量巨大的场景，比如批量的数学求解、科学计算和结构化问答，都可能从中受益，因为 CPU 执行远比 GPU 上的大模型推理便宜，部署门槛也更低。对可信 AI 而言，缓存完全可解释，让审计和纠错变得更容易，这是纯黑箱模型难以做到的。对研究社区来说，"可持续训练"意味着可以边用边积累，把一次次推理轨迹变成不断增长的知识库，这也为智能体系统的长期学习提供了新思路。当然，它的适用范围仍取决于任务能否被抽象成可复用的解法，面对高度开放、缺乏稳定结构的问题，这套方法的效果还有待检验。总体而言，CPU-ARC 为推理复用提供了一个清晰而务实的方向。