BrainLoRA：用 LoRA 微调把脑编码模型推向超大多模态骨干

脑编码模型（brain encoding model）要做的事，是根据外界刺激预测大脑的神经响应。目前最常见的做法，是冻结一个预训练好的骨干网络，只在其特征之上拟合一个读出层。这条路稳妥，但上限明显：骨干网络从未见过神经数据，它学到的表征未必贴合大脑的编码方式。反过来，直接用神经数据从头训练大模型，或者在任务预训练之后做全量微调，又被证明很难，原因很实际：神经数据采集昂贵，规模有限，大模型很容易过拟合。这篇论文给出的答案是参数高效微调（PEFT）。作者证明，只需很少的可训练参数，就能把规模极大的预训练骨干适配到脑编码任务上。论文提出的方法叫 BrainLoRA，用低秩适配器（LoRA）加一个轻量读出层，在多达 104B 参数的多模态骨干上完成微调，据作者所知，这是目前用于脑编码的最大模型。同时，他们还开发了多 LoRA 内核，用来在共享骨干上联合训练大量适配器，最终组成 200 多个模型的集成。技术上有三个关键点。第一是降低特征提取成本。

传统做法对每个时间点都用滑动窗口重新跑一遍骨干，计算量成倍增加，对百亿参数级别的模型几乎不可行。作者利用骨干网络的因果结构（causal structure），让模型在一次前向传播中同时预测多个时间点，不再依赖滑动窗口，从而大幅压低特征提取开销。这一步是让大模型微调在算力上变得可行的前提。第二是训练策略：骨干权重保持冻结，只在其中插入低秩适配器 LoRA，再接一个轻量读出层，用神经响应的预测误差来训练这两部分。因为可训练参数很少，有限的神经数据也不容易把模型带偏。第三是工程上的扩展：为了训练大量不同的适配模型，作者写了多 LoRA 内核，让多组 LoRA 在同一个共享骨干上并行联合训练，共用骨干的前向计算，使得训练 200 多个适配模型的集成变得可行。此外，作者还用模态归因（modality attribution）分析适配后的模型，检查它在微调之后是否仍然可解释。实验覆盖九个不同的多模态骨干，BrainLoRA 在这九个骨干上都稳定提升了脑编码表现，说明方法并不依赖某一个特定模型。在与此前最优方法（SoTA）相同的 Qwen3-Omni 骨干上，BrainLoRA 取得了 Algonauts 2025 Challenge 上已发表结果中的最好成绩。把 200 多个适配模型集成起来之后，系统在公开的 Algonauts 赛后排行榜上排名第一（以论文写作时为准）。

可解释性方面也有有意思的发现：模态归因恢复出了经典的感觉皮层拓扑，也就是视觉、听觉等区域各自对应的输入模态。以往工作往往靠把不同模态分配给独立的单模态编码器，才"构造"出这种结果，这里则是由统一的多模态骨干自己学出来的。另外，神经适配之后，音频输入的贡献上升，骨干内部的跨模态混合也增强，说明微调确实改变了模型整合多模态信息的方式。摘要没有给出具体的指标数值，所以这里不展开数字。这项工作的意义首先在于改变了脑编码的默认范式：从"冻结骨干加读出"转向"用 PEFT 适配骨干"。神经数据少，一直是大模型进入神经科学的瓶颈，而 LoRA 这类方法本来就是为数据少、模型大的场景设计的，二者契合度很高。其次，利用因果结构做多时间点单次预测，是一个可以迁移到其他时序神经数据任务的实用技巧。第三，多 LoRA 内核降低了大规模集成的成本，对想在排行榜或竞赛中堆叠模型的团队很有参考价值。对开源社区来说，这套思路让实验室不必从头训练大模型，用现有的开源多模态模型就能做出强基线。后续研究可以沿几个方向展开：把适配扩展到更多被试和更多脑区，检验适配后的表征能否迁移到新的刺激，以及借助模态归因去研究大脑如何整合听觉与视觉信息。当然，也需要留意，排行榜成绩不等于科学结论，适配后的模型是否真的更接近大脑的机制，还需要更多独立验证。