OmniSimulator:小模型學會建模真實用戶行為
大語言模型常被用作通用用戶模擬器,但原生思維鏈容易退化為淺層模式匹配,難以刻畫真實用戶決策背後的行為因素。OmniSimulator 是面向短影音平台的訓練框架,用於提升小型 LLM 的用戶模擬預測能力。它以五個維度的結構化 schema 組織行為推理,從真實場景中精選資料,並讓教師模型依該 schema 生成高品質推理軌跡,使小模型學到與行為相關的推理模式,而非表面相關性。作者基於 200 名真實用戶三個月的歷史互動,建構了 9,881 條訓練樣本,平均每位用戶約 50 條蒸餾樣本。實驗顯示,Qwen3-8B 的平均得分提升 34.33%,效能可與 Claude-Sonnet-4.5 相當,並支援更小規模的自託管部署。這說明學習結構化的行為推理模式,是通向可擴展、高擬真 LLM 用戶模擬的一條有前景的路徑。
用户模拟器是推荐系统、交互式平台评测的基础设施。真实线上实验成本高、周期长,还会影响真实用户体验,所以业界希望用大语言模型扮演用户,在离线环境里预测"这个人看到这条视频会不会点赞、划走或评论"。以往工作已经证明,用高质量数据训练可以明显提升模型的推理能力和下游表现。但这篇论文指出,用户模拟的上限还受另一个因素约束,那就是模型自身的推理范式。原生的思维链在这类任务上常常退化为浅层的模式匹配,比如看到某类内容就机械地推断用户喜欢,而没有去建模真正驱动决策的行为因素,例如用户当前的状态、长期偏好和场景。针对这一问题,作者提出 OmniSimulator,一个专为短视频平台环境设计的训练框架,目标是让参数规模较小的语言模型也能做出贴近真实用户的行为预测。它的核心主张是:与其只喂更多数据,不如先教会模型"怎么想",也就是学习一套面向行为的结构化推理模式,从而摆脱对表面行为相关性的依赖,并同时兼顾异质用户之间的差异。
在技术方法上,OmniSimulator 由三个相互配合的环节构成。第一是推理 schema 的设计。作者把面向行为的推理组织成一个包含五个维度的结构化模板,要求模型在给出预测之前,按固定的维度依次分析影响用户决策的因素,而不是自由发挥一段松散的思考。这样做的好处是推理过程可控、可对齐,也更容易让小模型稳定地学会。第二是数据的精选。训练样本来自真实用户行为场景,并经过筛选,剔除信息量低或者容易靠表面规律猜中的样本,使训练信号集中在真正需要行为推理的决策点上。第三是教师模型蒸馏。
作者引入一个能力更强的教师模型,让它在上述 schema 的约束下,针对每个真实场景生成高质量的推理轨迹,再把这些轨迹作为监督信号训练小模型。小模型学到的不只是最终答案,还有从用户状态到决策的整条推理链。这种"结构化 schema 加教师蒸馏"的组合,使得小模型能够在不增加参数的前提下,获得更接近人类用户决策逻辑的推理方式,并且因为训练围绕具体用户的历史轨迹展开,也自然覆盖了不同用户之间的异质性。在数据与实验设置上,作者基于 200 名真实用户三个月的历史交互轨迹,构建了 9,881 条高质量训练实例,平均每位用户约有 50 条蒸馏样本。这个规模并不大,说明方法的收益主要来自推理模式的质量,而不是靠堆数据量。基座模型选用 Qwen3-8B,对比对象包括未经训练的原始模型以及强大的闭源模型 Claude-Sonnet-4.5。关键结果是,经过 OmniSimulator 训练后,Qwen3-8B 的平均得分提升了 34.33%,在这一任务上的表现已经可以与 Claude-Sonnet-4.5 竞争。
也就是说,一个 8B 级别、能够自托管的模型,在特定的用户模拟任务上追平了规模和成本都高得多的闭源大模型。摘要中没有给出各子指标的具体数值,也没有列出消融实验的细节,因此我们只能确认总体结论:结构化的行为推理加教师蒸馏,确实带来了显著而稳定的整体提升,并且验证了"推理范式"是用户模拟效果的重要瓶颈之一。这项工作的意义首先在于成本与部署。用户模拟器通常需要被大量、反复地调用,用闭源大模型既昂贵又难以控制数据安全。OmniSimulator 证明,小模型在经过针对性训练后可以达到相近水平,并支持更小规模的自托管部署,这对希望在内部环境里做离线评测、A/B 实验预演的平台团队很有吸引力。其次,它给出了一条通用的思路:当任务的难点在于"要想对什么",而不是"知识够不够",就应该把领域内的决策因素显式写成 schema,让教师模型按此生成推理轨迹,再蒸馏给学生。这个思路不局限于短视频,也可以迁移到电商、新闻、社交等其他交互场景。再次,对后续研究而言,它提醒大家在评价用户模拟器时,不能只看预测是否命中,还应关注推理是否真正基于行为因素,而非浅层相关。当然,目前实验仅覆盖单一平台和 200 位用户,能否泛化到更多用户、更长时间跨度和其他平台,仍有待检验。
Sources
FAQ
OmniSimulator 是什么?它要解决什么问题?
OmniSimulator 是面向短视频平台的训练框架,用来提升小型大语言模型的用户模拟预测能力。它用五个维度的结构化 schema 组织行为推理,再让教师模型生成推理轨迹,蒸馏给小模型,避免其退化为浅层模式匹配。
为什么 OmniSimulator 的结果对用户模拟很重要?
OmniSimulator 让 Qwen3-8B 的平均得分提升 34.33%,表现可与 Claude-Sonnet-4.5 相当,并支持更小规模的自托管部署。平台团队可以用低成本小模型做离线用户模拟,减少对真实线上实验的依赖。
使用或评估 OmniSimulator 时应该关注什么?
该研究仅基于单一短视频平台的 200 名真实用户、三个月记录,共 9,881 条训练样本。能否泛化到更多用户、更长时间跨度和其他平台,文章认为仍有待检验。评估时也应看推理是否基于行为因素。