像人一样看视频：MLLM驱动下的观看、记忆与推理新范式解析

当前视频理解领域正经历由多模态大语言模型（MLLMs）驱动的深刻变革，研究重心已从简单的短 clips 分析转向更具挑战性的长视频、多模态融合及知识密集型场景。在这一转变中，模型必须在有限的计算预算下，有效处理稀疏证据、捕捉长程依赖关系并实现可靠的多模态对齐。针对这一现状，本文创新性地提出了基于"人类视角"的视频理解框架，摒弃了以往将视频任务视为孤立 benchmark 的传统做法，转而通过"观看、记忆、推理"这三个功能性维度来统一解析视频 MLLM 的工作机制。这一视角的核心贡献在于建立了一个形式化体系，通过表征系统的感知表示、记忆状态、推理轨迹及最终预测，深入剖析模型如何像人类一样获取视觉证据、维持上下文语境并生成有依据的输出。这种结构化分析方法不仅揭示了现有技术在时空感知、长视频高效处理及忠实推理方面的瓶颈，更为后续研究提供了清晰的理论锚点，使得复杂的视频理解任务变得可解释且系统化。 在技术方法层面，该框架对视频 MLLM 系统中的代表性方法进行了细致拆解与归类。首先是"观看"环节，涵盖了从细粒度特征提取到全面场景理解，再到音频-视觉模态对齐及高效感知策略，旨在解决如何从海量像素中提取有效信息的问题。其次是"记忆"模块，这是处理长视频的关键，文章区分了离线记忆与流式记忆两种机制，探讨了模型如何在时间轴上压缩、存储及检索关键上下文信息，以克服传统 transformer 架构在处理长序列时的计算瓶颈。最后是"推理"部分，不仅包括基于文本的逻辑推导，更强调了"结合视频进行思考"的能力，即模型如何利用动态视觉线索辅助逻辑判断。通过这种分层解析，研究者可以清晰地识别出不同模块在整体系统中的角色，从而针对性地优化时空感知精度、提升记忆效率或增强推理的忠实度，避免了对黑盒模型的整体盲目调优。 为了验证这一框架的有效性并指导实际应用，文章广泛考察了多个垂直领域的应用场景，包括第一人称视角（egocentric）、体育赛事分析、 instructional 教学视频、医疗影像解读以及叙事性视频理解等。在这些 diverse 的场景中，模型面临着截然不同的挑战，如医疗视频对细节的高敏感度或体育视频对快速动作捕捉的要求。文章系统梳理了支撑这些任务的训练数据集与评估基准，覆盖了不同的任务类型、监督格式、模态组合及能力维度。通过对现有 benchmark 的分析，揭示了当前评估体系在衡量长程依赖保持、多模态对齐质量及推理可解释性方面的不足。此外，文章还指出了在流式理解（streaming understanding）和基于证据的推理（evidence-grounded reasoning）方面的具体实验发现，强调了在真实世界应用中，模型不仅需要准确的答案，更需要展示其推理路径的可信度，这对于提升用户信任至关重要。 从行业意义与潜在影响来看，这项工作为开源社区和工业界落地提供了重要的理论指引与实践路线图。通过明确"观看、记忆、推理"的边界与交互，开发者可以更模块化地设计视频智能系统，例如针对监控场景优化流式记忆模块，或针对教育场景强化细粒度感知与推理的结合。对于后续研究而言，该框架指出的开放问题——如可扩展的记忆架构、更高效的时空表征学习以及防止幻觉的忠实推理机制——将成为未来几年的核心攻关方向。特别是在算力受限的边缘设备部署场景中，如何实现高效且精准的视频理解，本文提出的分类法为算法剪枝与优化提供了明确的目标。最终，这一人类视角的引入，有望推动视频 AI 从单纯的模式识别迈向具备认知能力的智能体，促进视频 intelligence 在更广泛的社会生产生活中的深度融合与应用。