EAGLE-360：突破全景视觉搜索瓶颈，具身智能感知新范式

在具身智能与虚拟现实领域，如何让智能体在360度全景环境中高效地寻找特定目标，是一个极具挑战性的开放性问题。尽管多模态大语言模型在标准静态图像理解上表现卓越，但当其被应用于主动视觉搜索时，却暴露出根本性的局限。传统的多模态模型难以有效建模全景图像固有的严重极坐标畸变以及连续的圆柱拓扑结构，这直接导致了目标检测准确率的显著下降。现有的解决方案往往被迫依赖碎片化的局部视角进行补偿，但由于缺乏全局全景先验且初始化方式僵化，这些方法通常表现出目光短浅的探索行为，一旦目标移出视野，便难以进行鲁棒的错误恢复。针对这一痛点，本文提出了EAGLE-360框架，这是一种新颖的具身主动全局到局部探索方法。其核心贡献在于摒弃了穷举式的局部搜索策略，转而利用全局先验建立初始的整体视角，通过迭代式的推理过程，逐步缩小搜索空间，从而实现了更高效、更精准的全景环境感知与决策。

在技术实现层面，EAGLE-360进行了深度的架构创新与训练策略优化。为了克服全景图特有的几何特性带来的建模困难，研究团队对RoPE Rolling机制进行了适应性改造。RoPE Rolling是一种坐标移位的位置编码机制，经过调整后，它能够无缝地建模全景图的连续拓扑结构，使得模型能够理解360度视野中首尾相连的空间关系，从而消除了极坐标畸变带来的语义断裂。在训练策略上，EAGLE-360采用了一种结合监督微调与组相对策略优化的混合管道。这种策略不仅确保了模型对基础视觉问答任务的理解能力，更关键的是激发了模型复杂的三维空间推理能力和工具调用能力。通过让模型在模拟环境中不断试错并优化策略，EAGLE-360学会了如何根据当前的全局状态制定下一步的探索动作，而不是盲目地扫描周围区域。

这种从全局到局部的渐进式推理机制，使得模型能够在保持对整体环境感知的同时，精准地聚焦于潜在的目标区域。为了支撑这一范式的落地与评估，本文还构建了大规模的高质量数据集EAGLE-360。该数据集包含超过14,000张4K分辨率的全景图像以及70,000多轮高质量的多轮视觉问答对话记录。这一数据资源对于训练具备复杂空间推理能力的模型至关重要。在广泛的实验评估中，EAGLE-360在多个基准测试上展现了压倒性的优势。关键结果显示，相较于未采用全局先验和拓扑建模的基线模型，EAGLE-360在360度视觉搜索任务上的准确率实现了近8倍的巨大提升。

消融实验进一步证实，RoPE Rolling的位置编码适配以及全局到局部的探索策略是性能提升的主要驱动力。此外，在探索效率方面，EAGLE-360显著减少了无效的观察步骤，能够在更少的交互轮次内定位目标，证明了其在计算资源受限场景下的实用价值。这些结果不仅确立了新的最先进水平，也验证了所提方法在解决全景搜索难题上的有效性。EAGLE-360的提出对开源社区、工业落地及后续研究具有深远的意义。对于开源社区而言，发布的EAGLE-360数据集填补了高质量全景视觉问答数据的空白，为后续研究提供了坚实的基准。在工业落地方面，该方法为虚拟现实导航、机器人全景巡检以及自动驾驶中的环视感知提供了新的技术路径，特别是在需要快速定位特定物体或信息的场景中，其高效的探索机制能显著降低延迟并提升用户体验。对于后续研究，EAGLE-360展示了将全局先验与局部精细搜索相结合的巨大潜力，启示研究者关注空间拓扑建模在具身智能中的核心作用。它证明了通过改进位置编码和训练策略，现有的多模态大模型可以突破二维图像的局限，真正理解并操作三维全景空间，这为构建更通用、更智能的具身智能系统指明了方向。