BiSCo-LLM：突破2bit极限，无需码本的二进制球面编码重塑大模型压缩范式

随着大语言模型规模的不断膨胀，其在实际部署阶段面临的内存容量限制、权重传输带宽瓶颈以及检查点存储压力日益严峻。现有的低比特压缩技术主要沿着两个方向演进：一是标量或分组量化，虽然实现简单且能兼容高效的低精度计算内核，但在目标预算逼近每权重2比特时，其表示能力往往捉襟见肘，导致精度急剧下降；二是基于向量量化的权重压缩，尽管提供了更丰富的块级表示，但通常需要引入显式的码本、索引查找机制以及额外的存储开销，这在资源受限的边缘设备上构成了显著负担。针对这一痛点，本文提出了BiSCo-LLM，这是一种创新的无需码本的二进制球面编码框架，专门用于极端低比特下的大语言模型权重压缩。该研究的核心贡献在于彻底摒弃了传统向量量化中对显式码本的依赖，通过几何空间变换与二值化策略，在保持极低存储开销的同时，最大化地保留了模型的语义表达能力，为突破低比特量化的性能瓶颈提供了全新的技术路径。在技术方法层面，BiSCo-LLM构建了一个由三个核心组件紧密协作的处理流水线。

首先，算法将局部权重块映射到单位超球面上，并将其二值化为紧凑的球面码。这一过程使得主要的存储载荷变为一个位打包的符号流，而非传统的显式向量量化质心，从而从根本上消除了码本存储的需求。其次，为了弥补基础球面编码器可能带来的信息损失，框架引入了残差二进制球面量化阶段。该阶段专门用于编码由基础球面编解码器留下的重建误差，为模型提供了一条明确且高效的率失真优化路径，且全程无需存储额外的码本数据。最后，考虑到局部权重的精确重建并不等同于整体模型行为的完美保留，本文实施了类别恢复蒸馏技术。

在替换每一个Transformer模块类别后，通过蒸馏过程缩小局部权重重建与组装后模型行为之间的差异，确保量化后的模型在宏观表现上依然稳定可靠。此外，框架还设计了一条小型的8比特受保护通道路径，作为辅助稳定机制专门服务于敏感通道，且该部分的开销被单独计算，不计入主要的二进制球面量化载荷中，从而实现了精细化的资源分配。在实验设置与关键结果方面，该研究在多个主流大语言模型基准上进行了全面评估，重点考察了在极端低比特约束下的存储效率与模型性能平衡。报告中的存储预算严格涵盖了二进制代码、神经网络解码器、受保护通道载荷、LoRA适配器以及元数据等所有必要组件，确保了评估的严谨性与可比性。关键指标显示，BiSCo-LLM在接近2 bits每权重的极低预算下，依然能够维持具有竞争力的困惑度指标和下游任务准确率，显著优于传统的标量量化方法。

消融实验进一步揭示了各组件的贡献：移除残差编码会导致精度明显下滑，证明其在捕捉高频细节中的关键作用；而类别恢复蒸馏则被证实是缓解模型行为失配、提升整体鲁棒性的核心手段。此外，受保护通道的引入虽然增加了少量额外开销，但在处理对量化极度敏感的通道时，有效防止了性能断崖式下跌，验证了混合精度策略在极端压缩场景下的必要性。这些结果共同证明了BiSCo-LLM在极低比特压缩领域的有效性与先进性。从行业意义与潜在影响来看，BiSCo-LLM的提出对大语言模型的开源社区与工业落地具有深远影响。对于开源社区而言，这种无需码本的压缩框架降低了低比特量化的实现复杂度，使得研究者能够更轻松地探索极端压缩边界，推动了轻量化大模型技术的普及。在工业落地方面，由于消除了显式码本查找和复杂的索引管理，该框架能够更无缝地集成到现有的高效低精度计算内核中，显著降低了部署成本，特别是在内存受限的边缘设备和移动端设备上展现出巨大的应用潜力。此外，该框架所采用的几何映射与残差编码思路，也为后续研究提供了新的启发，可能推动向量量化与标量量化技术的进一步融合。随着大模型向更小、更快、更节能的方向发展，BiSCo-LLM所代表的无码本二进制球面编码技术，有望成为下一代高效大模型部署的标准工具之一，助力人工智能技术在更广泛的场景中落地生根。