BiSCo-LLM：突破码本限制，以二进制球面编码重塑大模型极低比特压缩范式

随着大语言模型规模的指数级增长，其在实际部署阶段面临着严峻的资源约束，主要体现为显存容量不足、权重传输带宽受限以及检查点存储成本高昂。现有的低比特压缩技术大致分为两类：标量或分组量化因其简单且兼容高效低精度内核而广受欢迎，但当目标比特数逼近2比特每权重时，其量化误差迅速累积，导致模型性能显著下降；向量量化虽然提供了更丰富的块级表示能力，但通常依赖显式的码本查询、索引存储以及额外的存储管理开销，这在极端低比特场景下反而成为负担。针对这一核心痛点，本文提出了BiSCo-LLM，这是一种创新的无需码本的二进制球面编码框架，旨在实现极端的低比特大模型权重压缩。该研究的核心贡献在于彻底摒弃了传统向量量化中对显式码本的依赖，通过几何变换将权重压缩问题转化为球面上的二值编码问题，从而在保持高压缩率的同时，消除了码本查找带来的延迟和存储冗余，为大模型的高效部署提供了一条全新的技术路径。在技术实现层面，BiSCo-LLM构建了一个由三个核心组件紧密协作的处理流水线。

首先，算法将局部权重块映射到单位超球面上，并通过二值化操作生成紧凑的球面代码。这一过程使得主要的存储载荷变为经过比特打包的符号流，而非传统的显式向量量化质心，从而大幅减少了元数据开销。其次，为了弥补基础球面编解码器带来的重构误差，系统引入了残差二进制球面编码阶段。该阶段专门编码由基础编码器留下的残差，从而在不依赖存储码本的前提下，提供了一条显式的率失真优化路径，确保了压缩后的权重能够尽可能接近原始分布。第三，考虑到局部权重的重构误差可能会在模型组装后放大，导致整体行为失配，本文采用了类别恢复蒸馏技术。

在替换每个Transformer模块类别后，通过蒸馏过程微调，有效减少了局部权重重构与组装后模型行为之间的差异。此外，为了进一步稳定模型性能，特别是针对对量化敏感的通道，系统还引入了一条小型的8位保护通道作为辅助稳定机制，该部分开销被单独计算，不计入主要的二进制球面编码载荷中，从而在整体存储预算中实现了精度与效率的最佳平衡。在实验评估与结果分析方面，BiSCo-LLM在多个主流大语言模型基准上进行了广泛的测试，重点考察了其在极低比特设置下的压缩效率与性能保持能力。关键的实验结果包括对存储预算的精确控制，该预算涵盖了二进制代码、神经网络解码器、保护通道载荷、LoRA适配器以及元数据等所有必要组件。消融实验进一步揭示了各组件的贡献：移除残差编码阶段会导致重构误差显著增加，而缺乏类别恢复蒸馏则会在模型组装后引发性能波动。

与传统的标量量化方法相比，BiSCo-LLM在2比特及以下的极端低比特区间内，展现出了更优的表示能力，能够在保持相似存储开销的前提下，显著提升模型的困惑度指标和下游任务准确率。与依赖显式码本的向量量化方法相比，BiSCo-LLM不仅消除了码本存储和查找的额外开销，还在推理速度上因避免了复杂的索引操作而获得了潜在的性能提升。这些结果有力地证明了该框架在极端资源受限场景下的有效性和鲁棒性。从行业意义与潜在影响来看，BiSCo-LLM为开源社区和大模型工业落地提供了重要的技术参考。其无需码本的设计思路简化了压缩模型的部署流程，降低了对专用硬件的支持门槛，使得在边缘设备或资源受限的云环境中运行大模型变得更加可行。对于后续研究而言，该框架提出的球面二值化与残差编码结合的策略，为探索更高维度的几何量化方法打开了新的大门。此外，类别恢复蒸馏技术的引入，强调了在压缩过程中保持模型语义一致性的必要性，为未来的模型压缩研究提供了新的优化视角。总体而言，BiSCo-LLM不仅在理论上突破了极低比特量化的表达瓶颈，更在实践中为大模型的高效普及铺平了道路，具有深远的学术价值和广泛的应用前景。