QuaSAR: Quantization Compensation via Stable Activation-Aware Rank Truncation

本文针对训练后量化（PTQ）中的残差补偿方法在低比特（W4A4）设置下失效的问题展开研究。现有无训练后量化方法通过闭式解进行残差补偿以恢复模型精度，并采用基于拟合优度的门控机制逐层筛选，仅保留补偿后残差拟合分数为正的层，以控制额外的存储开销

历史摘要 · 未重新核验 · arXiv cs.CR