本文针对训练后量化（PTQ）中的残差补偿方法在低比特（W4A4）设置下失效的问题展开研究。现有无训练后量化方法通过闭式解进行残差补偿以恢复模型精度，并采用基于拟合优度的门控机制逐层筛选，仅保留补偿后残差拟合分数为正的层，以控制额外的存储开销。然而，作者发现该门控机制在低比特W4A4下无法区分两类不同的失败原因：一是量化误差本身难以预测，二是数值求解器失效。具体而言，当输入激活矩阵秩亏时，会导致格拉姆矩阵严重病态或数值奇异，从而使闭式求解不稳定，产生错误的负拟合分数，导致这些层被误判为不可补偿而被丢弃。但许多被丢弃的层实际上可以通过数值稳定的求解器获得显著的误差恢复。针对这一问题，论文提出了一种无参数的截断伪逆求解器，在求逆之前移除坍塌方向（collapsed directions）。在ViT-B模型和W4A4设置下，该方法无需训练即可达到81.42%的Top-1准确率，优于先前的后训练量化方法以及基于微调的基线。进一步结合联合低秩与量化压缩，该方法在54.7 MB的模型体积下达到80.26%的准确率，在模型大小与精度之间取得了良好平衡。论文通过理论分析和实验证明了秩亏激活是导致现有门控失效的关键因素，并展示了所提求解器的有效性与通用性。适合关注模型量化、高效AI部署及数值稳定性问题的研究者阅读。