该论文针对参数高效微调（PEFT）中的安全风险，特别是微调投毒攻击，提出了一种子空间约束的微调方法。研究背景是：PEFT虽然只更新少量参数，但仍有足够能力表示恶意行为，使得投毒目标函数可被优化。为此，作者从现有任务适配器的可信池中估计出一个共享子空间，并将微调限制在该子空间内。在flan-t5-large模型和196个公开LoRA适配器上的实验表明：（1）适配器中的功能相关内容位于低维共享子空间，30-38%的权重范数在评估任务分布下是冗余的；（2）在该子空间上限制128个坐标的梯度适配，在干净分类数据上匹配全LoRA微调性能，而在针对标签反转攻击下，LoRA的精确匹配率降至3-26%，而约束学习器在池覆盖的任务上保持62-96%；（3）约束学习器无法拟合损坏数据，其适应损失将干净数据与垃圾数据区分开120倍，无需额外检测器即可提供分布外信号；（4）针对在子空间内优化的自适应后门攻击，当目标行为与池中任何行为不同时，攻击被阻止（成功率8% vs LoRA的100%），仅当目标行为与常见池行为一致时部分成功（85%）。该方法机制是以峰值塑性为代价换取这些属性：在池覆盖差的任务上，无约束微调更优，且保护假设池本身可信。代码和数据已公开。该研究为防御微调投毒提供了新思路，特别适合关注LLM安全、微调鲁棒性的研究人员和工程师。

本文针对当前广泛使用的参数高效微调（PEFT）范式在推理阶段存在的隐私泄露风险，提出了一种名为 CryptPEFT 的隐私保护推理方案。在现有 PEFT 流程中，用户输入和微调后的轻量适配器（adapter）可能包含敏感信息，而直接应用多方计算（MPC）等密码学技术会导致计算和通信开销巨大，因为骨干网络（backbone）与适配器之间存在固有的双向通信。为此，CryptPEFT 创新性地设计了一种单向通信（OWC）架构，将加密计算完全限制在适配器一侧，从而显著降低开销。为了在单向通信约束下保持模型效用，作者探索了 OWC 兼容的适配器设计空间，并引入自动化架构搜索算法以优化隐私推理效率与模型性能之间的权衡。实验基于 Vision Transformer 骨干网络在多个图像分类数据集上进行，结果表明 CryptPEFT 相比现有基线方法实现了显著加速：在模拟广域网（WAN）和局域网（LAN）环境下分别达到 20.62 倍至 291.48 倍的推理速度提升。在 CIFAR-100 数据集上，CryptPEFT 在仅 2.26 秒的推理延迟下达到了 85.47% 的准确率。该工作为基于 PEFT 的推理提供了一种高效且隐私保护的解决方案，适合关注隐私计算、高效推理的机器学习与安全研究人员阅读。