该论文针对CSIRT（计算机安全事件响应团队）在微调语言模型处理漏洞扫描记录时面临的隐私风险，首次实证研究了差分隐私随机梯度下降（DP SGD）与HMAC假名化两种隐私保护技术的交互效果。研究使用1B至3B参数的小语言模型（SLMs），在结构化CSIRT数据上评估了96个LoRA适配器，涵盖四种训练模式：原始微调、大批量QLoRA训练、以及隐私预算ε=2和ε=8的DP SGD。通过植入20个金丝雀样本、实施四种提取攻击以及一种针对HMAC假名化标识符的双重攻击来审计模型记忆。主要发现有三：第一，匹配更新控制（matched update controls）通过减少优化器更新次数，能解释记忆减少的66%至132%，平均效应为100%；在此设置下，DP SGD虽提供了形式化隐私保证，但并未带来额外的可测量记忆减少。第二，HMAC假名化将原始标识符移出暴露面，使暴露降低40%至61%，且假名化标识符的暴露接近随机基线，未成为新的记忆目标。第三，所有96个适配器在使用四样本提示时的F1分数介于0.19至0.28之间，表明在评估的训练预算下，1B-3B参数的SLMs未能达到可操作性能。该工作为CSIRT场景下隐私保护微调提供了关键实证依据，揭示了DP SGD与假名化在实际效果上的分离，并指出了小模型在此任务上的能力瓶颈。

本文针对隐私保护机器学习（PPML）与机器学习审计这两个此前大多独立研究的领域进行了交叉探索。随着PPML技术（如安全多方计算、同态加密、差分隐私等）的发展，使得对高度敏感数据（例如医疗、金融记录）进行机器学习分析成为可能，然而严格的隐私法规（如GDPR）要求对数据使用做出解释和问责，因此对PPML系统进行审计的需求日益增长。现有PPML方案缺乏透明度，难以验证计算中使用的输入数据是否与用户承诺一致，且审计过程本身可能泄露隐私。为此，作者提出了Arc——一个用于审计隐私保护机器学习的MPC（安全多方计算）框架。Arc的核心是一个新的高效协议，能够在大规模下通过简洁的承诺（succinct commitments）验证MPC输入的一致性。具体而言，该协议允许审计方在不获取原始数据的前提下，确认每个参与方提供的输入与其先前提交的承诺匹配，从而确保数据完整性。作者将该一致性协议与基于哈希和基于同态承诺的方法进行了性能对比，实验表明，Arc在速度上最高可快10^4倍，在通信简洁性上最高可优10^6倍。该工作为构建可问责、可审计的PPML系统迈出了重要一步，适用于需要既保护隐私又符合监管要求的场景。

本文提出了一种名为 Fusion 的高效安全推理方案，旨在抵御恶意服务器的攻击。在现有的安全机器学习推理方案中，大多数假设服务器是半诚实的（即遵守协议但试图推断额外信息），但在现实世界中，服务器可能是恶意的，例如使用低质量模型或偏离协议。尽管已有少量研究考虑了恶意服务器偏离协议的情况，但它们忽略了模型准确性的验证（即服务器使用低质量模型），同时需要保护服务器模型和客户端输入的隐私。为了解决这些问题，Fusion 让客户端将已知查询结果的公共样本与自己的待查询样本混合，作为多方计算（MPC）的输入来联合执行安全推理。由于使用低质量模型或偏离协议的服务器只会产生容易被客户端识别的结果，Fusion 迫使服务器诚实行为，从而在不使用昂贵密码学技术的情况下解决了上述所有问题。实验评估表明，Fusion 比现有的恶意安全推理协议（目前不支持模型准确性验证）快 48.06 倍，通信量减少 30.90 倍。此外，为了展示可扩展性，作者在 ResNet50 模型上进行了 ImageNet 规模的推理，在广域网环境下只需 8.678 分钟和 10.117 GiB 通信，比半诚实协议快 1.18 倍，通信量减少 2.64 倍。本文的研究背景是安全推理中的恶意服务器威胁，核心问题是兼顾模型准确性验证和隐私保护。主要贡献是提出一种轻量级的、不依赖昂贵密码学的方案，并通过实验证明了其高效性和可扩展性。适合安全研究人员、机器学习工程师以及对隐私保护计算感兴趣的从业者阅读。