该论文研究如何在可信执行环境(TEE)中高效、安全地运行大语言模型(LLM)推理。背景问题是: 用户提交给 LLM 的提示(prompt)可能包含敏感或隐私信息, 而远程部署的模型可能通过重训练时的无意记忆等途径滥用这些信息。一个自然的防护思路是把 LLM 放进 TEE 中执行, 使服务提供方无法接触 TEE 内的计算与数据交互。但现有 TEE 主要基于 CPU, 其算力远低于为 LLM 推理优化的 GPU, 因而性能代价高昂。作者沿用 Tramer 与 Boneh(2019)在 Slalom 中提出的「分割推理」架构——把神经网络推理拆分到 TEE 与不可信 GPU 两侧执行, 并对送往 GPU 的中间输入做保护——将这一思路扩展到 LLM 推理场景, 但把保护手段从加密改为差分隐私(DP)。 论文首先论证了保护中间表示的「必要性」: 作者展示了一种提示重建攻击, 可从中间表示中恢复原始提示, 准确率接近 80%, 说明若把中间张量明文交给 GPU 将造成严重隐私泄漏。其核心贡献是针对 LLM 关键函数做全局敏感度分析, 从而给出所需差分隐私噪声尺度的上界, 使噪声量级可被定量控制而非经验性设定。与加密方案相比, 差分隐私不需要量化(quantization), 因此 LLM 可以保持在浮点域中运行, 避免量化带来的精度损失; 作者同时推导了掩码与 TEE 内噪声消除所引入的浮点误差上界, 并给出其与隐私参数 epsilon 的函数关系。 实现层面, 作者基于 Intel TDX 构建原型, 使用 Llama-3.2-3B 与 Qwen3-4B 两个模型进行评估。结果显示: 分割执行比 TDX 内纯 CPU 推理快近一倍, 比基于加密的 Slalom 方案快 5 至 15 秒且精度更高。最后, 作者证明即便攻击者掌握差分隐私机制的具体形式, 提示重建也无法恢复出比一个无关提示更多的信息, 即隐私收益具有可证明的边界。该工作主要面向机密计算、隐私增强技术(PET)与 LLM 服务安全的研究者和工程团队。

近年来深度学习模型与平台爆发式增长，但现有机器学习即服务（MLaaS）架构通常假设模型完全可信，忽略了模型所有者和用户双方的隐私需求。在实际安全多方计算场景中，模型所有者不愿泄露高价值模型参数，用户也不愿暴露私有数据样本。传统的隐私保护深度学习方案要求用户先同态加密数据再发送给模型所有者，由所有者承担沉重的密文域计算负荷。本文提出一种新型框架PrivDNN，通过将加密后的深度学习模型分发给用户，将计算卸载到用户侧；利用部分DNN加密（仅加密核心神经元）显著提升推理效率；并设计了核心神经元选择与加密方案，在保障模型准确率的同时保护模型隐私。实验表明，PrivDNN在保持模型性能与隐私的前提下，将隐私保护DNN推理时间与内存需求降低高达97%。代码已开源。

随着ChatGPT等公共大语言模型(LLM)的广泛部署，用户提示(prompt)的隐私保护成为关键问题。现有的隐私保护推理方法要么牺牲效用，要么牺牲效率，并且通常需要针对特定模型进行修改，兼容性受限。本文提出SharedRequest，一种模型无关的隐私保护LLM推理框架，将隐私保护从单个提示层面提升到批次层面。核心思想是将原始提示与噪声变体混合以混淆敏感信息，同时将语义等价的指令分组，从而在大型查询批次中摊销推理成本，对LLM响应质量影响极小。该设计独立于LLM架构，无需访问模型参数或修改架构。实验结果表明，与之前的差分隐私基线相比，SharedRequest的效用提升超过20%；与非分批推理相比，其共享提示机制将查询成本降低最多5倍。本文适合关注LLM隐私保护、模型部署效率和安全研究的人员阅读。

大型语言模型（LLM）依赖键值（KV）缓存加速推理，许多服务系统进一步在用户请求间共享KV缓存以减少冗余计算。然而，无限制的跨用户共享引入了侧信道漏洞，攻击者可以通过探测缓存是否命中来推断用户输入。现有防御完全禁用共享以避免泄漏，但这种粗粒度的策略牺牲了巨大的复用潜力，因为提示中通常包含大量隐私无关的片段，如系统指令或公开可访问的材料。基于此，本文提出CachePrune，一种隐私感知的KV缓存共享机制，实现在请求之间对KV条目进行细粒度复用。实现这种细粒度需要令牌级别的缓存管理，因为可复用片段因敏感性掩蔽而在长度和位置上变化，使得复用比现有粗粒度方案中使用的固定大小或句子级分块更复杂。具体而言，CachePrune通过解决两个关键挑战使细粒度复用变得可行：准确高效地推导可复用KV片段，以及在可变长度跨度上高效检索它们。作者在vLLM上实现了CachePrune，并在三个数据集上进行了评估，结果表明它消除了通过KV缓存重用侧信道的直接泄漏，同时与最先进的方法相比，将TTFT（首个令牌时间）降低了4.5倍，缓存命中率提高了44%。本文的主要贡献包括：提出隐私感知的细粒度KV缓存共享框架，设计令牌级别的缓存管理和检索算法，并通过实验证明了其在隐私保护和性能提升上的有效性。适合对LLM推理系统安全、隐私保护和性能优化感兴趣的研究人员阅读。

本文提出了STIP（Secure Three-party Inference Protocol），一种用于大型Transformer模型在生产环境中的三方隐私保护无损推理方案。研究背景是，随着大型Transformer模型（如BERT、GPT系列）在云服务中的广泛部署，用户输入的隐私保护成为关键挑战。现有的隐私保护推理方法（如安全多方计算、同态加密）往往面临巨大的计算开销或精度损失，且难以直接适配Transformer的复杂结构（如非线性激活函数、自注意力机制）。STIP的核心创新包括：（1）设计了一种高效的秘密共享协议，支持在三个非共谋服务器之间进行线性层和非线性层的无损计算，特别针对Transformer中的GeLU、Softmax等函数进行了优化，通过函数拟合与定点数算术结合，实现了完全无损（即计算结果与明文推理完全一致）。（2）提出了自适应分割策略，将模型按层动态分配给三台服务器，以平衡计算负载和通信开销。（3）在安全性方面，STIP确保了半诚实模型下的隐私保护，任何两台服务器合谋也无法获取用户的输入或模型参数。实验基于多种主流Transformer架构（如BERT-Base、BERT-Large、GPT-2）在标准数据集上进行了评估。结果表明，与现有最佳方案相比，STIP将推理延迟降低了约40%，通信量减少了约30%，同时保持了无损精度。该方案适合对隐私和精度均有严格要求的生产环境，如医疗诊断、金融风控等场景。本文的主要贡献在于首次实现了面向大型Transformer的全流程三方无损隐私推理，并通过系统优化将开销降至实际可行的水平。