该论文关注Transformer架构的大型语言模型（如BERT、GPT）在自然语言处理中的广泛应用及其对文本对抗攻击的脆弱性。现有防御方法如对抗训练资源消耗大，而防御性dropout等保护有限。作者提出了一种名为“动态注意力”的新方法，专门针对Transformer架构设计，无需下游任务知识且不增加额外成本。动态注意力包含两个模块：1) 注意力修正：通过掩盖或减弱选定令牌的注意力值；2) 动态建模：动态构建候选令牌集合。大量实验表明，该方法能显著减轻对抗攻击的影响，在常用对抗攻击上比之前的方法性能提升高达33%。动态注意力的模型级设计使其易于与其他防御方法（如对抗训练）结合，进一步提升鲁棒性。此外，与其他动态建模方法相比，动态注意力保留了原始模型的最优鲁棒性空间。

本文提出NEXUS，首个用于安全Transformer推理的非交互协议。现有解决方案（如BOLT、Bumblebee）均为交互式，需要客户端与服务器之间进行多轮通信，导致大量带宽消耗和延迟。NEXUS将整个过程简化为客户端仅需一次通信：提交加密输入并接收加密结果。为此，作者引入了多个新原语，包括SIMD密文压缩/解压缩、SIMD槽折叠和安全Argmax，显著降低了通信开销，同时保持了可比的运行时间。实验表明，与BOLT相比，带宽消耗减少372.5倍，与Bumblebee相比减少53.6倍。此外，非交互特性使得能够利用硬件加速，GPU版本实现运行时42.3倍加速，在BERT模型上推理仅需37.3秒，带宽仅164 MB。该协议基于安全多方计算（MPC）和同态加密（HE）技术，为大规模部署隐私保护的Transformer推理提供了高效方案。

论文提出了一种名为 DRIFT（Drift-Resilient Invariant-Feature Transformer）的框架，用于解决基于深度学习的域名生成算法（DGA）检测器在面对时间漂移时性能严重下降的问题。作者通过一项为期9年（2017-2025）的纵向研究发现，最先进的基于字符和基于单词的DGA分类器在新变种出现时迅速失效。DRIFT 采用混合分词策略（字符级编码捕获随机形态模式，子词级编码处理基于单词的DGA）和多任务自监督预训练来学习不变表示。三个预训练任务使模型在监督微调前学习鲁棒的结构和上下文特征。综合评估表明，该方法显著减轻了时间退化，在前向链实验中持续优于当前最先进的基线。该工作为不断演变的威胁环境中的长期DGA防御提供了可靠基础。代码已开源。

本文针对Transformer模型安全推断中的shuffling防御机制展开研究。在安全推断场景中，客户端通过加密协议仅获知模型最终输出，而服务器无法得知客户端输入。然而，非线性层的安全计算因通信轮数和数据传输量巨大而成为效率瓶颈。为提升效率，先前工作选择向客户端暴露中间激活值，使其可以在明文下计算非线性操作，但这一做法使得敌手可能从暴露的激活中提取模型权重。作为缓解措施，现有工作采用shuffling防御，即仅向客户端公开经过随机排列后的激活值，期望通过破坏激活值与权重的对应关系来阻止模型提取。本文证明该shuffling防御远不如先前声称的稳健。作者提出一种攻击方法，首先将不同轮次中经过不同随机排列的激活值对应到同一个排列空间（即对齐），进而利用这些对齐后的激活值恢复模型权重。具体地，攻击者通过观察多次推理中暴露的shuffled激活，利用激活值之间的统计关联推断出排列关系，实现高精度对齐。在Pythia-70m和GPT-2上的实验表明，所提出的攻击可以将shuffled激活对齐到均方误差仅为10^{-9}到10^{-6}的水平。进一步，在查询成本约为1美元的条件下，敌手恢复出的模型权重与真实权重之间的L1范数差异仅为10^{-4}到10^{-2}，几乎完全恢复。该工作揭示了shuffling防御的根本缺陷，提示安全推断设计中需要更加稳健的保护机制。

本文提出了STIP（Secure Three-party Inference Protocol），一种用于大型Transformer模型在生产环境中的三方隐私保护无损推理方案。研究背景是，随着大型Transformer模型（如BERT、GPT系列）在云服务中的广泛部署，用户输入的隐私保护成为关键挑战。现有的隐私保护推理方法（如安全多方计算、同态加密）往往面临巨大的计算开销或精度损失，且难以直接适配Transformer的复杂结构（如非线性激活函数、自注意力机制）。STIP的核心创新包括：（1）设计了一种高效的秘密共享协议，支持在三个非共谋服务器之间进行线性层和非线性层的无损计算，特别针对Transformer中的GeLU、Softmax等函数进行了优化，通过函数拟合与定点数算术结合，实现了完全无损（即计算结果与明文推理完全一致）。（2）提出了自适应分割策略，将模型按层动态分配给三台服务器，以平衡计算负载和通信开销。（3）在安全性方面，STIP确保了半诚实模型下的隐私保护，任何两台服务器合谋也无法获取用户的输入或模型参数。实验基于多种主流Transformer架构（如BERT-Base、BERT-Large、GPT-2）在标准数据集上进行了评估。结果表明，与现有最佳方案相比，STIP将推理延迟降低了约40%，通信量减少了约30%，同时保持了无损精度。该方案适合对隐私和精度均有严格要求的生产环境，如医疗诊断、金融风控等场景。本文的主要贡献在于首次实现了面向大型Transformer的全流程三方无损隐私推理，并通过系统优化将开销降至实际可行的水平。