该论文提出 Mosformer，据称是首个支持大型 Transformer（如 BERT 和 GPT）的恶意安全三方计算（3PC）推理框架。基于 Transformer 的模型在众多 AI 任务中表现优异，但当以云推理服务形式部署时，用户输入和模型参数均面临隐私泄露风险。现有基于安全多方计算（MPC）的 Transformer 推理协议大多假设半诚实攻击者，而扩展到恶意安全模型面临极大开销，尤其是对复杂非线性函数的求值。Mosformer 的核心贡献在于：首先利用可验证分布式点函数（VDPFs）设计了恶意安全下的常数轮比较协议和查表协议；随后基于这些原语构建了一套高效且安全的 3PC 协议，用于求值 Transformer 中的复杂非线性函数（如 GELU、Softmax、LayerNorm 等）。结合优化的模数转换方法，Mosformer 在保持模型精度的同时显著降低了安全推理的开销。实验在 vanilla Transformer 模块上显示，与先前的恶意安全协议相比，Mosformer 实现了最高 5.3 倍的加速和 4.3 倍的通信量减少。在完整规模的 BERT 和 GPT-2 模型上，尽管提供了更强的安全保证，Mosformer 的在线性能仍可与当前最优的半诚实 2PC/3PC 框架（如 BOLT、BumbleBee、SHAFT、Ditto）相当甚至更优。该研究适合关注隐私保护机器学习、安全推理和密码学协议设计的蓝队研究人员阅读，其方法有望为隐私计算在实际部署中的安全性提升提供新思路。

本文提出了一种用于非裁剪（uncropped）侧信道数据集的全密钥（full-key）攻击的简单 Transformer 流水线。传统深度学习侧信道分析通常针对单字节目标并依赖人工裁剪的迹线，这可能会丢弃可利用的泄漏信息。近期研究虽然提出了专用架构和重采样技术来应对这一问题，但文献中缺乏针对非裁剪迹线同时恢复完整密钥的简单 Transformer 基线。作者基于标准 Transformer 编码器主干，仅修改输入和输出层以适应侧信道场景，实现了开源的全密钥攻击方法。他们在非裁剪的 ASCADv1f、ASCADv1r 和 CHES-CTF-2018 数据集上发布了实现代码、训练配方和预训练权重。实验表明，该方法在性能上与先前报道的专用方法相当，同时显存占用低于 10GB，在单张 NVIDIA A6000 显卡上训练时间最多仅需 3.34 小时。该研究填补了简单通用 Transformer 基线在全密钥非裁剪侧信道分析中的空白，为后续研究提供了可复现的基准。适合硬件安全、侧信道分析以及深度学习安全领域的研究人员和工程师阅读。

本文提出一种针对光滑 Transformer 前馈网络（FFN）的结构性模型提取攻击方法，揭示了黑盒场景下二阶信息泄露内部参数几何的新通道。作者假设攻击者拥有对 FFN 分支的“选定输入-原始输出”（chosen-input raw-output）访问权限，即可以自由选择输入并获取未经过离散化或扰动的连续输出，但无法访问参数、梯度或内部激活。在此假设下，对于使用 GELU 或 SiLU 等光滑激活函数的 Transformer FFN，攻击者可通过构造特定输入并计算投影输入 Hessian 矩阵，观察到由 FFN 输入权重决定的隐藏对称秩一因子的混合信息。论文将收集到的 Hessian 集合形式化为部分对称分解问题，证明了局部可辨识性和稳定性条件，并利用向量输出模板复用技术将结构化查询成本降低 16 倍。在独立训练的 CIFAR-10 视觉 Transformer 上，仅需 16 个投影 Hessian（对应 8193 次黑盒查询）即可恢复隐藏 FFN 方向，平均绝对余弦对齐度超过 0.94，其中 GELU 和 SiLU 分别有 95.1% 和 91.9% 的方向对齐度超过 0.90。该恢复在多个独立训练的模型、重复提取实验以及所有 Transformer 块中均保持高度一致。进一步地，恢复出的结构可用于功能性提取：保持恢复方向固定，仅拟合剩余 FFN 参数，可获得超过 93% 的 top-1 一致性的高保真替代模型，测试准确率与原始模型仅相差 0.90%（GELU）和 0.62%（SiLU）。实验还表明，输出舍入和高斯噪声在固定攻击配置下能显著降低恢复效果，但攻击者通过自适应调整有限差分步长可将平均对齐度重新提升至 0.9603（GELU）和 0.9398（SiLU）。这项研究展示了从黑盒二阶观测到隐层结构恢复再到功能替换的完整攻击路径，证明光滑 FFN 的曲率特性泄露了仅靠行为模仿无法揭示的内部参数几何，对模型知识产权保护构成实质性威胁。

本论文针对现实世界中密码猜测攻击的改进问题，提出了一种基于双向Transformer（如BERT）的密码猜测方法。传统密码猜测手段依赖人工规则、马尔可夫链、RNN或GAN等，往往存在上下文建模能力不足或生成样本质量受限的问题。论文将密码视为一种特殊语言序列，采用双向Transformer编码器来同时利用字符左右两侧的上下文信息，通过类似掩码语言模型的预训练方式学习密码字符的分布规律，并在生成阶段依据模型输出的概率分布构造高命中率的候选密码集合。作者在多个真实泄露数据集上进行了系统评估，与现有主流猜测方法（如规则驱动方法、RNN、GAN等）对比，实验结果表明该方法在给定猜测次数下的命中率显著提升，尤其在长密码和包含混合字符（数字、符号、大小写）的密码上优势明显，体现出双向上下文建模对密码分布拟合的有效性。论文还分析了不同模型参数和训练策略的影响，为后续研究提供了可复现的基线。该工作的主要贡献包括：首次将双向Transformer架构系统性应用于密码猜测，提出了完整的训练与生成流程，并通过实验验证其优越性。对于安全防御者而言，这项研究揭示了当前最前沿的口令猜测手段，有助于评估口令策略的安全边界，也为构建更智能的口令强度评估工具提供了新思路。适合渗透测试人员、口令安全研究人员、蓝队安全工程师阅读，以了解最新攻击趋势并调整防御措施。

传统的恶意软件检测系统通常依赖单一的样本表示（即模态），难以有效识别新型威胁，且某些模态提取过程依赖反汇编成功率，导致模型在多变样本上的判别能力不足。已有工作尝试融合多种模态或增强表示，但多为双模态或改进单个表示。为此，本文提出 Malformer，一个四模态 Windows 可执行文件恶意软件检测模型，融合了文本（原始字节/符号等）、图像（二进制可视化）、图（控制流等）和音频（指令音频化）四种表示。模型架构采用两个 RoBERTa 编码器处理文本类模态，一个修改后的 Vision Transformer 处理图像数据，WavLM 处理音频数据，并通过自适应损失加权机制有效融合各模态的特征表示，避免手工调参。在包含 201,549 个二进制样本的数据集上评估，Malformer 实现了 98.3% 的准确率和 0.9833 的 F1 分数，相比单模态基线和双模态检测器分别提升了 4.6 至 17.6 个百分点。实验表明，多模态融合能够显著增强 Windows 恶意软件检测的泛化能力和鲁棒性，为应对日益增长的恶意软件规模提供了有前景的检测框架。该工作适用于安全研究人员、检测工程人员及对机器学习与恶意软件分析交叉领域感兴趣的读者。

本研究提出了一种基于Transformer的自适应入侵检测系统（IDS）框架，旨在解决网络安全环境中威胁分布不断变化所导致的模型性能衰退问题。传统IDS在固定流量快照上训练，部署后会因数据分布偏移而性能下降；针对新攻击进行微调会导致灾难性遗忘，而完全重新训练则计算成本过高。基于回放的持续学习虽可缓解该问题，但现有方法通常假设良性流量仅出现在早期任务中，且忽视了回放缓冲区本身可能成为攻击面。作者设计了一个结合表格Transformer编码器与类别均衡经验回放缓冲区的自适应IDS框架，在每次更新时回放良性流量以稳定决策边界。同时提出了类别-实例增量（CII）场景，使良性流量与新攻击同时出现，作为更真实的压力测试；并针对回放缓冲区展开了标签翻转和隐蔽后门投毒攻击的探测研究。在CICIDS2017基准上，框架在传统类增量设置下达到0.9994准确率，在CII下达到0.9989，且遗忘可忽略，大幅优于顺序微调（0.0052）、EWC（0.0324）、LwF（0.0699）和iCaRL（0.8770）等基线。实验表明，每次经验注入良性流量是防止遗忘的关键，但回放缓冲区也引入了严重漏洞：1%预算的标签翻转攻击可使模型准确率崩溃至0.0053；后门攻击在保持整体准确率0.97的同时，触发流的攻击成功率高达95%，且能逃避标准监控。最终结论是，适度的回放预算可使模型性能接近联合训练，但缓冲区完整性成为严格的操作要求。论文适合入侵检测、持续学习、对抗机器学习方向的研究人员和安全工程师阅读。

本文研究从黑盒输入输出访问中学习多头softmax注意力机制的问题。在给定查询token序列的情况下，学习者只能观察到最终token的标量输出。以往的工作提出了使用O(d^2)次值查询恢复单头注意力参数(W,v)的算法，但对于多头注意力，已有可识别性结果依赖于头之间成对正交子空间的假设，且应用单头算法需要已知子空间基。本文提出了一种无需这些假设的算法，通过合并具有相同W_h的头并对v_h求和，若和为零则丢弃该合并头，从而恢复规范表示。算法通过改变token副本数量获得有理函数的样本，利用插值分离规范头，并通过添加选定的token向量在不同查询间匹配同一头。在精确oracle输出的情况下，随机选择查询向量能以概率1恢复规范对{(W_h,v_h):h∈[H]}，直至置换。当H已知时，算法使用4Hd^2-2H+1次值查询，最大长度2H+1；若仅知上界H_0，则使用4H_0d^2-2H_0+1次查询。对于近似输出，论文给出了参数误差受输出误差乘以模型和查询相关常数控制的条件。最后，研究扩展至一层Transformer，包括多头注意力后接无偏ReLU前馈网络，在附加条件下无需单独学习前馈网络的算法即可恢复功能等价的Transformer。这项工作为理解Transformer的可识别性和可学习性提供了理论保证，并可能对模型窃取和可解释性研究有启发。

全同态加密（FHE）为隐私推理提供了强加密保障，但在FHE下部署Transformer模型仍然代价高昂。关键瓶颈在于softmax、归一化和激活等非线性运算必须替换为与CKKS方案兼容的多项式近似，而近似消耗的乘法深度主导了推理成本。现有框架虽然改进了近似技术，但都依赖手动配置近似超参数（如迭代次数、多项式次数），并统一应用于所有层。这种统一配置方法过于僵化：不同层能容忍不同程度的近似误差而不影响预测精度，统一配置无法利用这种差异性来降低延迟。然而，允许每层采用自己的配置会导致搜索空间随模型深度爆炸：对于BERT/ViT（12层）约为10^84种配置，对于LLaMA3（32层）约为10^225种，使得手动探索几乎不可能。为此，本文提出ATLAS，一个自动化框架，通过将问题表述为延迟和预测精度的多目标优化来配置每层近似设置。该问题本身非常困难：（1）在大决策空间（BERT/ViT为120或320变量，LLaMA3类似）上的竞争目标；（2）评估代价高昂，即使在明文下每个配置也需要70-1000秒；（3）优化信号稀疏，35-50%的候选配置产生数值无效解。ATLAS通过两阶段优化策略应对这些挑战，该策略逐步放宽逐层约束，并结合代理模型加速评估。实验表明，ATLAS能在一小时内为BERT/ViT和LLaMA3找到高效的逐层近似配置，大幅降低FHE推理延迟同时保持精度。

本文提出 Euston，一种高效且用户友好的安全 Transformer 推理框架，支持非交互式操作，无需客户端与服务器之间进行多轮通信。Euston 结合了多方安全计算（MPC）与同态加密（HE）技术，针对 Transformer 模型中的自注意力机制和前馈网络进行了优化，显著降低了推理时的计算和通信开销。实验表明，在保证机密性的前提下，Euston 在推理延迟和资源消耗方面均优于现有方案，同时保持了与明文推理相当的高精度。该工作为在不可信服务器上安全部署大规模语言模型提供了实用解决方案。

本文提出FDIFormer，一种无需特征工程的虚假数据注入攻击检测框架，专门针对基于IEC 61850 GOOSE协议的智能电网通信。研究背景：智能电网通过通信网络和智能电子设备实现自动化运行，但互联性增加使其易受网络攻击，其中虚假数据注入（FDI）攻击通过删除、修改或添加数据包操纵通信消息，尤其在IEC 61850变电站中，GOOSE消息负责传输关键保护和控制信息。由于恶意数据包与合法通信高度相似，现有检测方法严重依赖手动设计的协议特征，需要大量领域知识且泛化能力有限。核心方法：FDIFormer将GOOSE数据包序列转换为结构化文本窗口，捕获通信行为，然后利用预训练Transformer模型（如GraphCodeBERT、BERT和RoBERTa）直接学习攻击相关模式。评估使用QUT-ZSS-2023-GOOSE数据集，采用场景级三折交叉验证。结果：GraphCodeBERT达到0.595±0.122的MCC，与最强手工特征基线XGBoost（0.604±0.121）相当，比TF-IDF基线提高0.133。主要贡献：首次证明预训练Transformer表示可有效用于IEC 61850 GOOSE通信中的FDI攻击检测，无需依赖人工特征工程，为工业控制系统安全提供了新思路。适合安全研究人员、智能电网安全工程师和机器学习从业者阅读。

本文针对安全两方Transformer推理中的密钥切换（key-switching）开销问题展开研究。在现有的隐私保护方案中，线性层通常通过全同态加密（FHE）进行明文-密文或密文-密文矩阵乘法计算，而密钥切换操作主要发生在这些乘法中，并成为计算开销的主要来源。现有优化方法大多依赖于特定的打包（packing）算法，限制了其通用性。本文从独立于打包策略的角度出发，提出了一种预处理辅助的安全注意力计算方法。通过将注意力计算分解为可预计算的操作和在线交互，该方法在不修改现有打包策略的前提下，减少了在线推理阶段的密钥切换次数。然而，将密钥切换转移到离线阶段会引入额外的存储需求。为此，作者提出了存储-通信权衡技术，通过适度的在线通信替代大量预计算密文，从而在不同资源约束下实现灵活部署。针对混合方案和基于FHE的方案中仍存在的离线阶段和后续FHE层中的密文-密文矩阵乘法，作者进一步提出了融合密钥切换技术，专门针对RNS-CKKS矩阵乘法方案中频繁出现的“乘法后接旋转”模式。该技术通过将重线性化（relinearization）和旋转合并为单一过程，降低了相关计算成本。分析评估表明，所提技术能够显著减少在线密钥切换开销，并在不改变现有打包策略的前提下，提供灵活的存储-通信权衡。

本文提出了一种名为TIGER的新型梯度反演攻击方法，针对联邦学习场景下Transformer模型的隐私泄露问题。联邦学习中，多个客户端协同训练共享模型，仅上传梯度更新至中央服务器，理论上原始输入数据保留在本地。然而，已有的梯度反演攻击表明，这些更新足以泄露客户端输入信息。现有针对Transformer的攻击方法存在局限：优化假输入匹配真实梯度更新对于现代模型成本高且不稳定；或者利用注意力梯度的低秩性识别包含真实层嵌入的子空间，再对候选token进行离散成员测试，但该测试对数值噪声（如量化或差分隐私DP）鲁棒性差，且在非因果注意力编码器模型中扩展性差。TIGER创新性地将子空间信号转化为可微分目标，通过直接优化token嵌入以最小化其到子空间的距离，避免了对完整梯度的匹配或离散搜索。实验表明，在仅编码器模型上，TIGER在重建质量和运行时间上显著优于现有攻击；在解码器模型上，TIGER比基于子空间的先前攻击更具鲁棒性，首次在受差分隐私保护的联邦学习设置中成功实现了输入重建。这项工作揭示了现有联邦学习隐私保护机制的脆弱性，对采用Transformer架构的联邦学习系统构成实际威胁。

该论文针对近年来网络入侵检测研究中越来越多地采用循环网络和Transformer等时序架构的趋势，提出质疑：这些模型是否真的利用了时序信息？作者以CIC-IDS2017数据集为基准，将其重构为时序入侵检测任务，通过构建有序流序列，在随机划分、两种无泄漏划分以及填充方案消融实验下，对九种经典和深度学习架构进行了系统评测。核心发现是：对于Transformer，填充约定（padding convention）比架构本身对性能的影响更大。在真正的序列（非填充）窗口上，Transformer取得了实验中最高的宏F1分数（0.89）；但在零填充+掩码评估下，其宏F1显著下降0.24，而LSTM、GRU和1D-CNN保持稳定。在无泄漏分组评估下，随机森林是最稳健的模型（宏F1提升0.009），而Transformer的误报率从0.04%增长到2.7%，增加了67倍，这一现象在常规评估协议下完全不可见。研究表明，评估方法——特别是填充约定和划分协议——对报告性能的影响大于架构选择。广泛使用的随机划分加重复末次填充可能高估模型稳健性多达0.24宏F1。作者提倡未来入侵检测研究采用无泄漏划分、明确披露填充方案以及序列感知基准测试。

该研究提出一种低成本、高效的reward hacking检测方法，针对强化学习（特别是基于人类反馈的强化学习，RLHF）中奖励模型被操纵的问题。核心方法：训练一个小型Transformer编码器，将Terminal-Wrench环境中的轨迹映射到单位球面上的嵌入向量，使得嵌入之间的距离近似于奖励信号与元数据信号之间的L1距离。然后在该嵌入之上训练一个线性探针（linear probe）来检测reward hacking。实验在清理后的测试集上取得了AUC 0.9467和TPR@5%FPR 0.8296的性能，与使用LLM作为评判器（LLM-as-judge）的基线方法（AUC 0.9510，TPR@5%FPR 0.7130）相当，但前者在每轨迹计算成本上低了约四个数量级。此外，作者验证了编码器并非纯粹的“行为阅读器”：如果在线性探针输入时去除自然语言推理部分（即仅使用不含语言特征的嵌入），AUC降至0.6213，表明语言推理能力对检测至关重要。该方法为在部署前或持续监控中高效筛选可疑轨迹提供了实用工具。

该论文聚焦于多轮短信诈骗（smishing）检测，针对此前工作中提出的合成对话数据集COVA（3,201条标注对话）的局限性进行了扩展。作者指出COVA存在数据污染、标签不匹配、阶段指示泄露以及提示设计缺陷等问题，导致Transformer模型（如BERT）因输入截断和训练数据不足而表现不佳，而基于TF-IDF特征的XGBoost反而取得了最佳性能（准确率72.5%，macro F1 0.691）。为此，论文提出了COVA-X扩展数据集，包含10,985条对话，覆盖8种针对老年人的诈骗类型。通过改进的生成流程，标签纠错率从49.8%提升至3.9%（改善12.7倍），虚拟绑架类对话的人为痕迹率从67.1%降至46.5%。在扩展数据集上重新训练所有分类器后，核心发现是Longformer模型全面超越XGBoost，准确率达到79.71%，macro F1 0.7786，而XGBoost为78.43%和0.7563。这直接证实Transformer模型需要更大规模的对话语料才能发挥其上下文优势。此外，论文还进行了每类诈骗的结果分析，表明诈骗类别对检测效果有机制一致的影响；清洗前后的敏感性分析证实，数据精炼在所有三种分类器架构上都能恢复真正的标签相关信号。该研究为多轮短信诈骗检测提供了更高质量的数据集和更强的基线模型。

随着ChatGPT等大型语言模型的兴起，安全Transformer推理成为一个重要研究方向。现有的安全推理方案大多采用交互式协议，客户端与服务器之间需要多轮通信，导致通信负载和延迟较高。本文提出了NEXUS，这是首个非交互式安全Transformer推理协议。在NEXUS中，客户端仅需与服务器进行一轮通信：提交加密输入并接收加密结果，整个推理过程无需额外交互。为了实现这一目标，作者引入了多项新型原语，包括SIMD密文压缩/解压缩、SIMD槽折叠以及安全Argmax操作。这些技术使得NEXUS在通信开销上大幅超越现有方案：相比BOLT (Oakland '24) 降低约372.5倍带宽，相比Bumblebee (NDSS '25) 降低约53.6倍。同时，非交互式特性使得协议可以充分利用硬件加速，GPU版本的运行时加速比达到42.3倍。实验表明，NEXUS可以在37.3秒内完成基于BERT模型的推理，仅消耗164 MB带宽。该工作为安全Transformer推理提供了新的范式，尤其适用于带宽受限或需要低延迟的场景，对隐私计算和LLM服务部署具有重要参考价值。

论文提出了一种名为 DRIFT（Drift-Resilient Invariant-Feature Transformer）的框架，用于解决基于深度学习的域名生成算法（DGA）检测器在面对时间漂移时性能严重下降的问题。作者通过一项为期9年（2017-2025）的纵向研究发现，最先进的基于字符和基于单词的DGA分类器在新变种出现时迅速失效。DRIFT 采用混合分词策略（字符级编码捕获随机形态模式，子词级编码处理基于单词的DGA）和多任务自监督预训练来学习不变表示。三个预训练任务使模型在监督微调前学习鲁棒的结构和上下文特征。综合评估表明，该方法显著减轻了时间退化，在前向链实验中持续优于当前最先进的基线。该工作为不断演变的威胁环境中的长期DGA防御提供了可靠基础。代码已开源。

本文针对Transformer模型安全推断中的shuffling防御机制展开研究。在安全推断场景中，客户端通过加密协议仅获知模型最终输出，而服务器无法得知客户端输入。然而，非线性层的安全计算因通信轮数和数据传输量巨大而成为效率瓶颈。为提升效率，先前工作选择向客户端暴露中间激活值，使其可以在明文下计算非线性操作，但这一做法使得敌手可能从暴露的激活中提取模型权重。作为缓解措施，现有工作采用shuffling防御，即仅向客户端公开经过随机排列后的激活值，期望通过破坏激活值与权重的对应关系来阻止模型提取。本文证明该shuffling防御远不如先前声称的稳健。作者提出一种攻击方法，首先将不同轮次中经过不同随机排列的激活值对应到同一个排列空间（即对齐），进而利用这些对齐后的激活值恢复模型权重。具体地，攻击者通过观察多次推理中暴露的shuffled激活，利用激活值之间的统计关联推断出排列关系，实现高精度对齐。在Pythia-70m和GPT-2上的实验表明，所提出的攻击可以将shuffled激活对齐到均方误差仅为10^{-9}到10^{-6}的水平。进一步，在查询成本约为1美元的条件下，敌手恢复出的模型权重与真实权重之间的L1范数差异仅为10^{-4}到10^{-2}，几乎完全恢复。该工作揭示了shuffling防御的根本缺陷，提示安全推断设计中需要更加稳健的保护机制。

本文提出了STIP（Secure Three-party Inference Protocol），一种用于大型Transformer模型在生产环境中的三方隐私保护无损推理方案。研究背景是，随着大型Transformer模型（如BERT、GPT系列）在云服务中的广泛部署，用户输入的隐私保护成为关键挑战。现有的隐私保护推理方法（如安全多方计算、同态加密）往往面临巨大的计算开销或精度损失，且难以直接适配Transformer的复杂结构（如非线性激活函数、自注意力机制）。STIP的核心创新包括：（1）设计了一种高效的秘密共享协议，支持在三个非共谋服务器之间进行线性层和非线性层的无损计算，特别针对Transformer中的GeLU、Softmax等函数进行了优化，通过函数拟合与定点数算术结合，实现了完全无损（即计算结果与明文推理完全一致）。（2）提出了自适应分割策略，将模型按层动态分配给三台服务器，以平衡计算负载和通信开销。（3）在安全性方面，STIP确保了半诚实模型下的隐私保护，任何两台服务器合谋也无法获取用户的输入或模型参数。实验基于多种主流Transformer架构（如BERT-Base、BERT-Large、GPT-2）在标准数据集上进行了评估。结果表明，与现有最佳方案相比，STIP将推理延迟降低了约40%，通信量减少了约30%，同时保持了无损精度。该方案适合对隐私和精度均有严格要求的生产环境，如医疗诊断、金融风控等场景。本文的主要贡献在于首次实现了面向大型Transformer的全流程三方无损隐私推理，并通过系统优化将开销降至实际可行的水平。