开放权重语言模型的安全护栏可被"拒绝特征消融"(Refusal Feature Ablation, RFA) 轻易绕过：该技术通过对比估计器在模型残差流中定位出一条线性"拒绝方向"，并将其投影剔除，从而在几乎不损失模型通用能力的前提下获得很高的攻击成功率 (ASR)。针对这类攻击的传统防御通常需要对每一个新的模型检查点进行安全微调，计算成本高昂、难以规模化。本文提出"诱饵方向优化"(Decoy Direction Optimization, DDO)，一种快速的事后权重编辑防御，无需对基座模型做任何微调。其核心机理洞察是：消融攻击依赖对比估计器来寻找拒绝方向，因此与其试图隐藏真实的拒绝回路，不如主动向网络 MLP 神经元中注入一个高幅值、非线性的诱饵信号。当攻击者尝试定位拒绝方向时，该诱饵会污染其估计器，诱导攻击者错误地消融一个无害的正交特征，而真实的安全机制仍保持完好。作者进一步给出了刻画这一效应的形式化谱界 (spectral bound) 证明。实验方面，DDO 在六个模型家族上进行了评估，在标准 RFA 攻击下 ASR 低于 10%；在 Llama-3-8B-Instruct 上，面对自适应多阶段攻击，DDO 与经过训练的防御基线表现相当（最坏情况 ASR 65% 对 58%），并将 Heretic 权重级攻击的 ASR 从 88.7% 降至 18%，而每配置的优化成本仅为训练式基线的 1/30 至 1/450。

该论文研究大语言模型（LLM）权重层面的隐写恶意软件（stegomalware）威胁，即把恶意载荷直接编码进模型参数。由于 LLM 训练成本极高、分发极为广泛，第三方权重文件已成为一条新的供应链攻击面。此前已有工作尝试利用模型权重中的置换对称性（permutation symmetry）来破坏嵌入载荷，但无法保证 LLM 中所有参数都被改动，仍会留下相当比例的未变化权重可供提取。 本文的核心贡献有两点。防御侧：作者改进了置换选择方法，证明可以构造出能够位移全部模型参数的置换，从而覆盖此前方法在 LLM 中遗漏的权重，实现更彻底的隐写载荷中和。攻击侧：作者展示了置换对称性同样可被滥用——能够以理论无损的方式把恶意代码编码进权重，编码后无需重新训练，提取脚本也无需包含任何与载荷相关的特定信息；这种特性组合在此前的单一方法中从未同时出现，意味着依赖脚本内容或载荷特征的检测手段容易失效。 此外，由于浮点数值误差会在置换过程中累积，理论无损并不等于实际无损。作者因此量化了攻防两种场景下模型性能的下降幅度，结果表明损失很小，说明该方法在实际部署中具备可行性。论文属于机器学习与安全交叉研究，适合关注 AI 供应链安全、模型完整性验证与权重级威胁检测的研究人员与工程师阅读。

该论文研究设备端大语言模型（LLM）知识产权保护中的安全边界问题。背景上，可信执行环境（TEE）为在本地设备上保护 LLM 权重提供了有前景的隔离机制，但 TEE 本身存在计算瓶颈。现有 TEE 屏蔽式 LLM 划分（TSLP）方法通过高效混淆方案把计算密集型层卸载到外部 GPU，仅在 TEE 内保留轻量操作，从而兼顾性能与保护。然而作者指出，这类防御大多基于启发式设计，缺乏统一的理论刻画，因此有些方案已被针对其特定架构实现的专用对抗攻击证明存在脆弱性。为克服启发式设计的局限，论文提出一个基础研究问题：能否建立通用原语来统一代表性的已有方法，刻画其组合后的安全边界，并系统性地扩展该边界？为此，作者形式化了一组混淆原语，将其定义为满足特定代数性质的线性计算的对偶元组；并证明本文所研究的代表性高效 TSLP 框架的矩阵级权重变换可以表示成这些原语的组合，其规范形式 O_prior 刻画了该原语族的结构性边界。随后，论文提出一种名为 Collapse 的原语引导攻击方法，揭示 O_prior 的脆弱性，并证明多个发表于顶级会议的 TSLP 方法（如 Security'25 的 ArrowCloak、S&P'25 的 TSQP、NeurIPS'25 的 LoRO）存在共性弱点。最后，作者引入两个新的混淆原语，并与现有构造集成形成 O_ext，从而扩展这一安全边界。该工作适合 TEE/LLM 安全、模型知识产权保护与可信推理系统方向的研究者阅读。

该论文研究的是 AI 生成音频（俗称音频 deepfake）的检测问题。研究背景是：随着语音合成与音乐生成模型能力快速提升，合成音频大量出现，带来语音克隆诈骗、信息完整性受损、合成音乐版权归属争议等现实风险，因此需要可靠、可部署的真实性判别手段。现有主流方案多为端到端深度神经网络，虽然检测精度不错，但训练成本高、可解释性差、跨域泛化不透明。 作者提出的核心方法是一个“时间相干性（temporal coherence）分析”框架，建立在 CLAP（Contrastive Language-Audio Pretraining）音频-语言对比预训练嵌入之上，覆盖三类内容：人声语音、纯器乐音乐、以及带人声音乐。具体做法是将一段音频切分为多个片段，用 CLAP 提取每个片段的嵌入向量，再计算片段两两之间的余弦相似度，从而得到描述该音频“片段间一致性”的相似度分布；随后从这一分布中抽取统计特征（论文共使用 29 个统计特征），并基于这些特征训练轻量级集成分类器，用于区分真实音频与合成音频。该路线不依赖大规模端到端训练，具备较好的可解释性和更低的计算开销，同时在语音与音乐两个域上都取得了有竞争力的检测性能。 除框架本身，论文还报告了两个值得注意的实证发现：第一是“特征-标签反转”现象，即在 29 个统计特征中有 21 个在训练集与真实野外（in-the-wild）部署数据之间判别方向发生反转，说明训练阶段学到的特征方向在真实环境中可能失效；第二是“语音-音乐方向反转”现象，即熵类特征在语音 deepfake 与音乐 deepfake 上的判别方向相反，说明单一模型或单一阈值难以跨内容类型泛化。 论文的贡献可归纳为：给出一个可解释、计算高效、跨语音与音乐的音频 deepfake 检测框架；并通过对特征方向反转的实证分析，揭示检测器从实验室走向真实部署时普遍存在的域偏移与跨模态校准问题。适合从事媒体取证、内容审核、音频安全与深度伪造检测的研究者和安全工程师阅读。

该论文聚焦于 AI 与脑机接口 (BCI) 融合后新出现的、此前缺乏系统研究的攻击面。随着 AI 被广泛嵌入以人为中心的系统，神经信号与物理执行设备之间形成了一条新的信任链：一端是采集到的脑电等神经生理信号，另一端是假肢、外骨骼、轮椅、神经刺激器等可被驱动的物理装置。作者指出，这一链路一旦被滥用，直接威胁认知自主权、精神隐私与人身安全，风险范围从神经数据外泄一直延伸到对 BCI 所连接设备的恶意操控。为把零散的个案研究上升为系统性分析，论文提出 NERVE Attacks 攻击分类学，用五个正交维度覆盖完整 BCI 技术栈：神经模仿式伪造 (Neuro-mimetic Forgery)、基于失同步的规避 (Evasion via Desynchronization)、重放式劫持 (Replay-based Hijacking)、静脉窃听/传感通路窃取 (Vein Tapping) 以及嵌入式后门 (Embedded Backdoors)。为对该分类进行实证评估，作者构建了 EEGle——一个 AI 辅助、可扩展的 BCI 安全分析框架，用于系统化地构造与验证神经域特有的安全问题。评估结果显示 17 个此前未被报道的神经特异性攻击实例，并揭示出 BCI 后门设计中独有的一条“隐蔽性—有效性”权衡谱系，说明在神经信号场景下，隐蔽性与攻击效果之间存在不同于传统软件后门的取舍关系。论文进一步指出，生成式 AI 显著降低了非专业攻击者的入门门槛，使原本需要神经科学与信号处理专业知识的操作变得更容易复现。作者将 EEGle 开放给社区，用于构建和验证这类高度个人化设备的安全性。整体而言，该工作属于面向 BCI 的威胁建模与安全评估方法论贡献，论文视角强调研究问题定义、分类学构建、可复用评估框架，以及为后续防御研究提供基准；适合 BCI/神经工程研发者、医疗设备安全团队、AI 安全与隐私研究人员，以及关注人机融合系统合规与伦理的从业者阅读。

扩散模型水印技术通过在生成过程中嵌入可验证信号，并在验证时恢复与生成轨迹相关的证据来确认水印，因此对常规的像素空间扰动具有较强的鲁棒性。已有的水印去除攻击要么沿确定性轨迹执行再扩散，但这类轨迹往往保留了含有水印的潜在结构；要么需要对每张图像单独进行梯度优化，效率较低。本文研究者注意到，许多现有水印方案共同依赖一个可恢复的生成轨迹作为其验证基础，这构成了可被利用的共性攻击面。基于这一观察，他们提出了一种被称为DRIFT的黑盒攻击方法，其核心思想是将部分前向扩散（即向图像加入噪声到某个中间深度）与随机反向重采样相结合。前向重新加噪可以限制固定深度恢复管线能够获得的源信息，从而阻碍水印的提取；而随机的反向生成过程则提供了不同于原轨迹的替代噪声路径，通过对比不同采样器，研究者分离出了反向随机性对去除水印的贡献。进一步的，自适应DRIFT机制会为每一张图像在一个预设的扩散阶梯上搜索其第一个被验证器拒绝的梯级，并以此为基础，在仅接受同样被验证器拒绝的更新条件下对图像进行保真度优化。理论方面，作者给出了固定深度下信息论与Wasserstein距离的源依赖上界；在已实现的阶梯单调性条件下，第一个被拒绝的梯级是该阶梯上所有被拒梯级中失真度最小的，且经由验证器门控的细化步骤并不破坏水印去除的有效性。实验覆盖了三种典型水印范式的九种水印方案，DRIFT在无需任何秘密密钥、无需获取验证器内部细节、也无需逐图梯度优化的情形下，取得了98%至100%的攻击成功率，并在同类攻击中实现了最佳的输出图像质量。该研究清楚地揭示了扩散模型水印在轨迹依赖验证上的系统性弱点，对内容溯源与版权保护方案的设计具有重要警示意义。

本文提出了一种针对本地部署大语言模型(LLM)的侧信道攻击方法，通过观察 CPU 缓存活动来重建模型生成的文本。与以往依赖特定部署条件(如共享数据内存、CPU offloading 或 Mixture-of-Experts 架构)的攻击不同，该方法针对的是 detokenizer(解码器)——这是所有默认 LLM 推理流程中都会使用的组件，因此攻击面更广。攻击流程分为两个阶段：首先使用 Flush+Reload 技术监控共享的 tokenizer 代码，精确检测解码发生的时机；然后在正确的时间窗口执行 Prime+Probe，捕获与当前生成的 token 相关的缓存访问足迹。由于直接读取缓存信号会引入大量噪声，作者设计了一个聚类加语言模型的流水线，从含噪声的缓存观测中恢复到语义准确的文本。实验在多种数据集、硬件平台、推理框架和模型家族上进行，证明了该方法能够从真实世界的本地 LLM 部署(包括智能体系统)中重建语义准确的输出。作者还特别指出，当前最广泛使用的 tokenizer 实现大多易受此攻击影响，这些实现被嵌入到许多流行的本地 LLM 产品和智能体框架中，例如 OpenClaw(作者已实际演示了攻击效果)，从而极大地拓宽了攻击的实际威胁面。该研究揭示了本地 LLM 推理中一个此前未被充分重视的隐私泄露环节，提醒开发者关注 detokenizer 阶段的侧信道风险。

该论文针对远程监考软件展开首次系统性技术分析，以美国法学院和州律师资格考试中常用的四款监考套件为案例，深入评估考试完整性、程序公平性以及考生安全与隐私三大核心问题。研究背景是新冠疫情加速了教育线上化，且律师、医生等高风险执业资格考试逐渐采用远程监考，但其复杂软件可能引入系统性风险。研究方法包括逆向工程四款监考软件、审查其反作弊机制，并对比Examplify（市场份额最大的法律考试监考套件）所用的人脸识别分类器与当前主流分类器，分析肤色是否导致误报率差异。主要发现是：尽管厂商宣称高安全性，实际所有反作弊措施均可被简单绕过，且软件本身存在显著的用户安全风险；同时，人脸识别分类器在识别不同肤色人脸时存在准确率偏差，某些肤色更容易被误判为作弊行为。作者据此提出改进远程监考体验完整性、公平性的建议。该研究对教育技术安全、算法公平性及考生隐私保护具有重要的政策与实践意义，适合安全研究人员、教育技术供应商以及考试管理机构阅读。

大型语言模型（LLM）的广泛应用带来了生成内容溯源与合规治理的需求。多比特水印技术通过将用户可追踪的身份信息嵌入模型输出文本，能够实现内容来源的精细化追溯。然而，现有方案普遍面临提取准确率、文本质量与载荷容量三者之间的根本性权衡。本文提出一种基于编码载荷扩散的多比特 LLM 水印方案 WeaveMark，旨在同时改善上述多个指标。WeaveMark 通过逐词元多比特扩散提升了载荷容量；采用软判决纠错码提高了提取的鲁棒性；借助无偏多层重加权策略在嵌入水印的同时保持原有文本分布，从而维持文本质量。此外，方案还引入了专用的零比特层，用于可靠地判断文本中是否含有水印，避免干扰多比特解码。实验结果显示，WeaveMark 在长消息和编辑文本场景下性能提升显著。例如，对于 200 个 token 上嵌入 32 位消息的任务，WeaveMark 的匹配率达到 89.8%，而基线 BiMark 仅为 20.8%；在 10% 的词元替换攻击下，对于 200 个 token 上嵌入 16 位消息，WeaveMark 仍保持 86.0% 的准确率，远高于 BiMark 的 30.7%，同时不牺牲文本质量。作者已在 GitHub 公开代码。该研究为 LLM 输出可追溯提供了一种更可靠的技术方案，尤其适合需要高容量、高鲁棒水印的应用场景。

这篇论文研究长效 LLM 代理（Long-running LLM agents）中持久内存（persistent memory）的授权状态管理问题。持久内存用于跨交互保存状态，包括权限、限制和撤销记录。作者发现，当内存错误表达不断演变的授权状态时，代理自身的记录可能会授予其历史操作中从未认可的权限，从而导致行为失准，且无需任何外部攻击。他们把这种现象称为“内生授权清洗”（Endogenous Authorization Laundering）：写入内存的伪权限会随着来源（provenance）被冲刷而在下游被当作合法授权执行。为了系统化评估这一风险，他们引入了 EAL-Bench 基准，用于测量持久内存在多大程度上准确保留演变的授权状态，并验证是否错误会传播为下游未授权动作。在采购、网络安全和金融三类任务中，他们评估了 5 个 LLM 作为内存写入器、2 个作为执行器。结果显示：在增量内存更新下，写入器会对高达 50.2% 的未授权请求创建虚假权限；而一旦内存中存在虚假权限，执行器在 98.6% 的试验中都会采取相应行动。论文随后测试了两种防御机制：一是要求存储的权限必须由有效源事件（source events）支持，二是通过有界事件溯源（bounded event sourcing）跟踪权限变更。这两种方案都显著减少了授权清洗，但同时也会拒绝更多合法动作，暴露出安全性与效用之间的权衡。作者强调，持久内存不仅仅是一个性能组件，它实际上是 LLM 代理有效授权策略的一部分，必须将其纳入安全设计考量。本研究适合 LLM 应用安全研究者、代理系统开发者以及负责 AI 基础设施的安全工程师阅读，有助于理解长期运行代理的授权风险并设计相应的防护措施。

该研究针对基于大语言模型（LLM）的推理级联（inference cascades）系统，探讨其成本控制策略背后的可靠性代价。推理级联通常以廉价模型处理大多数查询，并将困难样本升级至前沿模型进行验证，以降低推理成本。自然的扩展是形成闭环：在验证器拒绝的样本上微调廉价学生模型，从而逐步降低升级率和总体成本。作者在真实LLM环境中对此闭环进行了系统性测量，揭示了四个关键发现。第一，验证器的盲点（即学生回答错误但验证器仍接受的比例）很大且表现出对抗性移动：随着学生模型能力增强（参数量从0.5B增至32B），盲点系数β从0.12升至0.55；而验证器能力越强，盲点越小。因此最糟糕的盲点出现在廉价学生与廉价验证器组合的区域，而这恰恰是级联架构旨在降低成本的场景。第二，通过更换更强的前沿验证器可将β降至约0.05，但该验证器对46%的高难度MATH查询触发升级（真实错误率仅为39%），意味着几乎一半流量需要承担前沿模型的高昂成本，成本优势被大幅侵蚀。第三，在验证器拒绝的尾部分布上采用朴素的纠正性微调，不仅未能改善小规模学生的表现，反而在所有教师模型（跨家族和同家族）下都导致性能下降乃至最终崩溃，说明在该规模下自改进闭环反而损害模型。第四，贯穿整个过程，级联自身仪表板（即通过验证器计算的所有指标）始终显示错误率约为3%，而实际交付的错误率可高达32%——系统因设计原因对自身的性能退化完全失明。论文进一步提出了解释这种失明的理论：一个两群体守恒定律 ε∞ ≲ q0β0，在该定律约束下，所有环路内指标都会改善，但真实质量却未见提升；合成实验验证了这一机制。研究结论指出，自改进级联的可靠性无法通过依赖自身验证器计算的任何指标来评估。

本文提出了一种名为“解释即水印”(Explanation as a Watermark) 的神经网络模型所有权验证方案，旨在解决深度学习模型被窃取或未经授权复用时的归属认定问题。传统模型水印方法通常直接修改模型参数或输出，可能会影响模型在正常任务上的性能，且容易被去除或篡改；本文则创新性地将水印信息嵌入到模型的特征归因解释 (Feature Attribution) 中，使模型在对待特定触发样本进行推理时，产生带有预设模式的解释结果，该模式即可编码多位水印信息。具体而言，作者设计了一种端到端的训练框架，在保持原任务精度基本不变的前提下，联合优化模型参数以同时满足任务损失和水印嵌入损失，使得只有持有密钥的验证方才能从解释中提取出完整水印。实验在多种图像分类数据集和不同模型架构上验证了该方法的有效性，表明其具有较好的保真性、鲁棒性和安全性，能够抵抗常见的后处理攻击（如微调、剪枝、水印去除等）。本文的主要贡献包括：提出首个利用解释本身作为水印载体的无损所有权验证机制；支持多位水印编码，信息容量高于传统二值水印；并给出了理论分析和系统实验评估。适合对模型知识产权保护、AI安全与可解释性交叉领域感兴趣的的研究者、AI模型提供方及安全审计人员阅读。

GhostSplat 针对前馈式 3D 高斯泼溅（Feed-forward 3D Gaussian Splatting, 3DGS）提出了一种输入触发的后门攻击方法。前馈式 3DGS 模型能够通过一次前向传播从稀疏图像中重建三维场景，其共享的预训练权重构成了供应链攻击面。已有的 Neural Radiance Field 和 3DGS 后门攻击大多只能修改单个场景，并在特定视角下激活，无法在共享生成器权重中植入持久行为。GhostSplat 首次实现了在共享权重中植入输入触发后门：向输入图像添加一种低振幅的特定图案，即可使被污染的生成器在未见过的受害者场景上渲染攻击者选择的载荷。该方法通过将载荷锚定到三维点并重新投影到每个目标视角，确保载荷的多视角一致性；同时利用生成器表征特有的一致性集合进行精确投影，使已生成的载荷在输出属于该集合时保持不变。训练框架在三种主流架构（MVSplat、pixelSplat、DepthSplat）和两个数据集（RealEstate10K、ACID）上均成功验证。最强的注入和删除设置分别达到 96% 和 100% 的攻击成功率，且未观测到误报，同时能够抵抗 JPEG 压缩、模糊和重采样等常见图像处理。该研究表明，仅依赖同一集合一致性投影的防御措施是不充分的，有效的缓解需要额外信息或超出该集合投影范围的干预。本文适合关注三维视觉模型安全性、供应链攻击和防御的研究人员阅读。

近年来，机器学习工件的安全性日益受到关注，特别是Pickle和PyTorch等格式可能嵌入恶意代码，静态安全扫描器（如ModelScan、ModelAudit和Fickling）被用于检测这些工件中的可执行或危险内容。然而，传统的评估指标（如F1分数）仅适用于扫描器给出可操作安全判断的样本，对于因各种原因（如格式异常、分析超时、不受支持的特征）而未能做出判断的样本，则被忽略，从而可能高估扫描器的实际效能。为此，本文提出了一个系统性评估框架，将扫描器的输出细分为非N/A覆盖率、分析完成率、确定性安全决策、非安全发现以及不支持的结果等五类，并据此衡量工具的性能。作者构建了一套受控且基于真实构件的基准测试，包含170个Pickle与PyTorch聚焦的合成工件，覆盖145个样本家族，其中135个家族具有二元的攻击性/良性ground truth标签，另有10个故意构造为畸形且不带标签。他们对该基准中的三个主流扫描器进行了全面比较。实验结果显示：ModelAudit在135个带标签家族上全部给出了确定性安全判断（覆盖率100%），Fickling覆盖了81.5%的家族，而ModelScan仅覆盖了49.6%。但有趣的是，在成功给出确定性判断的样本中，ModelScan的精确率、召回率和F1均达到了100%，说明其判断质量非常高，但可用性严重不足。此外，Fickling没有提供任何独有的真阳性家族，即它的有效发现完全被ModelAudit和ModelScan的组合所覆盖，工具级冗余较大。尤为关键的是，ModelScan未能完成分析的48个恶意家族中，ModelAudit和Fickling都产生了与事实一致的检测结果，证明了多工具联合使用的互补价值。本文的核心贡献在于：明确区分了判断准确性与判断可用性两个维度，并引入了增量检测覆盖率与工具冗余的概念，为AI模型安全扫描器的评测提供了更全面的方法论。对于安全防御者而言，该研究提醒我们，仅仅关注F1之类的单一指标是不够的，必须同时考量扫描器能对多大比例的样本给出可靠结论，并且应通过组合多个工具来弥补单一工具的覆盖率缺陷。该基准与评估框架可直接用于后续扫描工具的验证与选型，也适用于其他机器学习工件格式的安全检测场景。

该论文提出 SILK（Streaming Inline Lightweight Keying），用于解决 AI 系统中由根信任（RoT）保护模型加载后面临的 TOCTOU 完整性缺口。RoT 在加载阶段验证 DNN 模型，但权重在到达计算引擎前会经过 DRAM、DMA、互连、预取等路径，攻击者可能在这些路径上篡改权重而保持已验证的模型映像不变，导致实际计算权重与认证结果不一致。SILK 是一种原位完整性机制，在最终计算边界处对流式权重进行验证。其核心思路是将量化权重的低位（LSB）重用作带密钥的完整性位，并通过权重字节间的链式依赖，使局部篡改能触发多个完整性检查。轻量级流检查器无需额外认证标签即可重新计算这些校验，并使用提交门控（commit gating）阻止未验证权重进入计算单元。在安全伪随机函数下，伪造概率随受影响检查数量指数下降，实测误检率与理论界吻合。功能攻击测试中，SILK 能检测到所有针对权重流的篡改实例。在 INT8 配置下，评估的 CNN 质量损失最多 0.76 个百分点，八个 LLM 的困惑度变化不超过 0.17；INT4 和 MXFP4 则通过检查稀疏性提供可配置的安全-质量权衡。在 Xilinx ZCU102 上，参考流水线实现吞吐量达 756 MB/s，面积仅为 Caliptra 2.x RoT 的 1.00%；在保守的单次伪造界 2^-128 配置下，吞吐量仍有 678 MB/s，面积为 RoT 的 6.15%。论文面向 AI 硬件加速器、边缘设备等安全敏感场景，为关闭 RoT 保护与计算之间的信任鸿沟提供了轻量级、可扩展的硬件完整性方案。

该论文是一篇关于检索增强生成（RAG）安全与鲁棒性的系统性综述。RAG 通过引入外部知识库来增强大语言模型，能够提升事实性和减少幻觉，但与此同时，检索-生成流水线也引入了新的安全风险，例如语料库投毒（corpus poisoning）、后门攻击（backdoor attacks）、隐私泄露（privacy leakage）以及公平性破坏（fairness violations）。现有综述在攻击者目标、威胁模型和分阶段防御的覆盖上存在局限。为此，本文提出了一种统一的、面向流水线的 RAG 鲁棒性研究框架。作者首先对语料库、检索器和生成器分别形式化定义了威胁模型，并将攻击归纳为三大目标：准确性（accuracy）、隐私（privacy）和公平性（fairness）。随后，他们从流水线视角系统梳理了防御措施，覆盖检索（retrieval）、重排（rerank）、生成（generation）和追踪（traceback）等阶段。此外，文中还总结了用于评估和解释 RAG 鲁棒性的基准测试（benchmarks）与可解释性方法（explainability methods）。该综述的贡献在于提供了一个统一的、按流水线阶段和组织目标分类的攻击与防御全景，弥补了现有研究在系统性上的不足。适合关注大模型安全、RAG 应用防护以及可信 AI 的研究人员和工程师阅读。

本文研究了AI编程助手生成的基础设施即代码（IaC）中存在的安全问题。以往研究大多关注AI生成代码的功能正确性，但对其安全性关注不足。作者指出，如果基础设施代码存在安全缺陷，会直接传播到部署的系统，导致不可信的基础设施。论文评估了16个AI模型生成Ansible角色（用于Apache Tomcat v10和MongoDB v7）的情况，共分析278个角色，并与CIS基准进行了比对。结果发现，在没有安全指导的情况下，所有16个模型生成的代码都存在安全味道（security smells），导致基础设施易受攻击、无法通过合规验证，且整体性能不如人类开发者编写的代码。为此，作者提出了一种新方法：通过扩展CO-STAR框架，将Ansible最佳实践和CIS基准整合到提示词中，使AI在代码生成阶段就能预防安全味道，而非在部署后再检测。应用该方法后，16个模型中有4个能够生成合规代码，其中表现最好的模型达到了95%-100%的CIS合规率，相比人类开发者的23%-43%提升了四倍，同时整体代码质量提升了19%-49%。其余12个模型失败的原因并非无法生成代码，而是无法遵循包含多重约束的指令。对于能力足够的模型，该方法无需重新训练，只需通过系统提示词即可采用。

DIME 是一篇针对扩散模型成员推理攻击的研究论文。成员推理攻击旨在判断某个数据样本是否被包含在模型训练集中，这类攻击对数据隐私构成直接威胁。已有的扩散模型成员推理攻击大多依赖启发式策略，且需要较大的查询预算，实用性受限。DIME 从理论层面出发，提出了‘去噪器理想成员误差’（Denoiser Ideal Membership Error）框架，首先对有限训练集上的最优扩散去噪器进行了精确刻画，并由此揭示成员泄漏的核心机制来源于去噪器的隐式重构误差。该误差进一步被分解为两个互补信号：偏差项，用于捕捉重构精度；局部拥挤项，用于捕捉训练样本在特征空间中的几何邻近关系。这两项都能够仅通过模型查询进行高效估计，使得 DIME 在极低的查询成本下（最少仅需两次模型查询）即可实现有效的成员推理。作者在 CIFAR-10/100、STL10-U、CelebA 和 ImageNet 等多个图像数据集上开展了实验验证，结果显示 DIME 在 1% 假阳性率（FPR）条件下的真正率（TPR）相比现有攻击方法最高可提升 3 倍；尤其值得注意的是，其两查询变体能够超越需要 30 次查询的既有基线方法。此外，论文还提出了若干针对此类强成员推理攻击的防御思路并进行了评估。这篇文章的主要贡献在于给出了成员泄漏的严格理论解释，显著降低了攻击所需查询成本，并为扩散模型的隐私风险评估提供了新工具。适合关注生成模型隐私保护和安全评估的研究人员、AI 安全工程师以及负责数据合规的蓝队人员阅读。

本文针对人工智能安全研究中威胁模型与工业实践脱节的问题进行了系统性分析。作者指出，近年来学术研究关注的 AI 安全威胁往往不能反映实际部署场景，例如模型在真实环境中通常不是孤立运行的，而是作为更大机器学习流水线的一部分；同时，学术攻击所依赖的对抗扰动条件在实际中难以满足。为量化这一差距，作者回顾了 AI 安全研究中最常被研究的六类攻击（如对抗样本、数据投毒、模型窃取等）的威胁模型，并通过一项包含 271 名工业从业者的问卷调查，将这些威胁模型与实际的 AI 使用情况进行匹配。研究主要发现：第一，现有威胁模型均可在现实场景中找到对应实例，并非完全脱离实际；第二，研究设定与工业实践之间存在显著错配——学术研究常常赋予攻击者过多能力，例如假设攻击者能够访问到真实环境中很少能获取的信息或控制权限。通过揭示这些差距，本文呼吁 AI 安全社区应转向更贴近实际部署条件的威胁模型，以提升研究的实用性和可迁移性。该论文适合 AI 安全研究人员、工业界安全工程师以及制定 AI 安全标准的从业者阅读，有助于重新审视研究优先级，并推动更具现实意义的攻防研究。

本文提出了一种名为 DFL-C 的新型拜占庭鲁棒去中心化联邦学习（DFL）架构，旨在解决去中心化场景下全局模型一致性问题。传统的去中心化联邦学习允许各节点在没有中央服务器的情况下协同训练 AI 模型，但现有方案无法保证全局模型一致性，这在任务关键型协作场景中会导致决策不统一和安全隐患。此外，缺乏一致性还会放大拜占庭攻击者的威胁，攻击者可利用去中心化网络拓扑和弱同步性，对单个受害者实施双花（equivocation）和模型投毒攻击。DFL-C 的核心创新在于将异步公共子集（ACS）共识协议集成到 DFL 工作流中，确保所有节点聚合统一的模型更新集合，从而在存在个别拜占庭节点双花行为的情况下仍能建立全局模型一致性。同时，DFL-C 实现了双域信任评分机制，用于抵御数据域拜占庭操纵（包括模型投毒攻击），该机制与共识协议互补，显著降低了共识协议的整体运行时开销。实验结果表明，DFL-C 在应对拜占庭行为时能保持模型精度，并以适中的共识开销实现全局模型一致性。与当前不提供模型一致性的最先进 DFL 方案 BALANCE（Fang 等人）相比，DFL-C 在针对非定向模型投毒攻击时表现出更高的模型精度，在后门攻击下具有相当的鲁棒性，且这一优势在非独立同分布（non-IID）场景下更为明显。该研究适合关注分布式机器学习安全性、联邦学习鲁棒性、共识协议与 AI 系统融合的研究人员和工程师阅读。

自动语音识别（ASR）系统已广泛应用于智能助手、语音控制、电话客服、会议转写等场景，其安全性直接关系到用户隐私和设备控制权。已有研究表明，ASR系统容易受到对抗样本（Adversarial Examples, AEs）的攻击，通过引入精心设计的微小扰动，可以诱导识别系统输出攻击者指定的错误文本。然而，许多既有对抗样本在物理世界中可能具有可听性，容易被用户察觉，从而降低攻击的隐蔽性和实用性。针对这一局限，本论文（标题为“Inaudible Adversarial Perturbation: Manipulating the Recognition of User Speech in Real Time”）提出了一种不可听的对抗扰动方法，目标是在实时场景下操纵用户语音的识别结果。该扰动的核心特点是人类听觉上难以察觉，但能够被ASR系统感知并导致误识别。论文可能利用人耳听觉系统的掩蔽效应或超声波等机制来生成此类不可听扰动，但具体的生成算法和架构细节在摘要中未明确给出。研究的主要贡献在于揭示了一种更为隐蔽的ASR攻击途径，使攻击者可以在用户无感的情况下控制语音识别结果，从而对智能设备或语音交互系统构成切实威胁。本篇摘要仅包含一句关于ASR系统易受对抗样本攻击的陈述，未提供实验数据、技术细节或评估结果，因此所有内容仅基于标题和该抽象句进行合理归纳。该研究适合语音安全研究者、ASR系统开发者以及关注对抗机器学习的安全从业者阅读，有助于理解下一代语音攻击的潜在形态。

本文标题为'UBA-Inf: Unlearning Activated Backdoor Attack with Influence-Driven Camouflage'，提出了一种名为UBA-Inf的新型后门攻击方法。根据标题推测，该攻击利用机器学习中的'遗忘'（unlearning）机制作为激活后门的触发器，即当模型执行数据删除或遗忘操作时，预先埋藏的后门被激活，导致模型在正常推理时表现出恶意行为。同时，攻击者采用'影响力驱动'（influence-driven）的伪装策略，利用影响力函数等工具生成与正常样本难以区分的触发器，以绕过传统的后门检测。该研究将攻击与模型生命周期中的隐私合规环节绑定，尤其针对必须支持'被遗忘权'的场景（如 GDPR 等法规驱动的数据删除需求），揭示了机器遗忘功能可能引入新的安全攻击面。由于仅提供标题，具体的技术细节（如攻击流程、触发条件、实验设置）尚不明确，但该方向具有重要的学术价值和现实意义，可启发后续对模型遗忘安全性的深入研究。该论文适合AI安全研究员、模型部署工程师，以及关注隐私保护与合规的团队阅读，以便提前防范此类新型攻击。

本论文针对语言模型统计水印在语义保持变换下的鲁棒性问题展开理论分析。现有研究通常通过比较改写前后文本的语义相似度（即“端点”度量）来评估改写对水印的破坏程度，但作者指出这种端点度量是错误的统计量。受数学中纤维丛和和乐（holonomy）概念的启发，论文引入“语言循环”（linguistic loops）形式体系，将一次改写视为文本状态空间中的一条路径。通过证明，作者发现任意保持意义的变换链，其不变量可以规范地分解为两部分：一部分是端点相关的贡献，另一部分则来自初始状态稳定子群中的和乐，后者完全无法由语义相似度捕捉。这个和乐对应着嵌入空间中单位球面上的平行移动，从而使得与威尔逊环（Wilson loop）的类比成为一个严格定理。在检测器侧，论文推导出一个精确恒等式：残余的水印统计量正比于那些“播种窗口”完整未被破坏的位置数量，并由此得到衰减定律 ρ^(h+1) 作为独立编辑假设下的推论。该恒等式带来一个令人吃惊的结论，并已通过数值验证到小数点后三位：在相同保留率下，存活信号可能为原始值的一半、四分之一或完全归零，完全取决于编辑落在文本的哪些位置。因此，仅靠保留率无法预测水印存活性，必须考虑编辑的空间分布。该工作为理解语义改写对水印的影响提供了新的几何视角，并指出了设计更鲁棒水印时需要考虑的新维度。

该论文研究大型语言模型（LLM）和视觉语言模型（VLM）在实际部署中的一类新型安全风险。现代AI推理流水线通常包含提示包装器（如模板、后处理脚本）和配置元数据（如JSON/YAML文件），这些文本工件共同影响模型输出。尽管模型权重和二进制文件通常受到验证，但这些部署工件却缺乏保护，却直接控制运行时行为。论文展示，恶意开发者可以将看似正常的包装器与精心构造的元数据配对，在不修改模型权重、训练数据或推理后端的情况下，确定性改变生成后行为。作者通过一个受控的“合取门”实现来研究该攻击，其激活条件同时依赖嵌入的包装器标记和密码学绑定的元数据。该攻击在15个开源和闭源LLM/VLM部署上进行了评估，并测试了多种防御措施，包括静态元数据检查、包装器扫描器、PromptShield及基于SigStore的工件签名。为缓解此风险，作者提出TIF-BAH，一种轻量级中间件防御方案，用于在推理期间验证包装器完整性并记录行为证明。实验结果显示，包装器与元数据的交互构成了现代AI部署中一个保护不足的执行层，暴露出不依赖模型权重或提示级防御即可利用的部署期行为风险。该研究适合AI安全研究员、LLM应用安全工程师以及AI供应链安全团队阅读。

本报告由 IEEE PES 工作组撰写，聚焦大规模能源互联网（Energy Internet, EI）系统的安全性与弹性问题。EI 系统通过深度数字化将电力层、信息层和市场层紧密耦合，形成典型的网络-物理融合系统（CPS），其安全威胁面已从传统物理攻击扩展到网络攻击、数据篡改、供应链风险及 AI 模型对抗攻击等复合维度。报告首先刻画了 EI 面临的网络-物理威胁全景，系统梳理了现有检测、保障与缓解技术；随后提出能够刻画网络-物理相互依赖关系的建模、控制与决策框架，重点涵盖储能系统集成、多维弹性评估以及电价预测等关键场景。在人工智能应用方面，报告专门分析了 AI 在 EI 中的可信部署问题，包括对抗性攻击风险、模型鲁棒性与可解释性挑战，并探讨了基于图论的攻击弹性信息路由机制，以提升分布式通信网络在故障或攻击下的生存能力。最后，报告从研究、标准制定和监管政策三个层面给出了实现大规模 EI 系统安全与弹性的建议清单。整体上，该报告旨在为电力系统工程师、网络安全研究人员、标准化组织和政策制定者提供跨学科的技术参考，强调 EI 安全不能仅依赖单一防护手段，而需要融合网络与物理域信息的综合对策。

深度神经网络（DNN）在数据采集和训练过程中成本高昂，因此被视为模型创作者的知识产权。未经授权的使用、篡改或窃取可能引发法律纠纷。现有DNN水印方法大多嵌入不可见标记、依赖非直观的算法评估且缺乏人类可理解的属性，并依赖刚性阈值，在部分水印擦除的情况下容易失效。为此，本文提出ClearStamp，这是第一种专为直观人工评估设计的DNN水印方法。ClearStamp嵌入可见水印，使人类能够在不依赖严格数值阈值的情况下做出判断，同时仍支持技术辅助评估。其核心创新在于定义了一种转置模型架构，允许以反向方式使用模型，从而将水印与主任务深度交织在所有模型参数中。相比现有方法，ClearStamp产生的视觉水印易于人类理解，无需复杂验证算法或严格阈值。由于水印嵌入所有参数并与主任务强耦合，该方法表现出卓越的鲁棒性，能够抵抗部分参数修改或模型微调等对抗性操作。实验表明，ClearStamp的8,544比特水印容量可与目前最强的工作相媲美。更重要的是，它的有效性不依赖于特定模型或数据集，在四个数据集和七种网络架构上的全面研究证明了其通用性和对对抗性模型操纵的恢复力。该研究为DNN知识产权保护提供了新的可验证、人类友好的解决方案。

该论文针对电子健康记录（EHR）互操作性中的安全边界问题，提出了一套数学与工程架构。作者指出，传统系统、生成模型、术语服务、身份系统及人工审核者各自暴露丰富内部状态，而实际业务交换需要一种窄化的共享接口，以承载类型化声明、有限不确定性、来源信息以及明确的采纳或弃权判断。论文的核心概念是“logit 边界”：由发现模型（如大语言模型）提供预阈值评分，但由确定性的判定基板决定该提议是否可接受、需审查或应在任何 FHIR 事务构建之前被隔离。该框架“几何信念接口”融合了有限边界语义、局部 Dirichlet 证据、细胞层与映射锥诊断、顾问式几何审计图，以及去中心化加密层封存协议草图，以实现故障关闭部署。论文明确指出，该框架不建立临床真理或全局表示对齐，而是定义模型到系统边界上的可证书检查。作者还发布了冻结的合成基准 GBI BoundaryBench v0.1，用 Qwen3-4B-Instruct-2507 在 256 个保留任务上进行了三种证据模式共 768 次规范执行。结果显示所有执行均完成，但没有一个输出被基准契约接受：其中 369 次在安全解析阶段被拒绝，399 次在模式验证阶段被拒绝，覆盖率为零并全部确定性隔离。作者强调该实验结果刻意狭窄，仅针对一个 4B 开源模型与冻结接口，是作为准入边界的证据，而非关于 LLM 能力或临床安全的一般性结论。此外，论文附带 Julia 附录，使用标准库验证数值证书。适合安全架构师、AI 系统开发者及医疗信息化研究者阅读，用于理解如何在模型与业务系统之间构建可审计的防线。

HaloMark 论文提出了一种针对基础模型嵌入向量的水印方案，解决现有内容溯源机制（如 C2PA）无法直接应用于嵌入向量的问题。C2PA 标准通常与具有稳定位级或感知身份的资产绑定，但嵌入向量在量化、投影、微调和窗口平均等常规操作下会发生形态改变，任何固定哈希都会失效。HaloMark 将水印与 C2PA 清单进行密码学绑定，组合了四个标准原语：块对角正交旋转、公开白化、输入相关的 LSH 承诺和逐向量 nonce，并引入一个关键协议改动：生产者将 LSH 承诺 c 签名到 C2PA 边车中，验证者直接从清单读取 c 而非重新计算。重新计算在白化操作下不可靠（在余弦相似度为 0.96 时，62% 的输入会发生承诺桶翻转），而读取已签名的 c 将验证者分数简化为 T = T_null + beta(A)*epsilon，安全强度归结为单一标量 beta。作者对线性和非自适应攻击者给出了 beta 的严格界，并通过实验刻画了自适应情形。评估场景为攻击者拥有单个密钥下多项式数量的干净/水印配对，且完全可见边车信息，共测试八个基线和十个自适应攻击者（包括去噪自编码器移除）。实验发现十一个编码器在一个经验阈值 eff_rank(Sigma)/d ≈ 0.19 处产生明显分界：高于该阈值时，在完整扫描的三个编码器上，所有预算内攻击的检测 AUROC 保持在 0.98 以上；在其余编码器上，单种子 DAE 移除攻击下 AUROC 仍不低于 0.965；低于该阈值时，所有变体均失败。阈值为何与维度一致仍未解决。在实际部署中，作为 Qdrant 准入过滤器，验证器每次向量处理耗时 284 微秒，边车开销仅 24 字节，并已针对三个 C2PA 参考 SDK 绑定进行了端到端验证。

本文提出了一种名为 QURA 的新型后门攻击方法，其核心攻击面是深度学习模型的量化（quantization）过程。模型量化通常被用于在资源受限环境（如嵌入式设备、移动端）中部署模型，以降低存储和计算开销。然而，作者指出这一过程本身可能引入此前被忽视的安全风险。与传统后门攻击依赖训练数据投毒或模型训练阶段操纵不同，QURA 仅通过操控量化过程中的舍入（rounding）操作即可在模型中嵌入恶意行为。具体而言，QURA 首先设计了一种权重选择策略，从预训练模型中识别出对后门目标影响最大、同时尽量不损害模型整体性能的关键权重；随后，通过优化这些权重的舍入方向，在多个层内逐步放大后门效应，同时保持模型的正常精度。实验结果表明，在大多数场景下 QURA 的攻击成功率接近 100%，且模型性能下降可忽略不计。此外，作者还展示了 QURA 能够自适应地绕过现有的后门防御机制，凸显了其潜在威胁。该研究揭示了广泛使用的模型量化流程中存在的关键安全漏洞，强调了在部署量化模型时需要更强的安全防护措施。代码已在 GitHub 上开源。本文适合模型部署工程师、AI安全研究员以及关注供应链安全的蓝队人员阅读，以理解量化环节可能引入的新型攻击面。

本文系统研究了移动图形用户界面（GUI）智能体在任务执行中面对系统权限弹窗时的权限授予能力，将该能力定义为“权限素养”（Permission Literacy）。作者构建了一个基于任务相关性和隐私风险的四级权限框架，并通过三位独立专家对评估场景进行验证。研究将Android风格的权限弹窗注入真实GUI任务，使用同步注释的截图和UI树层级，让请求者、权限、理由和可用操作对智能体可见，对四个前沿多模态大语言模型进行了评估。实验发现：在相同的Calendar任务中，仅将请求者从Calendar改为PiMusic，授权次数从26/32骤降至0/32，揭示了一种强但受任务条件的“应用信任偏差”（App-Trust Bias）；而保持弹窗固定、改变任务上下文也会显著改变授权决策，表明存在系统的“任务优先覆盖”现象。进一步的干预实验显示，提示干预可以减少不必要的授予，但其有效性在不同模型间不一致，并且可能以抑制合法授权为代价。基于这些结果，文章提出将任务执行与权限授权分离是未来工作的一个有前景的设计方向。这项研究揭示了当前多模态模型在细粒度权限控制上的局限性和行为偏差，对构建安全可信的移动GUI智能体具有重要指导意义。

本论文提出 BadEncoder，这是首个针对自监督学习（Self-Supervised Learning, SSL）的后门攻击方法。自监督学习在计算机视觉中通过大量无标注图像或（图像，文本）对预训练一个图像编码器，该编码器随后可作为特征提取器，搭配少量或无标注数据构建各类下游分类器。BadEncoder 的核心攻击思路是：向一个干净的预训练图像编码器中注入后门，使得基于该被污染编码器构建的所有下游分类器都能同时继承后门行为——即当输入样本包含特定触发模式时，分类器会被诱导输出攻击者预设的错误标签，而在正常输入上仍保持原有性能。作者将攻击形式化为一个优化问题，并提出基于梯度下降的求解方法，仅需有限样本和少量计算即可从干净编码器变换为后门编码器，且不要求访问下游任务的训练数据或模型。实验在多个标准数据集上验证，攻击成功率很高，同时下游分类器在良性输入上的准确率几乎不受影响。作者进一步在真实世界中测试了两种公开编码器：Google 在 ImageNet 上预训练的图像编码器，以及 OpenAI 在 4 亿互联网图文对上预训练的 CLIP 图像编码器，均证明 BadEncoder 有效。防御方面，论文评估了 Neural Cleanse、MNTD 等经验防御以及 PatchGuard 这种可验证防御，结果显示这些现有防御措施均不足以抵御 BadEncoder，突显了开发新型防御方法的迫切需要。该工作揭示了自监督学习供应链中的安全风险，对 AI 安全社区具有重要警示意义。代码已开源。

本文提出了一种可解释的基于深度学习的Web攻击检测方法，核心目标是解决深度学习模型在Web攻击检测中‘黑盒’特性导致的不可信问题。现有基于深度学习的Web入侵检测系统虽然具有较高的检测准确率，但无法向安全分析人员解释为何将某条请求判定为攻击，这使得安全运营人员难以验证告警真实性、定位攻击特征并进行快速响应。为此，作者提出通过恶意载荷定位（Malicious Payload Localization）的方式，在给出检测结果的同时，明确指出请求中具体哪一部分字符或Token构成了攻击载荷，从而将模型决策过程转化为可读的、可验证的定位结果。研究中，作者设计了一种能够同时完成检测和定位的神经网络架构，利用注意力机制或多实例学习等方式，将分类概率映射到输入序列的局部片段，并通过约束训练让模型学习对恶意关键词或异常结构产生稀疏且集中的注意力，从而输出高分辨率的恶意载荷片段。在公开的Web攻击数据集（如CSIC 2010、CICIDS等）以及真实流量样例上，作者进行了大量实验，结果表明该方法在保持与现有深度检测模型相当甚至更优的检测性能（准确率、召回率、F1值）的前提下，能够较为精准地定位出恶意载荷的起止位置，且定位结果与人工标注的攻击特征具有较高重合度。此外，文章还探讨了该定位能力对模型鲁棒性的影响，发现引入定位任务有助于减少误报，并提升对未知攻击变体的泛化能力。本文适合从事Web安全检测、AI可解释性研究以及安全运营平台开发的工程师和研究人员阅读，其提供的可解释输出机制可直接嵌入现有WAF或NDR系统中，帮助蓝队更快完成告警研判和攻击溯源。

该论文提出 CryptoProver，一个基于人工智能的系统，用于自动合成密码学库的内部规范，并生成经过 Verus 验证的证明。研究背景是：密码学代码是关键基础设施，必须正确无误，但现有形式化验证生产库仍然困难。已有的基于语言模型的证明系统只能解决给定规范和前提的孤立义务，无法完成整个生产库的验证。CryptoProver 从高级 API 契约出发，在不改变可执行代码的前提下，自动合成内部规范（internal specifications）和 Verus 检查过的证明。实验证明，CryptoProver 成功对 curve25519-dalek 构造了一个新的独立证明，并针对 RFC 8439 规范验证了 RustCrypto 中此前未经验证的 chacha20 实现。这些密码学库被部署在 Signal 和 Shadowsocks 等系统中，其中 Signal 的全球下载量估计为 2.18 亿次。作为对照，由人类主导的 curve25519-dalek 独立验证历时八个月，由五位主要贡献者公开开发。在给定 API 契约和固定的可信库（包含域规范、算术事实、公理和 vstd）后，CryptoProver 在 11.4 小时内合成了内部规范和证明，记录的 API 成本为 466.99 美元。CryptoProver 遵循信任优先的设计原则：机械门（mechanical gates）拒绝削弱规范、虚构公理和跨模块破坏，而隔离机制阻止参考证明的检索（包括从 git 历史中检索）。该工作展示了 AI 在自动化密码学代码形式化验证方面的潜力，有望降低人工验证成本并提高验证覆盖率。适合对形式化验证、AI 辅助代码分析以及密码学库安全保证感兴趣的从业者阅读。

本文首次对互联网上暴露的 Model Context Protocol (MCP) 服务器进行大规模动态安全评估。MCP 自 2024 年 11 月发布以来迅速普及，公共互联网上可检测到超过 21,000 个服务器实例。作者结合被动发现与主动动态测试：被动发现覆盖 crt.sh、HuggingFace、GitHub、npm、Smithery、PyPI、Censys、FOFA、Shodan、glama.ai 和 pulsemcp.com 共 11 个数据源；主动测试使用自研框架 Corvus，包含 34 个测试模块，覆盖 10 类 MCP 特有漏洞。在 2026 年 7 月进行的四轮测量中，确认了 640 个生产 MCP 服务器，并对其中的 414 个进行了动态审计，发现 68 个可报告漏洞，涉及 SQL 注入、针对云元数据服务的 SSRF、提示词模板注入以及通过游标操作实现的路径遍历。审计发现 91.8% 的服务器未启用 OAuth 认证，687 个工具实例暴露 shell 执行能力且无访问控制，41.6% 的确认服务器在连续测量间隔三天内消失，表明快速部署且缺乏安全审查。作者还介绍了负责任披露流程，并将 Corvus 作为开源框架发布，用于 MCP 安全评估。该研究填补了 MCP 安全动态评估的空白，对理解 AI 代理基础设施的暴露面有重要价值。

本论文针对黑盒语言模型训练数据泄露问题，提出了基于概率视角的成员推断（MIA）审计方法，并批判了传统聚合指标（如ROC-AUC）的误导性。作者首先指出，现有的MIA评估常被无模型盲基线混淆，这类基线仅通过表面文本特征就能较好区分成员与非成员，从而高估了模型实际泄露。通过将采样视为对输出分布的估计，并利用其泛函定义泄露信号，论文在WikiMIA和IID Pile分割上验证了盲基线的强大（WikiMIA上盲词袋分类器AUC达0.97，且采样不增加收益），同时揭示采样在逐文档提取中能发现真实危害。在Pythia系列模型上，实验表明：500个Pile文档中16.6%的文档携带的真实标识符（如邮箱）可被精确提取，并通过错配前缀对照证明泄漏归因于特定文档；泄漏比例随模型容量从410M的5.6%增至6.9B的16.6%。风险分布不均：代码域中标识符泄露强度约为散文域的3倍，且散文域仍有明显正向信号（4.0%到12.1%）；任意保留连续文本的恢复仅显著出现在代码域。温度与核采样影响甚微，16个token前缀即足够，语料去重也未显著降低泄露。论文的核心贡献是发布leakit——一个黑盒提取审计工具，并主张隐私审计应报告按领域分解的逐文档提取率，而非单一聚合AUC。该研究为LLM隐私评估提供了更精确的方法论，适合模型部署方、安全审计人员及AI治理研究者阅读。

该论文研究了大语言模型（LLM）的来源追踪（provenance testing）问题，即判断一个待检模型是否与某个源模型属于同一训练或开发谱系。现有黑盒方法大多依赖于模型输出文本的表面特征，但这些特征在模型经过微调、适配或部署环境变化时容易发生漂移，即使模型的语义理解并未改变，导致来源判定的可靠性下降。为了克服这一局限，作者提出将模型对开放型问题的输出映射到有限且离散的决策空间，从而抽象掉表面形式的变化，将来源测试转化为对“诱导决策区域”（induced decision regions）继承性的度量。基于这一思路，论文提出了Stemma，一种实用的黑盒LLM指纹识别方法。Stemma将稳定性、鲁棒性和特异性作为互补的探针选择原则，以可靠地估计决策区域的继承程度。实验环节中，作者使用56个公开检查点构建了770对源-嫌疑模型对，覆盖多种模型权重变换，Stemma取得了0.967的AUC，以及1%假阳性率下87.8%的真阳性率，显著优于四种代表性基线。此外，在覆盖91个部署实例的1260对模型上，Stemma达到了0.995的AUC和1%假阳性率下93.5%的真阳性率，证明了其对多样化推理时部署设置的鲁棒性。该研究的主要贡献包括：提出决策区域继承作为LLM来源信号、设计三种互补的探针选择原则、构建大规模评测基准，并验证了方法在不同变换和部署条件下的有效性。适合AI安全研究者、模型治理与审计人员阅读。

该论文针对人工智能（AI）系统中因复杂性、快速演化及动态数据管道所引入的新型工程负债——AI技术债务（AITD）进行了系统性综述。研究基于AI信任、风险与安全管理（AI TRiSM）原则，将技术债务重新解释为与可信性相关的维度，聚焦于AI安全与安全技术债务。作者系统回顾了60篇主要研究，识别出31种不同类型的AITD，并构建了包含7个类别的根本原因分类法。分析进一步展示了这些债务如何映射到18个信任相关关注点，包括6个安全危害和12个安全漏洞。为支持缓解，论文综合了34条可操作指南（8条安全、26条安全），覆盖AI生命周期的预防、检测和减少策略。在此基础上，提出了AITD-MAP集成框架，将AITD分类、质量与风险影响及缓解策略统一为风险感知AI工程的结构化结构。该框架旨在帮助AI软件工程师使安全与安全技术债务可见，理解其根本原因并减轻其影响。论文主要贡献在于提供了全面的AITD分类法、可操作指南以及实用的集成框架，适用于AI系统开发者、安全工程师和研究人员。

本文针对AI系统在安全、金融、医疗等领域广泛部署后所面临的模型逃逸攻击问题，指出传统基于攻击者知识（白盒、灰盒、黑盒）的分类方法忽视了不同部署接口实际暴露信息信号（如仅输出最终决策、置信分数、中间表示或完整参数）对攻击能力的影响。作者提出了基于信号驱动的模型访问风险分类框架（SMART），该框架以部署场景为导向，根据AI系统返回信息信号的类型与丰富程度（从有限到充分）对攻击者访问级别进行精细化划分。在此框架下，文章系统梳理了从最低信息暴露（仅观察硬分类输出）到最高暴露（完全白盒）各层级上逃逸攻击的策略演变，分析了各层级下攻击者所能实现的能力边界（如扰动幅度、成功率、迁移性等）。该工作旨在帮助安全工程师、AI系统采购方和运营方理解不同部署配置所引入的实际风险，从而做出更安全的模型部署与第三方模型采购决策。本文属于概念性研究论文，尚未提供具体攻击实验或检测方法验证。

该论文重新思考了人工智能（AI）系统的渗透测试方法。传统的渗透测试主要评估攻击者是否能够利用软件、基础设施、配置或操作控制中的弱点实现安全相关的资源妥协（如获取数据、控制权限）。然而，在AI赋能系统中，攻击者可能通过影响提示词（prompt）、检索内容、传感器输入、训练数据、记忆、工具或人机交互循环来改变系统行为，而无需直接破坏底层基础设施。例如，提示注入、间接提示注入、数据投毒、传感器操纵、检索投毒、工具滥用以及智能体对齐失败等攻击路径，都是通过行为影响而非资源破坏来达成目标。因此，论文提出将AI系统的渗透测试重新定义为“目标驱动的行为评估”。作者明确定义了AI赋能系统（其学习模型实质上影响实现运营目标的行为）和AI渗透（在明确威胁模型下，诱导AI主导行为违反一个或多个运营目标的可行方式）。该定义保留了传统渗透测试，但扩展到了对抗性路径。论文进一步提出了一个测试工作流：识别运营目标、映射AI主导行为、分析对抗性影响面、定义行为失败标准、执行基于场景的测试、报告将对抗性行为与目标违反联系起来的证据。通过一个AI赋能安全运营中心助手的实例，展示了渗透如何通过行为影响而非基础设施破坏发生。该工作流和定义构成了一个技术框架，用于评估已部署AI系统中的对抗性成功。

该研究通过大规模问卷调查（N=4100）和定性访谈（N=12），评估了美国成年人面对AI驱动的语音钓鱼攻击的脆弱性。研究人员利用先进的语音模型（包括Llama Full Duplex、Sesame、Gemini、OAI AVM、Play.AI和ElevenLabs）生成了五种典型钓鱼场景的音频或文字记录（如亲人求救、银行诈骗等），并与人类诈骗者的基线表现进行对比。结果显示，在“亲人困境”类别中，高达36%的参与者表示可能或肯定会遵从诈骗要求；总体遵从率为16.5%。通话说服力是预测遵从的最强因子，其中Sesame模型的表现甚至略超人类。经济分析表明，尽管人工语音钓鱼在美国薪资水平下无利可图，但AI驱动的语音钓鱼对多种模型已具备经济可行性。论文指出，当前AI语音钓鱼的主要风险源于自动化的经济学优势，而非全新或超人的说服技巧，但对未来的系统不能排除这种可能性。该研究为AI系统设计、消费者保护和模型发布政策提出了重要警示。

该论文关注基于LLM的多智能体系统（MAS）面临的安全挑战。现有防御方法通常假设攻击在语义上显式可识别，并依赖显式的图结构建模MAS拓扑和Agent间交互。然而，实际攻击越来越隐蔽，且MAS执行通常是异步的，不满足图传播模型所需的时间对齐。为此，作者提出AcMAS，一种基于激活空间的恶意行为检测框架。AcMAS通过分析本地Agent内部推理状态的激活空间，无需依赖显式交互图，即可同步鲁棒地检测隐蔽攻击。此外，激活分析能指导AcMAS恢复受损Agent的功能，而非简单地隔离。实验表明，AcMAS在同步设置下F1达0.94（优于基线0.72），在异步设置下F1达0.93（优于基线0.38），且能泛化到不同的开源LLM骨干、攻击强度和MAS规模。该工作为MAS安全性提供了新视角，适合AI安全研究人员、SOC分析师及系统设计者阅读。

该论文提出了一种名为AutoDA的自动化决策型迭代对抗攻击方法。决策型攻击是黑盒对抗攻击的一种重要形式，攻击者只能通过模型的最终决策标签（如分类结果）来生成对抗样本，而无法访问模型内部结构或置信度分数。传统决策型攻击需要手工设计攻击算法，如迭代更新扰动方向，但手工设计耗时且难以达到最优。AutoDA将攻击算法设计自动化，利用强化学习或进化策略等方法自动搜索最优的迭代更新策略。具体地，AutoDA定义了一个搜索空间，包括步长、梯度估计方法、方向更新规则等组件，然后通过采样和优化来寻找性能最佳的攻击策略。在多个标准数据集（如ImageNet）和多种模型（如ResNet、DenseNet）上的实验表明，AutoDA自动发现的攻击策略在攻击成功率和查询效率上均优于现有手工设计的决策型攻击方法。该工作为对抗攻击领域提供了新的自动化视角，有助于更全面地评估模型的鲁棒性。

本论文提出了一个名为 AI-Infra-Guard 的开源框架，旨在解决 AI 智能体（Agent）安全评估中缺乏统一工具的问题。随着开源 AI 基础设施（如模型服务引擎、智能体平台、模型上下文协议 MCP 生态以及语言模型本身）的快速发展，现有的安全防护工具已无法跟上。论文核心观察是，AI 智能体的攻击面跨越多个层次：基础设施层、协议/工具层、智能体行为层和模型层，没有任何单一检测范式能覆盖所有层面。因此，框架为每个层次匹配专门的检测范式：基础设施层采用确定性规则匹配，覆盖 75 多个 AI 组件和 1400 多条漏洞规则；协议/工具层利用 LLM 驱动的智能体审计，对 MCP 服务器和智能体技能包进行审查；智能体行为层实施多轮黑盒红队测试；模型层则包含一个越狱测试工具包，支持 26 多种攻击操作和 16 个数据集。根据作者所知，该框架是唯一一个覆盖所有上述层面的开源方案，包括对日益扩展的智能体技能进行供应链审计。实验验证了该框架在不同场景下的有效性。论文主要贡献在于提出“层-范式匹配”的理念，为智能体安全提供了实用基础，并开源了代码供社区使用和扩展。适合 AI 安全研究人员、红队工程师和智能体平台开发人员阅读。

本文针对生成式AI在网络安全领域带来的威胁，特别关注大型语言模型（LLM）被用于生成PowerShell恶意代码的攻击事件。作者提出了一个评估LLM生成PowerShell恶意软件的实验框架，包括一种新型动态分析沙箱，用于分析AI生成的恶意软件行为。此外，他们构建了一个手动整理的、带有自然语言注释的真实世界PowerShell恶意软件数据集，以辅助LLM的训练和评估。研究评估了多种宽松许可的开源LLM在生成PowerShell恶意软件方面的能力。结果显示，在触发的操作系统恶意事件方面，真实恶意软件与LLM生成的恶意软件之间具有高度相似性，中位Jaccard指数达到84.5%，48.4%的实例实现了完全重叠。该研究揭示了当前LLM在恶意代码生成方面的潜在风险，并为防御方提供了评估和检测AI生成恶意脚本的方法框架。

本文首次系统地分析了托管在主流预训练模型平台（如Hugging Face）上的AI应用（AI-Apps）的安全风险。AI-Apps通过在线推理和微调服务降低了AI采用门槛，但由于开发者不可信、隔离措施薄弱和安全配置错误，引入了新的攻击面。研究将AI-Apps生命周期映射到已知风险分类（如OWASP），识别出五大威胁类别和十个攻击向量，涵盖通用Web漏洞到高影响力的架构问题。关键发现包括访问控制失效、资源重用不安全、输入验证不足及敏感数据泄露。特别地，揭示了三种平台设计固有的新型架构漏洞，并展示了传统问题（如全局可读日志）在此生态中被独特放大。为了评估实际影响，团队开发了分析框架Insightor，并应用于超过97万个公开AI-Apps。结果显示，数千个应用泄露凭证，数百个存在输入注入漏洞可导致任意代码执行，数十个嵌入了后门，表明已在野利用。所有发现已负责任地披露给相关平台和开发者。

本文针对黑盒成员推理攻击（MIAs）中存在的查询效率问题，提出了一种预查询样本选择框架PSS-MIA。传统的黑盒MIAs对所有候选样本不加区分地进行查询，导致大量查询成本浪费在信息量低的样本上，且增加了查询暴露风险。作者首先定义了问题：哪些候选样本值得查询？PSS-MIA分为两个阶段：第一阶段使用提出的Loss-Gap Ranking（LGR）方法，通过参考模型计算候选样本的损失差（loss gap），估计其成员信号强度，据此对样本排序并筛选出子集；第二阶段仅对选中的样本进行目标模型查询，并将返回结果用于任意现有的黑盒MIA方法。在CIFAR-10、CIFAR-100和CINIC-10数据集上，结合五种代表性黑盒MIA方法（如LiRA、RMIA等）的实验表明，PSS-MIA在保持或提升推理精度的同时，显著降低了查询预算：在0.1%假阳性率（FPR）约束下，分别节省至少83.1%、60.6%和80.4%的查询次数。研究贡献在于提出了一个通用、即插即用的样本选择框架，揭示了样本非均匀成员信号特性，并提供了理论上的排序依据。适合关注机器学习隐私攻击与防御的研究人员、模型发布者以及AI审计团队阅读。

本文提出了一种针对扩散模型（Diffusion Models）的新型后门攻击框架TEMPO-Diffusion。传统的基于噪声的后门攻击通常依赖于在推理时注入触发器、非目标激活以及生成分布外目标，这些假设降低了攻击的隐蔽性和实际相关性。TEMPO-Diffusion将恶意分布偏移限制在时间上的同分布暴露中，使得后门更加隐蔽。该框架支持：(i) 针对特定类别的攻击（攻击特定类别并生成特定类别结果）；(ii) 多子图像后门，即在多个不同输出图像和多个位置重建特定特征；(iii) 利用时间条件触发器的图像修复（in-painting）。为了研究使用带后门的扩散模型生成合成训练数据相关的实际安全问题，作者还引入了CALISA数据集：一个平衡的、区域感知的交通标志数据集，重点涵盖加拿大和美国的道路标志。在CIFAR10、GTSRB和CALISA上的实验表明，TEMPO-Diffusion能够可靠地污染特定类别的合成数据生成，并在使用该数据训练的下游分类器中实现高攻击成功率。本文的研究揭示了扩散模型在合成数据生成场景下可能被植入持续性后门的风险，对AI安全社区具有警示意义。

本文是一篇关于人工智能安全代码生成（AI Secure Code Generation）的系统化知识综述（SoK）。随着AI系统越来越多地用于代码生成，如何确保其生成代码的安全性成为核心问题。现有研究尝试了提示工程、微调、强化学习以及基于agent的工作流等方法来提升安全性，但缺乏对这些技术系统性的理解。作者提出了一个三级评估框架：第一级衡量模型对安全编码原则的自然语言理解能力；第二级评估模型在代码生成时实际应用这些原则的能力；第三级分析知识-执行之间的差距。该框架被实例化于多种模型和编码agent上，评测基准涵盖孤立的功能级安全（如函数漏洞）和完整的Web应用安全场景。实验结果表明，对安全编码原则的理解是代码级安全结果的显著预测因素，包括功能性正确性、安全性以及两者的联合正确性。然而，模型仍然存在严重的知识-执行差距：它们能够识别相关的安全原则，但未能成功转化为安全且功能正确的代码。这些发现以原则为中心的视角揭示了AI安全代码生成的当前进展、主要陷阱，并指出了未来方向，包括原则引导生成、针对性评估、基准设计以及agent工作流的改进。本文适合安全研究人员、AI开发者以及关注代码安全的从业者阅读。

该论文系统性地挑战了现代AI与云基础设施中普遍存在的隔离假设。作者通过构建一个从物理内存共置到远程服务接口的交互级别分类法，来解构AI安全假设。尽管已有大量研究关注孤立的攻击面，但安全社区缺乏一个统一的框架来理解物理、架构和算法漏洞如何在整个AI堆栈中显现。本文填补了这一空白，通过演示利用每一抽象层假设的实际攻击，展示了跨层攻击的可行性。论文涵盖了从GPU内存侧信道攻击到LLM提示注入等多种攻击场景，并提出了一个统一的分析框架，以帮助研究人员和从业者系统性地评估AI系统的安全性。该工作对于理解现代AI基础设施的复合风险具有重要意义，适合云安全、AI安全领域的研究人员和工程师阅读。

该论文对神经符号AI（NeSy）的安全、安保与认知风险进行了系统性研究。神经符号AI融合了神经感知与符号推理，适用于需要可解释性和结构化推理的高风险领域（如医疗诊断、自动驾驶）。然而，这种混合架构引入了扩大的攻击面，涵盖五个层次：神经感知层、符号知识库层、推理引擎层、智能体编排层和数据存储层，每个层次都存在纯神经系统中不存在的可利用漏洞。论文做出了六项贡献：(1) 形式化定义了NeSy攻击面、符号完整性违背（SIV）和跨层放大比X，并将其分解为神经引起的和自主符号敏感性两部分；(2) 提出了统一威胁模型，扩展了MITRE ATLAS，增加了11个NeSy特有的策略扩展和五类攻击者画像；(3) 构建了符号层威胁目录，涵盖知识图谱投毒、本体合并攻击和推理引擎颠覆；(4) 分析了认知风险——自动化偏差、权威偏差和谄媚强化——这些风险因NeSy的显式逻辑解释相对于黑箱神经输出而被结构性放大；(5) 提出了跨学科缓解措施，并给出了与NIST AI 600-1和欧盟AI法案一致的可衡量验收标准；(6) 进行了三项实证基准测试：(E1) 在包含205个实体的医学知识图谱上，针对性知识图谱投毒在注入预算B=5时达到SIV盈亏平衡点，存在隐蔽性与SIV之间的权衡；(E2) 在DistilBERT+ProbLog流水线上，PGD-10在ε=0.01时产生X=5.884（95%置信区间[4.64, 8.00], p<0.0001），并通过匹配随机基线（E^R_rand=0）确认为对抗性特定；(E3) 单公理OWL编辑实现93.3%的SIV成功率，且100%保持Pellet一致性隐蔽，但基于STIX的检测在50%水平（随机猜测）失败，这是一个开放问题。该研究为NeSy系统的安全分析提供了理论基础和实验基准，适合AI安全研究员、系统设计者和监管机构阅读。

该论文关注AI驱动系统进化中隐藏的弱点问题。近年来，计算机系统社区对AI驱动的系统进化兴趣日益增长，即利用AI智能体迭代地重写系统代码。例如AdaEvolve和Engram等框架声称相比于人工设计算法可获得12-60%的分数提升。然而，这些AI进化程序可能在未见过的负载上表现更差，或出现可扩展性退化，这引发了实际担忧。鉴于AI生成代码的速度和规模，需要自动化机制来发现此类隐藏弱点。为此，作者提出AIChilles系统，它以基线程序P和AI进化程序P'为输入，自动搜索有效的负载，使得P'在正确性、运行时间、内存使用或输出质量方面相对于P发生退化。为应对系统应用的多样性、弱点类型和潜在错误，AIChilles结合了确定性工作负载参数提取、基于智能体的约束推断、差分预言机以及代码频率覆盖等技术，以发现多样化的故障。在5个系统应用和30个AI进化程序上的实验表明，AIChilles共发现了49个不同的隐藏弱点。此外，将AIChilles显式纳入AI驱动的开发周期可以有效缓解其中的若干弱点。该工作展示了自动化评估和提升AI生成代码鲁棒性的重要方向。

本文针对人工智能模型水印（model watermarking）面临的核心挑战——模型提取攻击（model extraction attack），提出了一种基于排练（rehearsal）的水印嵌入框架，以增强水印鲁棒性。模型水印通过嵌入独特知识使模型产生特有行为特征来保护知识产权，但攻击者可利用模型预测输出训练替代模型（surrogate model）非法复制原模型功能。现有水印通常在面对模型提取攻击时容易失效。本文方法通过模拟提取过程，使用一个模拟被盗模型（simulated stolen model）在触发集（trigger set）上的损失作为训练信号，对目标模型中的水印知识进行微调。该过程鼓励水印以提升可迁移性（transferability）的方式嵌入，从而增加水印在盗用模型中持续存在且可被检测的机会。在多种设置下的综合实验表明，所提方法显著提升了水印在对抗模型提取攻击及后续水印移除攻击（watermark removal attack）时的鲁棒性。本研究适用于AI安全领域研究人员及模型开发者，为模型版权保护提供了新思路。

该论文针对大型语言模型（LLM）面临的后门攻击威胁，提出了一种基于共享内部机制的未知后门移除方法。后门攻击会使模型在干净输入下表现正常，但遇到特定触发器时输出攻击者指定的有害内容。由于防御者通常不了解后门类型或内部机制，移除未知后门极具挑战性。论文首先通过实验证明，不同后门在同一攻击目标下会引发相似的激活模式变化。基于这一发现，作者设计了一种简单而有效的防御策略：主动向模型中植入一个已知触发器的虚拟后门（dummy backdoor），然后通过与干净响应配对的虚拟触发器输入进行微调来移除该虚拟后门。由于虚拟后门与未知后门共享内部机制，移除虚拟后门的同时也会削弱未知后门的效果。论文在三个模型家族上针对三种后门攻击类型进行了评估，结果表明该方法显著降低了未知后门的攻击成功率，同时保持了模型实用性，在防御有效性和效用保留方面均优于现有代表性防御方法。该方法为LLM后门防御提供了新思路，利用防御者可控的后门作为代理来缓解未知后门威胁。

该论文研究AI加速漏洞发现对互联系统安全的影响，提出一个结合排队论与网络理论的模型。模型将企业环境表示为加权依赖图，包含漏洞池动态补充、有限修复容量、分类降级、利用窗口压缩以及动态传播机制。通过数学推导给出了漏洞积压的稳定性条件，并建立了积压量与级联风险之间的动态耦合关系。仿真实验表明，当可操作的漏洞发现速率超过修复吞吐量时，积压会迅速增长，系统性风险非线性上升。在枢纽节点主导的拓扑中，网络分段比单纯提升修复速度更能有效减少传播性危害，而最佳防御策略是结合修复自动化与降低网络耦合。论文贡献在于理论化地分析了AI加速漏洞发现对修复管道的冲击，并提出了量化评估与防御策略的框架。适合安全研究员、风险管理工程师以及负责漏洞管理与网络架构的团队阅读。

本文针对未来可能达成的国际人工智能协议，提出了一种用于AI数据中心验证的基础架构方法。核心目标是确保所有进出AI集群的数据均被加密承诺，使得秘密窃取未公开工作负载的结果变得不可行。方法是在集群与外部世界之间的所有信息承载线路上部署网络分接头（passive optical fibre splitters），计算所有数据的哈希值。审计员可以事后挑战哈希对应的原像数据，并将其发送至隐私保护的验证设施进行合规检查。为了解决事后哈希验证无法处理的隐蔽信道问题，论文设计了一种“安全网关设备”（Secure Gateway Device），其架构消除了对验证者和被验证者双方均信任的处理器的依赖，利用被动光纤分路器和抛币协议（coin-flip protocols）生成随机数。该设备负责消除模拟侧信道、时序侧信道以及网络协议头中的隐写术等隐蔽信道。论文评估了开发成本，预计演示设备的开发成本相当于一个小型工程师团队数月的工作量，物料清单相对较小。该研究为AI数据中心的透明度和可信验证提供了新思路，适合关注AI治理、安全基础设施和隐私保护的研究者和工程师阅读。

本文是一篇关于6G赋能信息物理系统（CPS）安全的综述论文。6G网络将连接数十亿CPS设备（如自动驾驶汽车、智能电网、工业机器人和远程手术设备），这些设备运行在超可靠低延迟切片上，使得远程入侵与物理伤害之间的时间差缩短至毫秒级，传统边界防火墙和集中式安全运营中心无法满足需求。论文将6G CPS安全重新定义为一种闭环、AI原生流水线，在MEC层进行感知，利用分钟级的呼叫详细记录（CDR）进行基线学习，以及亚毫秒级的RAN/O-RAN遥测数据用于延迟关键路径；通过压缩深度模型在本地决策，通过SDN、NFV和O-RAN控制器实现网络范围的缓解，并通过联邦学习（FL）和数字孪生（DT）回放进行重训练。论文形式化定义了每个切片在感知、检测和缓解阶段的有界延迟契约，并在切片相关的尾部百分位数（对安全关键的URLLC切片为p99）上强制执行。系统性地整理了128篇同行评审研究（2017-2026），遵循PRISMA 2020协议，主要贡献包括：(i) 将6G/CPS威胁面映射到MITRE ATT&CK和CDR可观测特征空间；(ii) 统一了跨12个数据集以及统计、图和Transformer模型的边缘异常检测和DDoS分类；(iii) 将SDN/NFV/O-RAN原语综合成一个闭环参考架构；(iv) 将FL、大语言模型（LLM）、DT、后量子密码（PQC）、零信任架构（ZTA）和可解释AI视为跨领域使能因素而非独立支柱；(v) 将开放问题归纳为数据、延迟、信任、标准化和评估五个方向。适合安全架构师、网络运营商及6G安全研究人员阅读。

该论文研究了AI推理验证中的关键问题：在GPU浮点运算的非确定性环境下，如何实现比特精确的推理结果验证，而无需牺牲性能。现有方法依赖近似匹配，这可能被隐蔽对手利用未验证的自由度进行攻击，如通过隐写术、未报告的软件修改或隐藏的批处理元素执行恶意计算。作者分析了现代推理引擎（如vLLM、Hugging Face Transformers）在未设置确定性标志的情况下，通过提供正确的重计算所需信息且后端不调用原子函数，实际输出具有确定性但非不变性。他们提出一种仅通过软件仿真的方法，在多种NVIDIA GPU变体上实现了大语言模型推理的逐位精确重计算，无需相同硬件。实验表明，累积舍入误差可作为推理所用软件和硬件设置的审计签名，而非验证性的约束。该方法为AI治理中的隐蔽恶意行为检测提供了新途径，尤其适用于验证模型推理的完整性和一致性。

论文《AdvScene: Rethinking Adversarial Patch Evaluation Through Scene Robustness》重新审视了对抗补丁（adversarial patch）的评估方法。对抗补丁是附着在真实物体上的物理图案，旨在误导AI视觉系统（如目标检测器）。现有评估主要基于固定图像基准或可控仿真器，但前者缺乏场景多样性，后者无法反映真实场景的复杂性。作者提出“场景鲁棒性”（scene robustness）概念，指补丁部署后在真实环境中随视角、距离和场景条件变化仍保持有效的能力。为此，他们设计了AdvScene框架，一种基于场景重建的评估方法。核心挑战在于：攻击通常仅在单一锚定视角下定义，而评估需要跨视角保真地表示补丁。作者将其形式化为约束提升问题，提出“对抗补丁到场景嵌入”（APSE）方法，通过解决跨视角歧义、保留攻击关键外观、施加局部性、目标表面附着和跨视角一致性约束，实现补丁在场景中的准确嵌入。使用真实世界物理数据验证，并对现有对抗补丁进行全面评估。结果表明，AdvScene揭示了攻击有效性随场景变化的显著差异，而现有图像中心或仿真基评估无法捕获这些差异。本文适合AI安全研究人员、对抗性攻击防御开发者及计算机视觉鲁棒性研究者阅读。

该论文提出了 Honeyval，一个针对基于大型语言模型（LLM）的 HTTP 蜜罐的全面评估框架。蜜罐是一种模拟真实系统组件的诱饵，用于防御网络攻击。近年来，LLM 越来越多地被用作蜜罐的模拟后端，使防御者能够构建高交互蜜罐，同时降低系统安全风险。然而，LLM 驱动的蜜罐开发缺乏统一的评估框架。现有评估方法通常包括在固定命令上测量响应相似性、手动测试或实际部署，但这些方法难以扩展、不可重复、无法代表实际攻击，也无法适应不同的攻击者和蜜罐配置。Honeyval 通过以下方式克服了这些局限性：将蜜罐基于 16 个后端应用程序，使用 AI 黑客代理作为攻击者，采用两个控制任务来监控代理和蜜罐在不同定制下的能力，并为攻击者定义清晰可验证的利用目标。利用 Honeyval，作者对近期成本高效的 LLM 作为 HTTP 蜜罐进行了广泛评估。实验显示，LLM 驱动的蜜罐能够显著延长与攻击者的交互时间，远远超过基于规则的基线蜜罐，并且即使使用前沿模型也很难被检测到，同时平均保持了对抗主动攻击者的成本优势。此外，作者还实验了不同的反制蜜罐配置，观察到了独特的权衡，例如更长的交互时间以增加被检测的风险。该工作为 LLM 蜜罐的开发和标准化评估提供了重要基础。

该论文提出“指涉安全性”（referential security）作为人工智能评估的新范式。当前AI系统（尤其是大语言模型）持续更新，但公开的模型名称保持不变，而底层权重、提示词、检索机制、滥用分类器、推理设置和服务基础设施却可能未经通知地修改。这导致传统安全性评估常常仅针对表面的标签，而非实际可识别且可区分的系统，使得评估结果难以追溯、复现和验证。为解决这一问题，作者将安全的根本问题从“模型是否安全”拓展为“后续方能否确切确定某项安全声明针对的是哪个系统”，从而将模型身份转变为可经验验证的属性，并将指涉稳定性与其所支撑的实质性安全主张分离开来。该框架为当前实践中处理不佳的三个关键工作流提供了可操作性：可复现的评估（reproducible evaluation）、纵向审计有效性（longitudinal audit validity）以及跨提供商等效性（cross-provider equivalence）。通过将评估锚定在可验证的工件上，该方法确保安全审计和监管发现能够在动态系统的整个运行生命周期中保持其实证效用。论文适合关注AI安全评估、模型溯源、审计可复现性以及监管合规的研究人员、安全工程师和政策制定者阅读。

该论文首次对苹果的私有云计算（Private Cloud Compute, PCC）系统进行了逆向工程分析，旨在评估其隐私保护声明的可信度。PCC是苹果为在移动设备上集成AI而设计的隐私优先计算架构，其核心宣称包括不存储用户数据、用户输入与账户不可关联。尽管苹果公开了大部分系统规范，但编译后的二进制文件缺乏符号、不可重现构建，导致规范与实际部署之间存在潜在差异。此外，底层模型和查询接口未公开，限制了学术评估。研究者通过逆向工程移动设备上的PCC实现，成功打开了非公开接口，允许在本地设备上执行自定义PCC查询，并独立对PCC模型进行了基准测试。他们发现当前实现中存在一些与隐私承诺的偏差，例如某些日志行为可能暴露用户交互信息。该研究还公开了PCC基准测试框架，为后续隐私评估提供了工具。主要贡献包括：首次详细的PCC逆向工程、开放非公开接口、独立模型性能评估以及公开测试框架。适合关注移动AI隐私、苹果安全架构以及云隐私方案验证的研究人员和安全从业者阅读。

本文系统性分析了人工智能安全研究领域中攻防研究失衡的问题。作者通过考察联邦学习、语音识别、成员推断、大型语言模型等子领域的学术论文，发现攻击类研究数量明显多于防御类研究，存在偏斜的攻防论文比例。更重要的是，这种失衡不仅体现在数量上：攻击论文通常在有利条件下进行评估，夸大威胁的实际严重性；而防御论文则面临更为严苛的评判标准，导致许多防御方案难以达到要求。结果导致该领域涌现了大量展示漏洞的文献，而可实际部署的防护措施匮乏。由此，作者主张AI安全研究应当更好地激励防御研究，推动更平衡的学术生态。本文适合AI安全研究者、学术资助机构及政策制定者阅读。

本文聚焦于评估AI智能体在安全关键角色中的基准测试所面临的严重缺陷。作者基于最新实证证据，总结了三大核心挑战：基准漏洞（benchmark vulnerabilities）、时间陈旧性（temporal staleness）和运行时不确定性（runtime uncertainty）。基准漏洞指评估指标可能被游戏化或无法真实反映安全能力；时间陈旧性强调静态基准无法跟上快速演变的威胁环境；运行时不确定性则指智能体在动态部署中的表现难以预测。针对这些挑战，论文提出了构建更健壮、更可信评估框架的实用方向，包括动态基准设计、对抗性测试和持续验证机制。该研究为安全社区正确衡量AI智能体防护能力提供了关键洞察，避免自我欺骗性的评估结果。

时间序列预测（TSF）在众多领域（如金融、气候、工业监控）中发挥着关键作用，但容易受到后门攻击的威胁。然而，针对TSF的后门防御研究仍处于起步阶段，主要面临两大挑战：数据纠缠（data entanglement）导致不同时间序列通道间的信号相互干扰，以及任务形式转变（task-formulation shift）使得后门注入与正常训练难以区分。本文首先系统评估了十三种代表性后门防御方法在TSF全生命周期中的表现，分析其失败模式，发现两个根本问题：1）数据纠缠引发通道级信号稀释，使基于样本过滤或触发器合成的防御方法无法准确定位后门；2）任务形式转变导致训练损失退化，使得中毒窗口与干净窗口在训练阶段变得不可区分。基于这些发现，作者提出一种针对TSF的训练时后门防御方法——TimeGuard。该方法采用通道级池训练（channel-wise pool training）为核心范式，利用时间感知标准初始化高置信度池以缓解信号稀释；同时引入距离正则化损失选择策略，在训练过程中逐步扩展可靠池，缓解损失退化。在多个数据集、预测架构和TSF后门攻击上的广泛实验表明，TimeGuard显著提升了鲁棒性，平均绝对误差（MAE_P）相比领先基线提升1.96倍，同时干净性能MAE_C控制在5%以内。本文为TSF安全防御提供了新的思路和实用方法。

本文是一篇关于人工智能（AI）在网络安全领域应用的综述性研究，重点聚焦于入侵检测场景。文章首先指出，AI因其在模式识别、任务自动化以及降低时间与成本方面的能力，已被广泛应用于多个领域。在网络安全中，AI的整合引起了广泛关注，尤其是在入侵检测、恶意软件分析、钓鱼/垃圾邮件检测等方面。随着AI和网络安全技术的共同演进，新的方法和途径不断涌现。当前趋势包括使用生成式AI、自然语言处理（NLP）、用于隐私保护联合训练的联邦学习，以及确保可解释性和信任的可解释AI（XAI），这些在网络安全中至关重要。本文对当前基于AI的网络安全趋势进行了有趣的回顾，特别关注入侵检测方法，旨在通过基于所采用的AI技术和报告的性能进行对比分析，揭示有意义的见解。文章结构上，首先介绍了AI在网络安全中的总体应用，然后详细讨论了入侵检测系统的分类（如基于网络、主机、异常的检测），并分析了不同AI技术（如机器学习、深度学习、强化学习等）在这些系统中的应用效果。文章还比较了现有研究的性能指标（如准确率、召回率、F1分数等），并指出了当前挑战，如数据不平衡、对抗性攻击、模型可解释性不足等。最后，文章展望了未来研究方向，包括将生成式AI用于数据增强、利用联邦学习实现隐私保护、以及开发更可解释的模型以提高信任度。本文适合网络安全研究人员、AI从业者以及对入侵检测系统感兴趣的读者阅读。

本文提出STRIDE-AI框架，旨在解决传统网络安全方法论在应对生成式AI系统概率性质时的不足。研究背景指出，现有安全标准（如NIST AI RMF）和漏洞分类（如OWASP LLM Top 10）之间存在鸿沟，且多数部署AI的组织缺乏专用安全策略，对抗攻击每年快速增长。STRIDE-AI框架通过以下核心贡献弥合这一差距：首先，定义了一个六阶段评估生命周期，覆盖从资产识别到持续监控的完整流程；其次，将经典STRIDE威胁建模方法适配于AI系统，针对模型反转、数据投毒、提示注入等攻击向量进行威胁识别；最后，通过一个专用Web工具实现框架的自动化操作。为初步验证有效性，作者对一个已部署的LLM聊天机器人进行了黑盒评估，在沙盒案例研究中将攻击成功率从80%降低至15%。该框架主要面向AI安全工程师、风险管理人员及研究社区，提供了一种系统化的生成式AI安全评估方法。

本文提出水印技术应被视为一种监控原语，而非仅用于内容归属。传统上，水印评估侧重于对抗单个样本级别的规避或误报攻击，忽略了在多方参与的场景中，水印信号可能被聚合以推断实体级别信息。作者引入基于观察者的威胁模型，其中观察者可以通过跨输出聚合水印信号来推断实体（如特定用户或设备）的身份或行为模式。实验证明，即使是零比特水印，在多密钥设置下也能实现归属。此外，外部监控可能随着时间的推移从持久、密钥相关的统计结构中自发产生，尽管这取决于水印设计，并且可以通过保留分布或不可检测的方案来缓解。研究揭示了归属与监控之间的根本双用途矛盾，呼吁超越单一样本鲁棒性，考虑聚合和观察者能力来评估水印。

本文针对大型语言模型（LLM）系统中的缓存机制提出了语义缓存投毒攻击。传统的缓存投毒主要针对查询字符串精确匹配，而LLM系统常采用语义缓存来缓存具有相似语义的查询，以提高推理效率并降低成本。作者首次提出语义缓存投毒攻击，攻击者通过构造与合法查询语义相似但包含恶意提示的投毒请求，使得后续正常用户查询命中投毒缓存，从而返回被篡改的响应，可能导致信息泄露、错误响应或拒绝服务。论文设计了多种投毒策略，包括基于嵌入向量的扰动、对抗性样本生成等，并在多个开源LLM和商业API上验证了攻击有效性。实验表明，攻击成功率高达80%以上，且能绕过现有防御措施。为应对该威胁，作者提出了基于输入验证和输出一致性检查的防御框架，包括语义异常检测、缓存命中验证和响应完整性校验。该研究揭示了LLM缓存系统的新攻击面，对AI基础设施安全具有重要意义。

大型语言模型（LLM）因其强大的推理能力被广泛部署于多种场景，但同时也面临被滥用的风险。为了确保模型所有权，通常采用水印技术。然而，现有大多数水印方法仅对模型的输出分布进行表层修改，导致水印容易受扰动或去除。针对这一挑战，本文提出了一种名为冗余思维链（R-CoT）的推理层水印框架，将水印嵌入模型的推理路径中。R-CoT 基于 GRPO（分组相对策略优化）设计了一种双轨迹优化机制，使原生推理路径和水印推理路径能够在共享参数空间内共存，从而将水印内化为一种独特的推理策略。这样一来，水印被嵌入模型稳定的推理路径中，避免了因输出级扰动（如文本后处理、同义词替换等）导致水印失效的问题。实验结果表明，与现有方法相比，R-CoT 在保持高水印有效性的同时具有极强的鲁棒性。在微调等后训练操作下，其真阳性率（TPR）始终保持在 95% 以上，仅出现轻微下降。本文的主要贡献在于：1) 首次在推理层嵌入水印，而非输出层；2) 提出双轨迹优化机制实现水印与原生推理策略的共存；3) 实验证明该方法对微调等操作具有高度鲁棒性。该研究适合 LLM 安全研究人员、模型部署方以及关注知识产权保护的从业者阅读。