本文提出了一种可解释的基于深度学习的Web攻击检测方法，核心目标是解决深度学习模型在Web攻击检测中‘黑盒’特性导致的不可信问题。现有基于深度学习的Web入侵检测系统虽然具有较高的检测准确率，但无法向安全分析人员解释为何将某条请求判定为攻击，这使得安全运营人员难以验证告警真实性、定位攻击特征并进行快速响应。为此，作者提出通过恶意载荷定位（Malicious Payload Localization）的方式，在给出检测结果的同时，明确指出请求中具体哪一部分字符或Token构成了攻击载荷，从而将模型决策过程转化为可读的、可验证的定位结果。研究中，作者设计了一种能够同时完成检测和定位的神经网络架构，利用注意力机制或多实例学习等方式，将分类概率映射到输入序列的局部片段，并通过约束训练让模型学习对恶意关键词或异常结构产生稀疏且集中的注意力，从而输出高分辨率的恶意载荷片段。在公开的Web攻击数据集（如CSIC 2010、CICIDS等）以及真实流量样例上，作者进行了大量实验，结果表明该方法在保持与现有深度检测模型相当甚至更优的检测性能（准确率、召回率、F1值）的前提下，能够较为精准地定位出恶意载荷的起止位置，且定位结果与人工标注的攻击特征具有较高重合度。此外，文章还探讨了该定位能力对模型鲁棒性的影响，发现引入定位任务有助于减少误报，并提升对未知攻击变体的泛化能力。本文适合从事Web安全检测、AI可解释性研究以及安全运营平台开发的工程师和研究人员阅读，其提供的可解释输出机制可直接嵌入现有WAF或NDR系统中，帮助蓝队更快完成告警研判和攻击溯源。

该论文研究了大语言模型（LLM）的来源追踪（provenance testing）问题，即判断一个待检模型是否与某个源模型属于同一训练或开发谱系。现有黑盒方法大多依赖于模型输出文本的表面特征，但这些特征在模型经过微调、适配或部署环境变化时容易发生漂移，即使模型的语义理解并未改变，导致来源判定的可靠性下降。为了克服这一局限，作者提出将模型对开放型问题的输出映射到有限且离散的决策空间，从而抽象掉表面形式的变化，将来源测试转化为对“诱导决策区域”（induced decision regions）继承性的度量。基于这一思路，论文提出了Stemma，一种实用的黑盒LLM指纹识别方法。Stemma将稳定性、鲁棒性和特异性作为互补的探针选择原则，以可靠地估计决策区域的继承程度。实验环节中，作者使用56个公开检查点构建了770对源-嫌疑模型对，覆盖多种模型权重变换，Stemma取得了0.967的AUC，以及1%假阳性率下87.8%的真阳性率，显著优于四种代表性基线。此外，在覆盖91个部署实例的1260对模型上，Stemma达到了0.995的AUC和1%假阳性率下93.5%的真阳性率，证明了其对多样化推理时部署设置的鲁棒性。该研究的主要贡献包括：提出决策区域继承作为LLM来源信号、设计三种互补的探针选择原则、构建大规模评测基准，并验证了方法在不同变换和部署条件下的有效性。适合AI安全研究者、模型治理与审计人员阅读。

该论文针对人工智能（AI）系统中因复杂性、快速演化及动态数据管道所引入的新型工程负债——AI技术债务（AITD）进行了系统性综述。研究基于AI信任、风险与安全管理（AI TRiSM）原则，将技术债务重新解释为与可信性相关的维度，聚焦于AI安全与安全技术债务。作者系统回顾了60篇主要研究，识别出31种不同类型的AITD，并构建了包含7个类别的根本原因分类法。分析进一步展示了这些债务如何映射到18个信任相关关注点，包括6个安全危害和12个安全漏洞。为支持缓解，论文综合了34条可操作指南（8条安全、26条安全），覆盖AI生命周期的预防、检测和减少策略。在此基础上，提出了AITD-MAP集成框架，将AITD分类、质量与风险影响及缓解策略统一为风险感知AI工程的结构化结构。该框架旨在帮助AI软件工程师使安全与安全技术债务可见，理解其根本原因并减轻其影响。论文主要贡献在于提供了全面的AITD分类法、可操作指南以及实用的集成框架，适用于AI系统开发者、安全工程师和研究人员。

本文针对AI系统在安全、金融、医疗等领域广泛部署后所面临的模型逃逸攻击问题，指出传统基于攻击者知识（白盒、灰盒、黑盒）的分类方法忽视了不同部署接口实际暴露信息信号（如仅输出最终决策、置信分数、中间表示或完整参数）对攻击能力的影响。作者提出了基于信号驱动的模型访问风险分类框架（SMART），该框架以部署场景为导向，根据AI系统返回信息信号的类型与丰富程度（从有限到充分）对攻击者访问级别进行精细化划分。在此框架下，文章系统梳理了从最低信息暴露（仅观察硬分类输出）到最高暴露（完全白盒）各层级上逃逸攻击的策略演变，分析了各层级下攻击者所能实现的能力边界（如扰动幅度、成功率、迁移性等）。该工作旨在帮助安全工程师、AI系统采购方和运营方理解不同部署配置所引入的实际风险，从而做出更安全的模型部署与第三方模型采购决策。本文属于概念性研究论文，尚未提供具体攻击实验或检测方法验证。

该论文重新思考了人工智能（AI）系统的渗透测试方法。传统的渗透测试主要评估攻击者是否能够利用软件、基础设施、配置或操作控制中的弱点实现安全相关的资源妥协（如获取数据、控制权限）。然而，在AI赋能系统中，攻击者可能通过影响提示词（prompt）、检索内容、传感器输入、训练数据、记忆、工具或人机交互循环来改变系统行为，而无需直接破坏底层基础设施。例如，提示注入、间接提示注入、数据投毒、传感器操纵、检索投毒、工具滥用以及智能体对齐失败等攻击路径，都是通过行为影响而非资源破坏来达成目标。因此，论文提出将AI系统的渗透测试重新定义为“目标驱动的行为评估”。作者明确定义了AI赋能系统（其学习模型实质上影响实现运营目标的行为）和AI渗透（在明确威胁模型下，诱导AI主导行为违反一个或多个运营目标的可行方式）。该定义保留了传统渗透测试，但扩展到了对抗性路径。论文进一步提出了一个测试工作流：识别运营目标、映射AI主导行为、分析对抗性影响面、定义行为失败标准、执行基于场景的测试、报告将对抗性行为与目标违反联系起来的证据。通过一个AI赋能安全运营中心助手的实例，展示了渗透如何通过行为影响而非基础设施破坏发生。该工作流和定义构成了一个技术框架，用于评估已部署AI系统中的对抗性成功。

该研究通过大规模问卷调查（N=4100）和定性访谈（N=12），评估了美国成年人面对AI驱动的语音钓鱼攻击的脆弱性。研究人员利用先进的语音模型（包括Llama Full Duplex、Sesame、Gemini、OAI AVM、Play.AI和ElevenLabs）生成了五种典型钓鱼场景的音频或文字记录（如亲人求救、银行诈骗等），并与人类诈骗者的基线表现进行对比。结果显示，在“亲人困境”类别中，高达36%的参与者表示可能或肯定会遵从诈骗要求；总体遵从率为16.5%。通话说服力是预测遵从的最强因子，其中Sesame模型的表现甚至略超人类。经济分析表明，尽管人工语音钓鱼在美国薪资水平下无利可图，但AI驱动的语音钓鱼对多种模型已具备经济可行性。论文指出，当前AI语音钓鱼的主要风险源于自动化的经济学优势，而非全新或超人的说服技巧，但对未来的系统不能排除这种可能性。该研究为AI系统设计、消费者保护和模型发布政策提出了重要警示。

该论文关注基于LLM的多智能体系统（MAS）面临的安全挑战。现有防御方法通常假设攻击在语义上显式可识别，并依赖显式的图结构建模MAS拓扑和Agent间交互。然而，实际攻击越来越隐蔽，且MAS执行通常是异步的，不满足图传播模型所需的时间对齐。为此，作者提出AcMAS，一种基于激活空间的恶意行为检测框架。AcMAS通过分析本地Agent内部推理状态的激活空间，无需依赖显式交互图，即可同步鲁棒地检测隐蔽攻击。此外，激活分析能指导AcMAS恢复受损Agent的功能，而非简单地隔离。实验表明，AcMAS在同步设置下F1达0.94（优于基线0.72），在异步设置下F1达0.93（优于基线0.38），且能泛化到不同的开源LLM骨干、攻击强度和MAS规模。该工作为MAS安全性提供了新视角，适合AI安全研究人员、SOC分析师及系统设计者阅读。

该论文提出了一种名为AutoDA的自动化决策型迭代对抗攻击方法。决策型攻击是黑盒对抗攻击的一种重要形式，攻击者只能通过模型的最终决策标签（如分类结果）来生成对抗样本，而无法访问模型内部结构或置信度分数。传统决策型攻击需要手工设计攻击算法，如迭代更新扰动方向，但手工设计耗时且难以达到最优。AutoDA将攻击算法设计自动化，利用强化学习或进化策略等方法自动搜索最优的迭代更新策略。具体地，AutoDA定义了一个搜索空间，包括步长、梯度估计方法、方向更新规则等组件，然后通过采样和优化来寻找性能最佳的攻击策略。在多个标准数据集（如ImageNet）和多种模型（如ResNet、DenseNet）上的实验表明，AutoDA自动发现的攻击策略在攻击成功率和查询效率上均优于现有手工设计的决策型攻击方法。该工作为对抗攻击领域提供了新的自动化视角，有助于更全面地评估模型的鲁棒性。

本论文提出了一个名为 AI-Infra-Guard 的开源框架，旨在解决 AI 智能体（Agent）安全评估中缺乏统一工具的问题。随着开源 AI 基础设施（如模型服务引擎、智能体平台、模型上下文协议 MCP 生态以及语言模型本身）的快速发展，现有的安全防护工具已无法跟上。论文核心观察是，AI 智能体的攻击面跨越多个层次：基础设施层、协议/工具层、智能体行为层和模型层，没有任何单一检测范式能覆盖所有层面。因此，框架为每个层次匹配专门的检测范式：基础设施层采用确定性规则匹配，覆盖 75 多个 AI 组件和 1400 多条漏洞规则；协议/工具层利用 LLM 驱动的智能体审计，对 MCP 服务器和智能体技能包进行审查；智能体行为层实施多轮黑盒红队测试；模型层则包含一个越狱测试工具包，支持 26 多种攻击操作和 16 个数据集。根据作者所知，该框架是唯一一个覆盖所有上述层面的开源方案，包括对日益扩展的智能体技能进行供应链审计。实验验证了该框架在不同场景下的有效性。论文主要贡献在于提出“层-范式匹配”的理念，为智能体安全提供了实用基础，并开源了代码供社区使用和扩展。适合 AI 安全研究人员、红队工程师和智能体平台开发人员阅读。

模型所有权验证是保护模型版权的重要事后方法，现有的主流方案是后门水印，但存在两个致命缺陷：有害性（引入可被恶意利用的误分类行为）和歧义性（恶意用户可轻易通过寻找其他误分类样本来通过验证）。本文指出这些局限源于现有水印方案的“零比特”性质——它们仅利用预测的误分类状态进行验证。受此启发，作者提出了一种新的水印范式“解释即水印”（Explanation as a Watermark, EaaW），将验证行为嵌入特征归因的解释中，而非模型预测。具体而言，EaaW在特定触发样本的特征归因解释中嵌入“多比特”水印，同时保持原始预测不变。受可解释人工智能启发，作者设计了水印嵌入与提取算法，该方法适用于图像分类和文本生成等不同任务。大量实验证明了EaaW的有效性和无害性，以及其抵抗潜在攻击的能力。该研究为模型所有权验证提供了全新思路，避免了后门水印的安全风险，具有重要的理论价值和实践意义。

本文针对生成式AI在网络安全领域带来的威胁，特别关注大型语言模型（LLM）被用于生成PowerShell恶意代码的攻击事件。作者提出了一个评估LLM生成PowerShell恶意软件的实验框架，包括一种新型动态分析沙箱，用于分析AI生成的恶意软件行为。此外，他们构建了一个手动整理的、带有自然语言注释的真实世界PowerShell恶意软件数据集，以辅助LLM的训练和评估。研究评估了多种宽松许可的开源LLM在生成PowerShell恶意软件方面的能力。结果显示，在触发的操作系统恶意事件方面，真实恶意软件与LLM生成的恶意软件之间具有高度相似性，中位Jaccard指数达到84.5%，48.4%的实例实现了完全重叠。该研究揭示了当前LLM在恶意代码生成方面的潜在风险，并为防御方提供了评估和检测AI生成恶意脚本的方法框架。

本文首次系统地分析了托管在主流预训练模型平台（如Hugging Face）上的AI应用（AI-Apps）的安全风险。AI-Apps通过在线推理和微调服务降低了AI采用门槛，但由于开发者不可信、隔离措施薄弱和安全配置错误，引入了新的攻击面。研究将AI-Apps生命周期映射到已知风险分类（如OWASP），识别出五大威胁类别和十个攻击向量，涵盖通用Web漏洞到高影响力的架构问题。关键发现包括访问控制失效、资源重用不安全、输入验证不足及敏感数据泄露。特别地，揭示了三种平台设计固有的新型架构漏洞，并展示了传统问题（如全局可读日志）在此生态中被独特放大。为了评估实际影响，团队开发了分析框架Insightor，并应用于超过97万个公开AI-Apps。结果显示，数千个应用泄露凭证，数百个存在输入注入漏洞可导致任意代码执行，数十个嵌入了后门，表明已在野利用。所有发现已负责任地披露给相关平台和开发者。

本文针对黑盒成员推理攻击（MIAs）中存在的查询效率问题，提出了一种预查询样本选择框架PSS-MIA。传统的黑盒MIAs对所有候选样本不加区分地进行查询，导致大量查询成本浪费在信息量低的样本上，且增加了查询暴露风险。作者首先定义了问题：哪些候选样本值得查询？PSS-MIA分为两个阶段：第一阶段使用提出的Loss-Gap Ranking（LGR）方法，通过参考模型计算候选样本的损失差（loss gap），估计其成员信号强度，据此对样本排序并筛选出子集；第二阶段仅对选中的样本进行目标模型查询，并将返回结果用于任意现有的黑盒MIA方法。在CIFAR-10、CIFAR-100和CINIC-10数据集上，结合五种代表性黑盒MIA方法（如LiRA、RMIA等）的实验表明，PSS-MIA在保持或提升推理精度的同时，显著降低了查询预算：在0.1%假阳性率（FPR）约束下，分别节省至少83.1%、60.6%和80.4%的查询次数。研究贡献在于提出了一个通用、即插即用的样本选择框架，揭示了样本非均匀成员信号特性，并提供了理论上的排序依据。适合关注机器学习隐私攻击与防御的研究人员、模型发布者以及AI审计团队阅读。

本文提出了一种针对扩散模型（Diffusion Models）的新型后门攻击框架TEMPO-Diffusion。传统的基于噪声的后门攻击通常依赖于在推理时注入触发器、非目标激活以及生成分布外目标，这些假设降低了攻击的隐蔽性和实际相关性。TEMPO-Diffusion将恶意分布偏移限制在时间上的同分布暴露中，使得后门更加隐蔽。该框架支持：(i) 针对特定类别的攻击（攻击特定类别并生成特定类别结果）；(ii) 多子图像后门，即在多个不同输出图像和多个位置重建特定特征；(iii) 利用时间条件触发器的图像修复（in-painting）。为了研究使用带后门的扩散模型生成合成训练数据相关的实际安全问题，作者还引入了CALISA数据集：一个平衡的、区域感知的交通标志数据集，重点涵盖加拿大和美国的道路标志。在CIFAR10、GTSRB和CALISA上的实验表明，TEMPO-Diffusion能够可靠地污染特定类别的合成数据生成，并在使用该数据训练的下游分类器中实现高攻击成功率。本文的研究揭示了扩散模型在合成数据生成场景下可能被植入持续性后门的风险，对AI安全社区具有警示意义。

本文是一篇关于人工智能安全代码生成（AI Secure Code Generation）的系统化知识综述（SoK）。随着AI系统越来越多地用于代码生成，如何确保其生成代码的安全性成为核心问题。现有研究尝试了提示工程、微调、强化学习以及基于agent的工作流等方法来提升安全性，但缺乏对这些技术系统性的理解。作者提出了一个三级评估框架：第一级衡量模型对安全编码原则的自然语言理解能力；第二级评估模型在代码生成时实际应用这些原则的能力；第三级分析知识-执行之间的差距。该框架被实例化于多种模型和编码agent上，评测基准涵盖孤立的功能级安全（如函数漏洞）和完整的Web应用安全场景。实验结果表明，对安全编码原则的理解是代码级安全结果的显著预测因素，包括功能性正确性、安全性以及两者的联合正确性。然而，模型仍然存在严重的知识-执行差距：它们能够识别相关的安全原则，但未能成功转化为安全且功能正确的代码。这些发现以原则为中心的视角揭示了AI安全代码生成的当前进展、主要陷阱，并指出了未来方向，包括原则引导生成、针对性评估、基准设计以及agent工作流的改进。本文适合安全研究人员、AI开发者以及关注代码安全的从业者阅读。

该论文系统性地挑战了现代AI与云基础设施中普遍存在的隔离假设。作者通过构建一个从物理内存共置到远程服务接口的交互级别分类法，来解构AI安全假设。尽管已有大量研究关注孤立的攻击面，但安全社区缺乏一个统一的框架来理解物理、架构和算法漏洞如何在整个AI堆栈中显现。本文填补了这一空白，通过演示利用每一抽象层假设的实际攻击，展示了跨层攻击的可行性。论文涵盖了从GPU内存侧信道攻击到LLM提示注入等多种攻击场景，并提出了一个统一的分析框架，以帮助研究人员和从业者系统性地评估AI系统的安全性。该工作对于理解现代AI基础设施的复合风险具有重要意义，适合云安全、AI安全领域的研究人员和工程师阅读。

该论文对神经符号AI（NeSy）的安全、安保与认知风险进行了系统性研究。神经符号AI融合了神经感知与符号推理，适用于需要可解释性和结构化推理的高风险领域（如医疗诊断、自动驾驶）。然而，这种混合架构引入了扩大的攻击面，涵盖五个层次：神经感知层、符号知识库层、推理引擎层、智能体编排层和数据存储层，每个层次都存在纯神经系统中不存在的可利用漏洞。论文做出了六项贡献：(1) 形式化定义了NeSy攻击面、符号完整性违背（SIV）和跨层放大比X，并将其分解为神经引起的和自主符号敏感性两部分；(2) 提出了统一威胁模型，扩展了MITRE ATLAS，增加了11个NeSy特有的策略扩展和五类攻击者画像；(3) 构建了符号层威胁目录，涵盖知识图谱投毒、本体合并攻击和推理引擎颠覆；(4) 分析了认知风险——自动化偏差、权威偏差和谄媚强化——这些风险因NeSy的显式逻辑解释相对于黑箱神经输出而被结构性放大；(5) 提出了跨学科缓解措施，并给出了与NIST AI 600-1和欧盟AI法案一致的可衡量验收标准；(6) 进行了三项实证基准测试：(E1) 在包含205个实体的医学知识图谱上，针对性知识图谱投毒在注入预算B=5时达到SIV盈亏平衡点，存在隐蔽性与SIV之间的权衡；(E2) 在DistilBERT+ProbLog流水线上，PGD-10在ε=0.01时产生X=5.884（95%置信区间[4.64, 8.00], p<0.0001），并通过匹配随机基线（E^R_rand=0）确认为对抗性特定；(E3) 单公理OWL编辑实现93.3%的SIV成功率，且100%保持Pellet一致性隐蔽，但基于STIX的检测在50%水平（随机猜测）失败，这是一个开放问题。该研究为NeSy系统的安全分析提供了理论基础和实验基准，适合AI安全研究员、系统设计者和监管机构阅读。

该论文关注AI驱动系统进化中隐藏的弱点问题。近年来，计算机系统社区对AI驱动的系统进化兴趣日益增长，即利用AI智能体迭代地重写系统代码。例如AdaEvolve和Engram等框架声称相比于人工设计算法可获得12-60%的分数提升。然而，这些AI进化程序可能在未见过的负载上表现更差，或出现可扩展性退化，这引发了实际担忧。鉴于AI生成代码的速度和规模，需要自动化机制来发现此类隐藏弱点。为此，作者提出AIChilles系统，它以基线程序P和AI进化程序P'为输入，自动搜索有效的负载，使得P'在正确性、运行时间、内存使用或输出质量方面相对于P发生退化。为应对系统应用的多样性、弱点类型和潜在错误，AIChilles结合了确定性工作负载参数提取、基于智能体的约束推断、差分预言机以及代码频率覆盖等技术，以发现多样化的故障。在5个系统应用和30个AI进化程序上的实验表明，AIChilles共发现了49个不同的隐藏弱点。此外，将AIChilles显式纳入AI驱动的开发周期可以有效缓解其中的若干弱点。该工作展示了自动化评估和提升AI生成代码鲁棒性的重要方向。

本文针对人工智能模型水印（model watermarking）面临的核心挑战——模型提取攻击（model extraction attack），提出了一种基于排练（rehearsal）的水印嵌入框架，以增强水印鲁棒性。模型水印通过嵌入独特知识使模型产生特有行为特征来保护知识产权，但攻击者可利用模型预测输出训练替代模型（surrogate model）非法复制原模型功能。现有水印通常在面对模型提取攻击时容易失效。本文方法通过模拟提取过程，使用一个模拟被盗模型（simulated stolen model）在触发集（trigger set）上的损失作为训练信号，对目标模型中的水印知识进行微调。该过程鼓励水印以提升可迁移性（transferability）的方式嵌入，从而增加水印在盗用模型中持续存在且可被检测的机会。在多种设置下的综合实验表明，所提方法显著提升了水印在对抗模型提取攻击及后续水印移除攻击（watermark removal attack）时的鲁棒性。本研究适用于AI安全领域研究人员及模型开发者，为模型版权保护提供了新思路。

该论文针对大型语言模型（LLM）面临的后门攻击威胁，提出了一种基于共享内部机制的未知后门移除方法。后门攻击会使模型在干净输入下表现正常，但遇到特定触发器时输出攻击者指定的有害内容。由于防御者通常不了解后门类型或内部机制，移除未知后门极具挑战性。论文首先通过实验证明，不同后门在同一攻击目标下会引发相似的激活模式变化。基于这一发现，作者设计了一种简单而有效的防御策略：主动向模型中植入一个已知触发器的虚拟后门（dummy backdoor），然后通过与干净响应配对的虚拟触发器输入进行微调来移除该虚拟后门。由于虚拟后门与未知后门共享内部机制，移除虚拟后门的同时也会削弱未知后门的效果。论文在三个模型家族上针对三种后门攻击类型进行了评估，结果表明该方法显著降低了未知后门的攻击成功率，同时保持了模型实用性，在防御有效性和效用保留方面均优于现有代表性防御方法。该方法为LLM后门防御提供了新思路，利用防御者可控的后门作为代理来缓解未知后门威胁。

该论文研究AI加速漏洞发现对互联系统安全的影响，提出一个结合排队论与网络理论的模型。模型将企业环境表示为加权依赖图，包含漏洞池动态补充、有限修复容量、分类降级、利用窗口压缩以及动态传播机制。通过数学推导给出了漏洞积压的稳定性条件，并建立了积压量与级联风险之间的动态耦合关系。仿真实验表明，当可操作的漏洞发现速率超过修复吞吐量时，积压会迅速增长，系统性风险非线性上升。在枢纽节点主导的拓扑中，网络分段比单纯提升修复速度更能有效减少传播性危害，而最佳防御策略是结合修复自动化与降低网络耦合。论文贡献在于理论化地分析了AI加速漏洞发现对修复管道的冲击，并提出了量化评估与防御策略的框架。适合安全研究员、风险管理工程师以及负责漏洞管理与网络架构的团队阅读。

本文针对未来可能达成的国际人工智能协议，提出了一种用于AI数据中心验证的基础架构方法。核心目标是确保所有进出AI集群的数据均被加密承诺，使得秘密窃取未公开工作负载的结果变得不可行。方法是在集群与外部世界之间的所有信息承载线路上部署网络分接头（passive optical fibre splitters），计算所有数据的哈希值。审计员可以事后挑战哈希对应的原像数据，并将其发送至隐私保护的验证设施进行合规检查。为了解决事后哈希验证无法处理的隐蔽信道问题，论文设计了一种“安全网关设备”（Secure Gateway Device），其架构消除了对验证者和被验证者双方均信任的处理器的依赖，利用被动光纤分路器和抛币协议（coin-flip protocols）生成随机数。该设备负责消除模拟侧信道、时序侧信道以及网络协议头中的隐写术等隐蔽信道。论文评估了开发成本，预计演示设备的开发成本相当于一个小型工程师团队数月的工作量，物料清单相对较小。该研究为AI数据中心的透明度和可信验证提供了新思路，适合关注AI治理、安全基础设施和隐私保护的研究者和工程师阅读。

本文是一篇关于6G赋能信息物理系统（CPS）安全的综述论文。6G网络将连接数十亿CPS设备（如自动驾驶汽车、智能电网、工业机器人和远程手术设备），这些设备运行在超可靠低延迟切片上，使得远程入侵与物理伤害之间的时间差缩短至毫秒级，传统边界防火墙和集中式安全运营中心无法满足需求。论文将6G CPS安全重新定义为一种闭环、AI原生流水线，在MEC层进行感知，利用分钟级的呼叫详细记录（CDR）进行基线学习，以及亚毫秒级的RAN/O-RAN遥测数据用于延迟关键路径；通过压缩深度模型在本地决策，通过SDN、NFV和O-RAN控制器实现网络范围的缓解，并通过联邦学习（FL）和数字孪生（DT）回放进行重训练。论文形式化定义了每个切片在感知、检测和缓解阶段的有界延迟契约，并在切片相关的尾部百分位数（对安全关键的URLLC切片为p99）上强制执行。系统性地整理了128篇同行评审研究（2017-2026），遵循PRISMA 2020协议，主要贡献包括：(i) 将6G/CPS威胁面映射到MITRE ATT&CK和CDR可观测特征空间；(ii) 统一了跨12个数据集以及统计、图和Transformer模型的边缘异常检测和DDoS分类；(iii) 将SDN/NFV/O-RAN原语综合成一个闭环参考架构；(iv) 将FL、大语言模型（LLM）、DT、后量子密码（PQC）、零信任架构（ZTA）和可解释AI视为跨领域使能因素而非独立支柱；(v) 将开放问题归纳为数据、延迟、信任、标准化和评估五个方向。适合安全架构师、网络运营商及6G安全研究人员阅读。

该论文研究了AI推理验证中的关键问题：在GPU浮点运算的非确定性环境下，如何实现比特精确的推理结果验证，而无需牺牲性能。现有方法依赖近似匹配，这可能被隐蔽对手利用未验证的自由度进行攻击，如通过隐写术、未报告的软件修改或隐藏的批处理元素执行恶意计算。作者分析了现代推理引擎（如vLLM、Hugging Face Transformers）在未设置确定性标志的情况下，通过提供正确的重计算所需信息且后端不调用原子函数，实际输出具有确定性但非不变性。他们提出一种仅通过软件仿真的方法，在多种NVIDIA GPU变体上实现了大语言模型推理的逐位精确重计算，无需相同硬件。实验表明，累积舍入误差可作为推理所用软件和硬件设置的审计签名，而非验证性的约束。该方法为AI治理中的隐蔽恶意行为检测提供了新途径，尤其适用于验证模型推理的完整性和一致性。

论文《AdvScene: Rethinking Adversarial Patch Evaluation Through Scene Robustness》重新审视了对抗补丁（adversarial patch）的评估方法。对抗补丁是附着在真实物体上的物理图案，旨在误导AI视觉系统（如目标检测器）。现有评估主要基于固定图像基准或可控仿真器，但前者缺乏场景多样性，后者无法反映真实场景的复杂性。作者提出“场景鲁棒性”（scene robustness）概念，指补丁部署后在真实环境中随视角、距离和场景条件变化仍保持有效的能力。为此，他们设计了AdvScene框架，一种基于场景重建的评估方法。核心挑战在于：攻击通常仅在单一锚定视角下定义，而评估需要跨视角保真地表示补丁。作者将其形式化为约束提升问题，提出“对抗补丁到场景嵌入”（APSE）方法，通过解决跨视角歧义、保留攻击关键外观、施加局部性、目标表面附着和跨视角一致性约束，实现补丁在场景中的准确嵌入。使用真实世界物理数据验证，并对现有对抗补丁进行全面评估。结果表明，AdvScene揭示了攻击有效性随场景变化的显著差异，而现有图像中心或仿真基评估无法捕获这些差异。本文适合AI安全研究人员、对抗性攻击防御开发者及计算机视觉鲁棒性研究者阅读。

该论文提出了 Honeyval，一个针对基于大型语言模型（LLM）的 HTTP 蜜罐的全面评估框架。蜜罐是一种模拟真实系统组件的诱饵，用于防御网络攻击。近年来，LLM 越来越多地被用作蜜罐的模拟后端，使防御者能够构建高交互蜜罐，同时降低系统安全风险。然而，LLM 驱动的蜜罐开发缺乏统一的评估框架。现有评估方法通常包括在固定命令上测量响应相似性、手动测试或实际部署，但这些方法难以扩展、不可重复、无法代表实际攻击，也无法适应不同的攻击者和蜜罐配置。Honeyval 通过以下方式克服了这些局限性：将蜜罐基于 16 个后端应用程序，使用 AI 黑客代理作为攻击者，采用两个控制任务来监控代理和蜜罐在不同定制下的能力，并为攻击者定义清晰可验证的利用目标。利用 Honeyval，作者对近期成本高效的 LLM 作为 HTTP 蜜罐进行了广泛评估。实验显示，LLM 驱动的蜜罐能够显著延长与攻击者的交互时间，远远超过基于规则的基线蜜罐，并且即使使用前沿模型也很难被检测到，同时平均保持了对抗主动攻击者的成本优势。此外，作者还实验了不同的反制蜜罐配置，观察到了独特的权衡，例如更长的交互时间以增加被检测的风险。该工作为 LLM 蜜罐的开发和标准化评估提供了重要基础。

该论文提出“指涉安全性”（referential security）作为人工智能评估的新范式。当前AI系统（尤其是大语言模型）持续更新，但公开的模型名称保持不变，而底层权重、提示词、检索机制、滥用分类器、推理设置和服务基础设施却可能未经通知地修改。这导致传统安全性评估常常仅针对表面的标签，而非实际可识别且可区分的系统，使得评估结果难以追溯、复现和验证。为解决这一问题，作者将安全的根本问题从“模型是否安全”拓展为“后续方能否确切确定某项安全声明针对的是哪个系统”，从而将模型身份转变为可经验验证的属性，并将指涉稳定性与其所支撑的实质性安全主张分离开来。该框架为当前实践中处理不佳的三个关键工作流提供了可操作性：可复现的评估（reproducible evaluation）、纵向审计有效性（longitudinal audit validity）以及跨提供商等效性（cross-provider equivalence）。通过将评估锚定在可验证的工件上，该方法确保安全审计和监管发现能够在动态系统的整个运行生命周期中保持其实证效用。论文适合关注AI安全评估、模型溯源、审计可复现性以及监管合规的研究人员、安全工程师和政策制定者阅读。

该论文首次对苹果的私有云计算（Private Cloud Compute, PCC）系统进行了逆向工程分析，旨在评估其隐私保护声明的可信度。PCC是苹果为在移动设备上集成AI而设计的隐私优先计算架构，其核心宣称包括不存储用户数据、用户输入与账户不可关联。尽管苹果公开了大部分系统规范，但编译后的二进制文件缺乏符号、不可重现构建，导致规范与实际部署之间存在潜在差异。此外，底层模型和查询接口未公开，限制了学术评估。研究者通过逆向工程移动设备上的PCC实现，成功打开了非公开接口，允许在本地设备上执行自定义PCC查询，并独立对PCC模型进行了基准测试。他们发现当前实现中存在一些与隐私承诺的偏差，例如某些日志行为可能暴露用户交互信息。该研究还公开了PCC基准测试框架，为后续隐私评估提供了工具。主要贡献包括：首次详细的PCC逆向工程、开放非公开接口、独立模型性能评估以及公开测试框架。适合关注移动AI隐私、苹果安全架构以及云隐私方案验证的研究人员和安全从业者阅读。

本文系统性分析了人工智能安全研究领域中攻防研究失衡的问题。作者通过考察联邦学习、语音识别、成员推断、大型语言模型等子领域的学术论文，发现攻击类研究数量明显多于防御类研究，存在偏斜的攻防论文比例。更重要的是，这种失衡不仅体现在数量上：攻击论文通常在有利条件下进行评估，夸大威胁的实际严重性；而防御论文则面临更为严苛的评判标准，导致许多防御方案难以达到要求。结果导致该领域涌现了大量展示漏洞的文献，而可实际部署的防护措施匮乏。由此，作者主张AI安全研究应当更好地激励防御研究，推动更平衡的学术生态。本文适合AI安全研究者、学术资助机构及政策制定者阅读。

本文聚焦于评估AI智能体在安全关键角色中的基准测试所面临的严重缺陷。作者基于最新实证证据，总结了三大核心挑战：基准漏洞（benchmark vulnerabilities）、时间陈旧性（temporal staleness）和运行时不确定性（runtime uncertainty）。基准漏洞指评估指标可能被游戏化或无法真实反映安全能力；时间陈旧性强调静态基准无法跟上快速演变的威胁环境；运行时不确定性则指智能体在动态部署中的表现难以预测。针对这些挑战，论文提出了构建更健壮、更可信评估框架的实用方向，包括动态基准设计、对抗性测试和持续验证机制。该研究为安全社区正确衡量AI智能体防护能力提供了关键洞察，避免自我欺骗性的评估结果。

时间序列预测（TSF）在众多领域（如金融、气候、工业监控）中发挥着关键作用，但容易受到后门攻击的威胁。然而，针对TSF的后门防御研究仍处于起步阶段，主要面临两大挑战：数据纠缠（data entanglement）导致不同时间序列通道间的信号相互干扰，以及任务形式转变（task-formulation shift）使得后门注入与正常训练难以区分。本文首先系统评估了十三种代表性后门防御方法在TSF全生命周期中的表现，分析其失败模式，发现两个根本问题：1）数据纠缠引发通道级信号稀释，使基于样本过滤或触发器合成的防御方法无法准确定位后门；2）任务形式转变导致训练损失退化，使得中毒窗口与干净窗口在训练阶段变得不可区分。基于这些发现，作者提出一种针对TSF的训练时后门防御方法——TimeGuard。该方法采用通道级池训练（channel-wise pool training）为核心范式，利用时间感知标准初始化高置信度池以缓解信号稀释；同时引入距离正则化损失选择策略，在训练过程中逐步扩展可靠池，缓解损失退化。在多个数据集、预测架构和TSF后门攻击上的广泛实验表明，TimeGuard显著提升了鲁棒性，平均绝对误差（MAE_P）相比领先基线提升1.96倍，同时干净性能MAE_C控制在5%以内。本文为TSF安全防御提供了新的思路和实用方法。

本文是一篇关于人工智能（AI）在网络安全领域应用的综述性研究，重点聚焦于入侵检测场景。文章首先指出，AI因其在模式识别、任务自动化以及降低时间与成本方面的能力，已被广泛应用于多个领域。在网络安全中，AI的整合引起了广泛关注，尤其是在入侵检测、恶意软件分析、钓鱼/垃圾邮件检测等方面。随着AI和网络安全技术的共同演进，新的方法和途径不断涌现。当前趋势包括使用生成式AI、自然语言处理（NLP）、用于隐私保护联合训练的联邦学习，以及确保可解释性和信任的可解释AI（XAI），这些在网络安全中至关重要。本文对当前基于AI的网络安全趋势进行了有趣的回顾，特别关注入侵检测方法，旨在通过基于所采用的AI技术和报告的性能进行对比分析，揭示有意义的见解。文章结构上，首先介绍了AI在网络安全中的总体应用，然后详细讨论了入侵检测系统的分类（如基于网络、主机、异常的检测），并分析了不同AI技术（如机器学习、深度学习、强化学习等）在这些系统中的应用效果。文章还比较了现有研究的性能指标（如准确率、召回率、F1分数等），并指出了当前挑战，如数据不平衡、对抗性攻击、模型可解释性不足等。最后，文章展望了未来研究方向，包括将生成式AI用于数据增强、利用联邦学习实现隐私保护、以及开发更可解释的模型以提高信任度。本文适合网络安全研究人员、AI从业者以及对入侵检测系统感兴趣的读者阅读。

本文提出STRIDE-AI框架，旨在解决传统网络安全方法论在应对生成式AI系统概率性质时的不足。研究背景指出，现有安全标准（如NIST AI RMF）和漏洞分类（如OWASP LLM Top 10）之间存在鸿沟，且多数部署AI的组织缺乏专用安全策略，对抗攻击每年快速增长。STRIDE-AI框架通过以下核心贡献弥合这一差距：首先，定义了一个六阶段评估生命周期，覆盖从资产识别到持续监控的完整流程；其次，将经典STRIDE威胁建模方法适配于AI系统，针对模型反转、数据投毒、提示注入等攻击向量进行威胁识别；最后，通过一个专用Web工具实现框架的自动化操作。为初步验证有效性，作者对一个已部署的LLM聊天机器人进行了黑盒评估，在沙盒案例研究中将攻击成功率从80%降低至15%。该框架主要面向AI安全工程师、风险管理人员及研究社区，提供了一种系统化的生成式AI安全评估方法。

本文提出水印技术应被视为一种监控原语，而非仅用于内容归属。传统上，水印评估侧重于对抗单个样本级别的规避或误报攻击，忽略了在多方参与的场景中，水印信号可能被聚合以推断实体级别信息。作者引入基于观察者的威胁模型，其中观察者可以通过跨输出聚合水印信号来推断实体（如特定用户或设备）的身份或行为模式。实验证明，即使是零比特水印，在多密钥设置下也能实现归属。此外，外部监控可能随着时间的推移从持久、密钥相关的统计结构中自发产生，尽管这取决于水印设计，并且可以通过保留分布或不可检测的方案来缓解。研究揭示了归属与监控之间的根本双用途矛盾，呼吁超越单一样本鲁棒性，考虑聚合和观察者能力来评估水印。

本文针对大型语言模型（LLM）系统中的缓存机制提出了语义缓存投毒攻击。传统的缓存投毒主要针对查询字符串精确匹配，而LLM系统常采用语义缓存来缓存具有相似语义的查询，以提高推理效率并降低成本。作者首次提出语义缓存投毒攻击，攻击者通过构造与合法查询语义相似但包含恶意提示的投毒请求，使得后续正常用户查询命中投毒缓存，从而返回被篡改的响应，可能导致信息泄露、错误响应或拒绝服务。论文设计了多种投毒策略，包括基于嵌入向量的扰动、对抗性样本生成等，并在多个开源LLM和商业API上验证了攻击有效性。实验表明，攻击成功率高达80%以上，且能绕过现有防御措施。为应对该威胁，作者提出了基于输入验证和输出一致性检查的防御框架，包括语义异常检测、缓存命中验证和响应完整性校验。该研究揭示了LLM缓存系统的新攻击面，对AI基础设施安全具有重要意义。

大型语言模型（LLM）因其强大的推理能力被广泛部署于多种场景，但同时也面临被滥用的风险。为了确保模型所有权，通常采用水印技术。然而，现有大多数水印方法仅对模型的输出分布进行表层修改，导致水印容易受扰动或去除。针对这一挑战，本文提出了一种名为冗余思维链（R-CoT）的推理层水印框架，将水印嵌入模型的推理路径中。R-CoT 基于 GRPO（分组相对策略优化）设计了一种双轨迹优化机制，使原生推理路径和水印推理路径能够在共享参数空间内共存，从而将水印内化为一种独特的推理策略。这样一来，水印被嵌入模型稳定的推理路径中，避免了因输出级扰动（如文本后处理、同义词替换等）导致水印失效的问题。实验结果表明，与现有方法相比，R-CoT 在保持高水印有效性的同时具有极强的鲁棒性。在微调等后训练操作下，其真阳性率（TPR）始终保持在 95% 以上，仅出现轻微下降。本文的主要贡献在于：1) 首次在推理层嵌入水印，而非输出层；2) 提出双轨迹优化机制实现水印与原生推理策略的共存；3) 实验证明该方法对微调等操作具有高度鲁棒性。该研究适合 LLM 安全研究人员、模型部署方以及关注知识产权保护的从业者阅读。