The Emergence of Autonomous Penetration Capabilities in Large Language Model-Powered AI Systems
本文针对当前大语言模型（LLM）驱动的AI系统自主渗透能力评估中存在的局限性，提出了一种新的自主渗透评估框架。现有评估方法存在方法论不透明、测试场景不现实、给予LLM过多先验知识和任务指导等问题，无法准确反映现代AI系统在高影响网络攻击场景
#cs.AI
共收录 1684 条相关情报。
← 返回所有主题Efficient, Robust, and Anti-Collusion Fingerprinting of Image Diffusion Models
本文提出了一种针对文本到图像（T2I）扩散模型的高效、鲁棒且抗合谋的模型指纹识别方法。现有模型指纹技术通过向生成图像嵌入用户特定标识符来保护知识产权，但普遍存在一个未探索的系统性漏洞：它们缺乏对抗合谋攻击的鲁棒性。合谋攻击中，多个攻击者联合
MAStrike: Shapley-Guided Collusive Red-Teaming on Multi-Agent Systems
该论文聚焦于层级多智能体系统（MAS）的安全性问题，该类系统正快速部署于金融、软件工程等高风险工作流中。由于安全和保障职责分散在不同角色的智能体之间，攻击面显著扩大，尤其是面临权限提升和跨智能体共谋等协调性对抗行为时。现有红队测试方法存在局
PolicyGuard: Towards Test-time and Step-level Adversary Defense for Reinforcement Learning Agent
强化学习（RL）在现实世界中的应用日益广泛，但其安全性问题仍需更多关注。最新研究表明，RL智能体容易受到后门攻击的影响：当特定触发器被激活时，本应行为正常的智能体会执行恶意动作。现有的RL后门防御方法要么需要访问智能体的内部参数，要么仅在模
PI-Hunter: Automated Red-Teaming for Exposing and Localizing Prompt Injections
随着大型语言模型（LLM）从单纯的文本生成器迅速演变为能够与外部工具和环境交互的智能体系统，新的安全风险也随之出现，其中最具威胁的是间接提示注入攻击——攻击者通过不可信的外部数据源（如网页、数据库、API响应）向LLM agent注入恶意指
SMSR: Certified Defence Against Runtime Memory Poisoning in Persistent LLM Agent Systems
该论文聚焦于持久性 LLM 代理系统中的多会话记忆投毒（MSMP）攻击及防御。随着检索增强生成（RAG）代理广泛使用跨用户会话累积的持久记忆，攻击者可通过正常交互注入精心构造的记忆，当这些记忆被后续用户检索时，可操纵代理的响应，而无需修改模
CAPED: Context-Aware Privacy Exposure Defense for Mobile GUI Agents
该论文聚焦于移动GUI代理（如基于截图的智能体）在执行任务时面临的隐私暴露问题。这类代理通过模拟人类用户操作手机应用，需要实时截取屏幕截图发送给远程的多模态模型进行处理。然而，截图会包含大量与当前用户请求无关的敏感信息（如联系人、消息、照片
A Five-Plane Reference Architecture for Runtime Governance of Production AI Agents
该论文针对生产环境中AI代理的运行时治理问题，提出了一种五平面参考架构。传统企业安全基于数据边界防护，但AI代理通过读取上下文、调用工具、连接器和修改系统记录，将风险内化于工作流内部的行动序列中，这些序列可能组合出未授权的业务流程变更。现有
Reinforcement Learning Disrupts Gradient-Based Adversarial Optimization
本文研究强化学习（RL）训练如何破坏基于梯度的对抗攻击。传统上，梯度攻击（如PGD、AutoAttack）利用神经网络的梯度信息高效生成对抗样本。作者假设RL训练（使用策略梯度目标和epsilon-greedy探索）可以改变模型梯度结构，使
Feature-Aligned Speech Watermarking for Robustness to Reconstruction Distortions
本文提出一种特征对齐的语音水印方法，旨在提高水印对语音重建模型（如现有或未知的编解码器）的鲁棒性。传统音频水印在保真度与鲁棒性之间存在权衡：增加水印能量可提升鲁棒性，但会降低不可感知性。作者利用预训练语音编解码器生成伪语音水印，使其分布与原
Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code
大型语言模型（LLM）越来越多地用于代码生成，但可能被滥用以产生恶意代码。语法约束解码（GCD）是一种旨在通过强制语法有效性来提高LLM生成代码可靠性的技术。本文揭示了一个反直觉的风险：这种面向可靠性的技术本身可能成为攻击面。作者提出了一种
Toward Trustworthy AI: Multi-Target Adversarial Attacks and Robust Defenses for Continuous Data Summarization
本论文聚焦于可信AI中数据摘要环节的对抗鲁棒性问题。数据摘要作为上游组件，决定哪些信息被保留并传递给下游学习或决策模块，因此针对摘要过程的对抗扰动可能以“上游”方式破坏可信AI：它们可能改变选定的摘要、降低其代表性，并进一步损害后续学习任务
T2S: A Rehearsal-Based Approach for Extraction-Resistant Model Watermarking
本文针对人工智能模型水印（model watermarking）面临的核心挑战——模型提取攻击（model extraction attack），提出了一种基于排练（rehearsal）的水印嵌入框架，以增强水印鲁棒性。模型水印通过嵌入独特
SAIGuard: Communication-State Simulation for Proactive Defense of LLM Multi-Agent Systems
该论文针对基于大语言模型（LLM）的多智能体系统（MAS）面临的安全威胁，提出了一种主动防御框架 SAIGuard。在 MAS 中，智能体通过通信协作完成复杂任务，但攻击者可利用恶意消息在智能体间传播风险，导致系统级故障。现有防御方法多为被
Can Open-Source LLM Agents Replace Static Application Security Testing Tools? An Empirical Assessment
本文旨在评估开源大型语言模型（LLM）代理在静态应用安全测试（SAST）中的有效性，以探索其能否替代传统SAST工具。研究背景是：随着生成式AI的发展，基于LLM的安全代理引起了广泛关注，但开源模型在专业化安全任务中的实际表现尚不明确。核心
Runtime Skill Audit: Targeted Runtime Probing for Agent Skill Security
本文针对LLM代理技能的安全问题提出了一种名为Runtime Skill Audit（RSA）的动态分析方法。代理技能允许LLM代理复用指令、资源、工具和工作流，但也为恶意行为提供了藏身之处。一个技能可能在文档或代码中看似良性，但只有在特定
Sovereign Assurance Boundary: Certificate-Bound Admission for Agentic Infrastructure
本文针对自主代理基础设施面临的关键控制平面授权问题，提出了一种名为主权保证边界（Sovereign Assurance Boundary, SAB）的证书绑定运行时准入层。随着AI代理和自主系统能够产生非确定性推理并提议对生产资源进行高风险
Privacy-Preserving Federated Autoencoder for ECG Anomaly Detection on Edge Devices
该论文提出并评估了一个端到端的联邦学习系统，用于在边缘设备上进行无监督的12导联心电图异常检测。系统结合了三种自编码器架构（VanillaAE、ConvAE、VAE），基于Flower框架实现跨十个模拟医院的联邦平均聚合，并集成客户端差分隐
On the Study of Biometric Spoofing Detection using Deep Learning
该研究聚焦于生物特征识别系统中的欺骗攻击检测问题。随着人脸识别等生物特征系统在安防领域的广泛应用，攻击者利用伪造的生物特征数据（如照片、视频、3D面具）进行欺骗攻击的风险日益突出。为评估现有深度学习模型在检测此类攻击上的有效性，论文选取了四
JailbreakOPT: Tool-Assisted Iterative Jailbreak Prompt Optimization
本文提出 JailbreakOPT，一个工具辅助的迭代式越狱提示优化框架，旨在自动化生成更强大的单轮越狱攻击提示，以暴露大型语言模型（LLM）的安全漏洞。现有方法存在权衡：手工设计的提示虽表达力强但静态，而迭代优化虽能自适应但通常依赖低级变