Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents
大型语言模型驱动的Web代理(Web Agent)正越来越多地被部署在真实环境中,它们需要处理不可信的网页内容并执行具有直接后果的操作,因此容易受到提示注入攻击——看似良性的内容中嵌入对抗性指令以操纵代理行为。现有的安全基准采用“攻击中心”
共收录 1542 条相关情报。
← 返回所有主题大型语言模型驱动的Web代理(Web Agent)正越来越多地被部署在真实环境中,它们需要处理不可信的网页内容并执行具有直接后果的操作,因此容易受到提示注入攻击——看似良性的内容中嵌入对抗性指令以操纵代理行为。现有的安全基准采用“攻击中心”
本文针对当前大语言模型(LLM)驱动的AI系统自主渗透能力评估中存在的局限性,提出了一种新的自主渗透评估框架。现有评估方法存在方法论不透明、测试场景不现实、给予LLM过多先验知识和任务指导等问题,无法准确反映现代AI系统在高影响网络攻击场景
该论文聚焦于层级多智能体系统(MAS)的安全性问题,该类系统正快速部署于金融、软件工程等高风险工作流中。由于安全和保障职责分散在不同角色的智能体之间,攻击面显著扩大,尤其是面临权限提升和跨智能体共谋等协调性对抗行为时。现有红队测试方法存在局
比特币闪电网络(LN)作为一种低成本、隐蔽的通信通道,可能被攻击者利用来构建僵尸网络,现有研究如LNBot和D-LNBot只是概念验证,且仅通过模拟评估,缺乏对现实拓扑形成、传播复杂性和抵御拆除能力的深入理解。本文提出LNTest,这是第一
该论文聚焦于持久性 LLM 代理系统中的多会话记忆投毒(MSMP)攻击及防御。随着检索增强生成(RAG)代理广泛使用跨用户会话累积的持久记忆,攻击者可通过正常交互注入精心构造的记忆,当这些记忆被后续用户检索时,可操纵代理的响应,而无需修改模
该论文聚焦于移动GUI代理(如基于截图的智能体)在执行任务时面临的隐私暴露问题。这类代理通过模拟人类用户操作手机应用,需要实时截取屏幕截图发送给远程的多模态模型进行处理。然而,截图会包含大量与当前用户请求无关的敏感信息(如联系人、消息、照片
本文研究视觉-语言智能体系统(VLAS)中的后门攻击问题。VLAS将视觉感知与规划、工具使用和物理动作相连接,因此后门触发器可以通过决策管线及其连接的接口传播,使视觉后门成为系统级威胁。当前评估仅关注干净准确率和攻击成功率(ASR),这些指
该论文介绍了ECYSAP EYE项目,旨在为运营组织提供超越孤立技术警报的网络态势感知(CySA)能力,输出可嵌入异构工具链和网络安全/防御流程的任务相关工件。其核心是一种面向采用的系统之系统(SoS)架构,围绕七组任务聚焦的工件设计:认知
该论文提出 OCELOT,一种用于保护 LLM Agent 隐私的运行时中介系统。LLM Agent 在执行用户任务时,需要读取个人文件、调用工具、与外部服务交互,这可能导致个人身份信息(PII)在多个信任边界间泄露。隐私问题在这里具有三个
该论文针对生产环境中AI代理的运行时治理问题,提出了一种五平面参考架构。传统企业安全基于数据边界防护,但AI代理通过读取上下文、调用工具、连接器和修改系统记录,将风险内化于工作流内部的行动序列中,这些序列可能组合出未授权的业务流程变更。现有
这篇论文研究了LLM智能体图内存中的选择完整性问题。现有的溯源防御机制只检查智能体检索记录的来源,但忽略了选择过程本身可能被操纵。作者证明,这种基于溯源的防御在结构上是盲目的:长期图内存会对可写图结构进行全局选择步骤,不受信任的参与者写入的
该论文提出了一种针对已部署安全分类器的在线分布漂移监测系统。系统利用校准的序贯统计量(如加权共形预测或逻辑密度比估计)实时检测分类器的输入分布是否发生变化。一旦检测到漂移,系统会通过共形弃权层自动调整决策阈值,以恢复预设的目标错误率(ε=0
随着消费级物联网(IoT)设备的迅速普及,传统集中式异常检测方法面临通信瓶颈、单点故障和隐私泄露等严峻挑战,尤其难以应对基于人工智能的复杂网络攻击。本文提出 SwarmSense-DNN,一种新颖的去中心化神经网络框架,融合群体智能与深度神
本文旨在评估开源大型语言模型(LLM)代理在静态应用安全测试(SAST)中的有效性,以探索其能否替代传统SAST工具。研究背景是:随着生成式AI的发展,基于LLM的安全代理引起了广泛关注,但开源模型在专业化安全任务中的实际表现尚不明确。核心
本文针对LLM代理技能的安全问题提出了一种名为Runtime Skill Audit(RSA)的动态分析方法。代理技能允许LLM代理复用指令、资源、工具和工作流,但也为恶意行为提供了藏身之处。一个技能可能在文档或代码中看似良性,但只有在特定
本文针对自主代理基础设施面临的关键控制平面授权问题,提出了一种名为主权保证边界(Sovereign Assurance Boundary, SAB)的证书绑定运行时准入层。随着AI代理和自主系统能够产生非确定性推理并提议对生产资源进行高风险
该论文聚焦于协作边缘-云推理场景中的隐私泄露问题。资源受限的设备通过将部分计算卸载到云服务器来利用大型语言模型(LLM),但中间激活值在传输过程中容易受到提示反转攻击,即攻击者从共享表示中重构原始用户输入。现有防御方法多依赖启发式扰动或经验
本文提出 JailbreakOPT,一个工具辅助的迭代式越狱提示优化框架,旨在自动化生成更强大的单轮越狱攻击提示,以暴露大型语言模型(LLM)的安全漏洞。现有方法存在权衡:手工设计的提示虽表达力强但静态,而迭代优化虽能自适应但通常依赖低级变
检索增强生成(RAG)系统通过在推理时从外部知识源检索文档来增强大语言模型的生成能力,但这种对外部检索内容的依赖也引入了投毒攻击的脆弱性:攻击者可以通过注入对抗性文档来操纵检索过程和生成输出。本文通过一个涵盖432种配置的全因子实验研究,系
本文针对非技术用户在使用OpenClaw(一种新兴的AI代理框架)时面临的安全风险进行了系统性的研究。OpenClaw能够自主执行复杂的多步骤任务,吸引了大量用户,但现有安全研究主要面向技术专家,对非技术用户不够友好。作者首先识别并分类了七