AgentGuard: An Attribute-Based Access Control Framework for Tool-Use LLM-Based Agent
本文提出一个名为AgentGuard的基于属性的访问控制框架,旨在解决基于大语言模型(LLM)的智能体在自主调用工具时面临的安全风险。LLM智能体能自动调用多种工具完成复杂任务,但现有应用存在隐私泄露、财产损失甚至系统被完全控制的风险。Ag
共收录 1542 条相关情报。
← 返回所有主题本文提出一个名为AgentGuard的基于属性的访问控制框架,旨在解决基于大语言模型(LLM)的智能体在自主调用工具时面临的安全风险。LLM智能体能自动调用多种工具完成复杂任务,但现有应用存在隐私泄露、财产损失甚至系统被完全控制的风险。Ag
该论文重新评估了生成式引擎优化(GEO)中的提示注入攻击在真实检索增强生成(RAG)系统中的有效性。先前的研究表明,通过提示注入可以将目标产品推至LLM推荐列表的顶部,成功率约80%,但假设被攻击的文档始终直接输入生成器,忽略了检索器和重排
本文提出了一套名为“Cloak, Honey, Trap”的主动防御框架,旨在保护LLM智能体(LLM Agents)免受恶意指令注入和操纵攻击。随着LLM智能体被广泛部署到自动决策、工具调用等场景,攻击者可通过诱导智能体执行未授权操作或泄
本文展示了一种针对内省适配器(Introspection Adapters)的攻击方法。内省适配器是一种用于审计大型语言模型内部状态的机制,旨在检测模型是否遵循安全约束。研究者发现,由于内省适配器依赖的对称性假设(例如,模型内部状态与审计信
本文聚焦于聊天代理(chat agent)记忆系统中的成员推断攻击(MIA)。现有MIA研究主要针对训练语料库或检索数据库,但代理记忆包含敏感的用户-代理交互、检索事实和用户偏好,其隐私泄露风险尚未被充分探索。作者提出了一种统一的攻击方法—
该论文提出了 QSignAI 平台,一个已部署的开源系统,展示了人工智能与量子科学在实时事件参与系统中的双向结合。研究背景是 2024-2025 年诺贝尔奖和图灵奖同时表彰人工智能和量子科学,但现有身份系统仍依赖伪随机令牌,量子电路对大众不
本文提出了 AgenticVBench,一个用于评估多模态 AI 智能体在真实世界视频后期制作任务中表现的全新基准。视频制作工作流需要智能体具备文本、图像、音频、视频的综合理解能力,以及长期规划和工具使用能力。该基准包含来自 20 位平均
本文提出一种名为Poison-with-Style (PwS)的实用且隐蔽的模型投毒攻击,针对代码大语言模型(CLLM)。与以往假设攻击者能够在推理时主动将显式触发器(如特定单词)嵌入开发者提示中的攻击不同,PwS利用开发者的代码风格作为隐
该论文类比生物学中的物种起源,探讨了合成信息(如AI生成内容)的溯源问题。核心挑战在于:当代AI模型生成的“后代”数据可能在结构和信号层面与原始来源差异巨大,导致进化谱系难以追踪。受遗传学启发,作者提出一种基于隐写术的谱系追踪机制:在合成信
本文提出 Grimlock,一种面向高自主性智能体系统的安全守卫框架。随着智能体系统越来越多地运行用户自编的编排代码,这些代码会调用工具、生成子任务并在多机器云环境间委托工作,这种高自主性带来了安全挑战:身份、授权、溯源和委托往往分散在应用
本文提出一种名为 BAIT (Boundary-Aware Iterative Trap) 的三步越狱框架,旨在通过内部披露的方式使大型语言模型泄露恶意内容。该方法首先要求模型识别其保护边界(如内容安全策略),然后让模型细化该边界,最后请求
本文总结了2025年对两个专有AI代理产品进行的渗透测试结果,评估了具有执行能力的AI代理系统的安全态势。随着AI系统自主性和执行能力的增强,安全漏洞数量持续上升,但许多漏洞并非新颖,而是反映了此前计算系统中长期存在的弱点类别。执行型AI代
该论文针对检索增强生成(RAG)系统面临的知识投毒攻击,提出了一种基于信息流控制的防御框架CORDON-MAS。研究发现,现有防御方法(如污染检测)存在监控-控制差距:模型能够检测到检索结果中的矛盾证据,但仍会基于被污染的文档生成有害输出。
本文针对6G网络切片中的跨切片攻击归因问题,提出了一种名为DA-GC的认证因果关系框架。在6G网络中,多个网络切片共享底层基础设施,攻击可能通过资源争用等路径传播,导致标准Granger因果检验难以区分真实因果与虚假相关。现有方法在满足10
大型语言模型(LLM)已开始支持自动化软件安全任务,如漏洞发现和概念验证(PoC)生成。然而,现有基准测试依赖模糊测试框架、目标特定描述或漏洞复现任务,未能真实评估LLM在实际漏洞挖掘场景中的表现。为此,本文提出了SEC-bench Pro
该论文提出了ChainCaps,一种用于工具使用型AI智能体的运行时安全机制,旨在解决工具组合中的“权限洗钱”问题。在开放环境中,智能体可以动态组合文件系统、Web API、代码解释器和企业服务,但即使每个工具单独通过了权限检查,组合后的端
本研究针对基于大语言模型(LLM)的代理在工具调用中面临的间接提示注入攻击问题。现有防御方法要么在工具调用层面进行值检查而不追踪参数来源,要么从单一视角分析执行痕迹而缺乏干净的授权基线。作者提出 AuthGraph,一种双图对齐防御框架,构
随着AI代理(AI agent)越来越多地在开发者机器上运行不受信任的代码,例如由语言模型生成的shell命令、运行时检索的第三方脚本以及来源不明的工具插件,现有的隔离机制在适配此类工作负载时存在明显不足。容器和微虚拟机增加了特权、镜像管理
该论文提出了一种名为 CyberEvolver 的自主进化网络安全智能体框架,旨在解决现有基于大语言模型(LLM)的智能体在安全任务中依赖固定人工设计的脚手架、难以适应不同目标和故障模式的问题。论文首先分析了自进化在网络安全领域的三大挑战:
该论文研究了视觉-语言-动作(VLA)模型在机器人部署中的能力与鲁棒性之间的理论权衡。VLA模型在干净输入上表现出高成功率(如OpenVLA-7B在LIBERO基准上超过95%),但在微小对抗扰动下性能急剧下降(例如16/255的PGD攻击