Trust the Brand, Lose Control: How Identity Hijacks LLM Agent Orchestration
该论文研究 LLM 智能体编排(orchestration)中的身份可信问题。当前 LLM 智能体已能端到端执行任务并拥有修改真实系统的权限,还常会调度能力与成本各异的子智能体。以往工作把「选哪个子智能体」当作优化问题,但作者指出:编排器实
今日共收录 1279 条安全情报,包含 376 个 CVE,505 篇安全通告,以及 100 篇研究论文。
← 返回归档列表该论文研究 LLM 智能体编排(orchestration)中的身份可信问题。当前 LLM 智能体已能端到端执行任务并拥有修改真实系统的权限,还常会调度能力与成本各异的子智能体。以往工作把「选哪个子智能体」当作优化问题,但作者指出:编排器实
该论文研究的是 LLM 智能体(agent)在执行高权限、往往不可逆的结构化操作(例如「支付某张发票」)时,如何对其动作完整性与来源可信性进行可证明的认证。作者指出当前威胁模型的关键特点:智能体并不是从一个单一可信答案中取值,而是从多份文档
该论文指出,机密计算依赖可信执行环境(TEE)保护使用中数据的机密性与完整性,但 TEE 的远程证明仅能保证初始内存状态的完整性,这种静态、一次性的信任模型与交互式开发流程存在根本冲突。例如 LLM 微调和探索性数据分析需要人在回路,包括动
该论文针对大语言模型智能体(LLM Agent)在知识产权保护上的一个空白点:智能体通过多步交互与工具调用可以获得复杂能力,其产生的完整轨迹(trajectory)具备很高的蒸馏价值,攻击者可以非法采集这些轨迹来训练(蒸馏)出能力相近的学生
多智能体 LLM 系统正越来越多地被用于复杂、长周期的任务,同时也因智能体在真实环境中互相交互而自发形成。这类系统在带来任务泛化能力的同时,也引入了显著的安全与安全风险:支撑任务泛化的灵活通信协议同样暴露了新型威胁,从级联式提示注入(cas
该论文研究的是「工具型智能体(tool-using agent)安全评测」中的一个现实工程问题:如何对智能体执行轨迹(trace)进行回溯性的安全判定。作者指出,当前主流做法是让生成式大模型充当裁判(generative LLM judge
该论文研究监督微调(SFT)流程中被长期忽视的一个隐私风险。当前大模型适配下游任务普遍依赖众包方式收集用户对话作为 SFT 数据,以降低人工标注成本,但这也意味着不受信任的用户可以向微调数据管道中注入数据。作者提出的核心问题是:恶意用户是否
该论文研究的是大语言模型(LLM)生成代码的安全性问题。背景是:LLM 可以生成功能正确但存在安全弱点的代码,因此出现了一类"先诊断弱点类型、再决定如何修复"的修复流水线。这类流水线依赖 Common Weakness Enumeratio
Planarian 是一篇来自 cs.OS / cs.AI 交叉方向的研究工作,聚焦于 LLM agent 的运行时状态管理问题。研究背景是:LLM agent 在执行复杂任务时,会迭代地修改文件、调用本地工具并与远程服务交互,从而在本地环
该论文研究的是工具型 LLM Agent(tool-enabled agent)在“调用形成”与“调用派发”之间的语义断层问题。Agent 依据模型可见的工具接口描述(descriptor)生成调用,而真正决定执行行为的是宿主机在稍后阶段选
该论文关注的背景是:基于大语言模型(LLM)的 Web 智能体(Web agent)已经能够自主替用户完成浏览、填表、下单等在线任务,但网页中普遍存在的欺骗性设计(dark patterns,如诱导性默认选项、隐藏条款、视觉误导按钮)会把这
该论文研究 LLM 智能体面临的间接提示注入(IPI)防御问题。作者指出,虽然基于训练的防御通常被认为最可靠,但现有方案多在静态、显式的注入分布上优化,学到的是表面形式线索,而非“服务用户目标”与“服从注入目标”之间的本质边界;因此当恶意意
该论文研究了一个在 LLM 隐私保护实践中长期被忽视的空白:现有的「匿名化 LLM 代理」方案(如剥离账号标识、通过中间代理转发)只能切断用户身份与提示词之间的显式关联,但提示词内容本身仍然原样暴露给 LLM 服务商。作者指出,服务商可据此
该论文研究 LLM 编码智能体(LLM coding agents)在解题过程中产生的"安全债"问题。背景是:当前对编码智能体的评测几乎只关注最终提交的代码产物(pass/fail 或测试通过率),而智能体在到达最终解之前往往要经历数百个中
该论文关注云端大语言模型(LLM)在医疗、法律等敏感领域落地时的核心矛盾:用户必须把明文数据交给服务方推理,而现有的隐私保护方案(如同态加密、安全多方计算、差分隐私、联邦学习、表征加噪等)普遍存在明显短板——要么以牺牲任务效用为代价,要么带
该论文研究模型蒸馏攻击的防御评估问题。蒸馏攻击指攻击者系统性地收集闭源前沿大模型的推理轨迹(reasoning traces),再以此训练自有模型,从而以极低成本复制前沿模型的推理能力。现有防御方案通常在蒸馏刚刚结束时就进行评估,隐含假设攻
该论文针对 Agent2Agent(A2A) 多智能体运行时证据的取证难题提出 A2A-ForensicTrace 框架。背景是:安全相关的 A2A 执行往往跨越组织边界,参与的系统分属不同主体,调查人员事后难以对所有参与节点进行实时访问,
本文针对大语言模型(LLM)部署中的安全拒答问题提出了一种新的推理期干预框架。背景是:随着 LLM 应用日益广泛,模型必须避免对有害提示给出不安全回复;激活引导(activation steering)是一类无需更新模型参数、仅在推理时修改
该论文关注的是 LLM Agent 作为商业服务被部署后所面临的「Agent 重打包(agent repackaging)」风险:攻击者通过 API 将受保护的 Agent 集成进自己的应用中,并以自己的品牌身份对外提供,同时可能对执行流程
本文研究一个尚未被充分回答的问题:大语言模型(LLM)能否胜任密码协议的符号化形式验证。作者指出,尽管 LLM 在软件与安全分析任务中表现亮眼,但其在密码协议符号验证中的真实能力缺乏系统评估,因此开展了首个系统性评测。为量化这一能力,论文提