#trust-boundary

共收录 10 条相关安全情报。

← 返回所有主题
👥 作者: Hang Cui

该论文聚焦 LLM Agent 安全分析中的一个基础性难题:如何判定模型生成的决策是否会真正触达安全敏感能力。现有方法通常以「预定义的敏感操作(sink)」作为分析锚点,例如命令执行、文件系统读写、网络通信、浏览器控制以及外部工具调用等。但作者指出,仅凭操作身份(operation identity)无法判断其安全含义——同一个工具调用在不同上下文中可能是被严格守卫的正常业务逻辑,也可能是未经校验、跨越信任边界的高危行为。 为解决该问题,论文提出 AgentSecGraph,一个安全感知的静态分析框架。其核心产物是「以候选者为中心」的 Security-Aware Agent Dependency Graph(Security-ADG):对每一个检测到的安全敏感操作候选,构建一张依赖图,并在操作身份之外叠加多维度证据,包括:(1) 该操作与 Agent 的相关性(是否真的由 Agent 决策驱动);(2) 来源与依赖证据(数据从何处流入该操作);(3) 信任边界上下文(是否跨信任域);(4) 守卫证据(guard,是否存在校验、白名单、确认机制等);(5) 外部效应语义(操作对外部系统产生的实际影响)。 为支撑评测,作者构建了 AgentSecBench 语料库,覆盖 67 个真实 LLM Agent 仓库、11 个生态、37,542 个源文件。当前分析器在 65 个仓库中识别出 23,866 个静态安全敏感操作候选,并为每个候选输出一个 Security-ADG 产物。全语料分析为 9,821 个候选(41.15%)恢复了 source-to-operation 依赖证据,为 3,075 个候选(12.88%)恢复了潜在守卫证据,整体耗时 50.8 分钟。 在独立的人工复现(reproduction-backed)评估层中,作者在 13 个仓库上确立 22 个安全敏感行为,包括 1 个已确认漏洞、1 个待披露候选、20 个受守卫行为。在 9 个留出(held-out)案例中,Security-ADG 保留了 91.1% 的参考上下文以及全部 5 个观测到的守卫;作为对比,仅看 sink 的视图只保留 20.0%,简化版 ADG 保留 40.0%。结论是:安全感知的依赖与上下文证据能够支撑一些仅凭敏感操作身份无法恢复的区分能力,为 Agent 安全审计提供了更贴近真实语义的静态分析基础。

💡 推荐理由: LLM Agent 的风险判定长期依赖「敏感操作清单」,误报高、难以解释。本文把 Agent 相关性、数据来源、信任边界、守卫证据与外部效应纳入统一的依赖图,并给出可复现的 67 仓库语料与评测层,为 Agent 供应链安全审计与自动化代码审查提供了可落地的分析范式与量化基线。

🎯 建议动作: 研究跟进;评估将 Security-ADG 思路纳入内部 Agent 资产静态审计与 CI 门禁的可行性

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Haokai Ma, Chieh Lin, Yupeng Qiu, Ee-Chien Chang

该论文研究的是 OpenClaw 类「计算机使用型智能体(CUA)」中长期工作区记忆(persistent workspace memory)带来的新型攻击面。这类智能体把用户指令、系统摘要和来自外部的内容统一以自动重载文件的形式持久化保存,所有内容处于同一权限等级;问题在于「被记住的内容即获得权威」——一旦某条外部声明被写入记忆,它在后续任务中就天然具备指导行为的权力。作者据此提出「持久记忆攻击」(persistent memory attack):攻击者只需控制看似无害的外部内容(如网页、文档、工具返回值),在用户执行一次正常任务的过程中诱导 CUA 把有利于攻击者的声明写入记忆,此后这些声明便会在攻击者完全接触不到的另一些正常任务中支配智能体行为。攻击链由此从传统的「恶意上下文 → 恶意响应」升级为「恶意上下文 → 记忆注入 → 恶意执行」,形成跨环境(跨会话、跨任务、跨域)威胁。作者指出既有防御要么在内容进入记忆之前拦截,要么在最终动作处拦截,均未解决「已存储的内容是否有资格指导行动」这一核心问题。为此提出 ZoneClaw:将「持久性」与「权威性」解耦,用带显式权威等级的分层信任区(hierarchical trust zones)取代扁平工作区记忆。外部声明只能持久化在低信任区,只有跨越显式权威边界才能获得指导行动的权限,而跨边界提升(promotion)必须与攻击者无法直接写入的高信任区进行交叉校验。该边界由角色分离、权限不对称的多个进程强制执行,保证不存在任何既摄入外部内容又对外执行动作的单一进程。实验覆盖 4 种攻击场景、2 种注入设置和 4 个骨干模型:攻击成功率从 372/480 降至 6/480,同时在 458/480 次试验中保持任务效用,并且对部分「防御感知型」攻击者依然有效。值得注意的是,攻击者声明仍会保留在低信任记忆中,只是极少越过权威边界,说明 ZoneClaw 是「扣留权威」而非「拒绝从环境中学习」。代码已开源于 GitHub。

💡 推荐理由: 智能体持久记忆把「记住」变成「授权」,使一次无害任务中的外部内容可在后续无关任务中持续生效,传统按单次会话或单次动作布防的思路会失效。ZoneClaw 的信任分区 + 进程角色分离思路,为企业落地 CUA 提供了可迁移的记忆治理与权限边界设计参考。

🎯 建议动作: 研究跟进:建议安全团队精读论文与其开源实现,并将记忆分区与权威边界纳入内部 CUA 安全评估清单与红队测试用例。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
👥 作者: Yan Wang, Zhihao Zhang, Ke Chen, Kai Chen, Yaqin Zhang, Duohe Ma, Jun Dai, Xiaoyan Sun

随着 LLM Agent 从"对话助手"演变为"可扩展执行体",可安装的 Skill(由指令、代码与资源打包而成)成为其能力扩展的主要方式:Skill 一旦安装,便可在后续用户任务中被自动调用。这形成了一条信任链——用户把权限委托给 Agent,而 Agent 框架在缺乏充分校验的情况下,将 Skill 提供的内容直接注入模型上下文,于是不可信的 Skill 内容得以在被委托的权限下影响 Agent 行为。论文提出的核心问题是:这一信任模型能否在触及安全敏感操作之前有效约束不可信 Skill 内容?现实中此类信任违规究竟有多普遍? 为此作者提出 TrustProbe 框架,分三阶段工作:第一,静态分析 Agent 源码,识别从"Skill 可控输入"到"安全敏感操作"的 source-to-sink 调用路径,即污点传播链;第二,生成语义逼真、贴近真实生态的 SKILL.md 种子,并注入 canary 标记,再通过反馈引导的调度与变异策略迭代进化这些测试样例,以探索更深的调用路径;第三,使用 oracle 对候选漏洞进行验证,既确认数据流确由攻击者可控,又确认存在可观测的实际危害,从而降低误报。 实验覆盖 11 个开源 Agent(其中 8 个 GitHub Star 超过 1 万),共识别出 104 个污点式(taint-style)漏洞。作者进一步从 ClawHub 等公共 Skill 仓库收集大规模真实 Skill 语料进行验证,发现 25.1% 的 skill-agent 试验会实际触发已识别的易受攻击路径,且通过 payload 注入成功武器化了其中 15 个漏洞。论文结论是:基于 Skill 的 LLM Agent 存在系统性的信任失效——不可信 Skill 内容能够抵达安全敏感操作,并实际行使用户委托给 Agent 的权限。 适合读者:LLM Agent 框架与运行时开发者、Agent 应用平台安全团队、AI 供应链安全与漏洞研究者,以及关注 Agent 风险治理的 SOC/红蓝队人员。

💡 推荐理由: Agent 生态正快速引入第三方 Skill,其"安装即可自动调用、内容直接进上下文"的设计把模型变成了权限传递通道。该研究证明这类信任链在真实开源 Agent 中普遍可被击穿,对 Agent 平台与使用者的供应链安全评估具有直接参考价值。

🎯 建议动作: 研究跟进:阅读论文原文,评估 TrustProbe 的污点分析与验证方法可否移植到本单位 Agent 平台;对在用 Agent 框架与第三方 Skill 开展同类路径自查

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Eilon Cohen, Ariel Fogel

该论文研究了 AI 编排平台(如 n8n 一类的工作流自动化/编排产品)中用于保护用户自定义表达式的沙箱机制,并提出了一个核心论断:这类沙箱本质上是“怪异机器(weird machine)”——其指令集并非设计者所设想的受限子集,而是底层语言规范的完整语义空间。当前业界普遍采用的“枚举加阻断(enumerate and block)”思路,即通过 AST 重写、运行时属性黑名单、模板沙箱环境等方式穷举危险操作并逐一封堵,作者认为在结构上是不可修复的,其演进轨迹与历史上 Java SecurityManager、vm2 等沙箱技术最终被弃用的情况一致。为验证该论断,作者针对 n8n 的表达式沙箱开展了三轮逐级升级的绕过研究,累计产出三个 CVE,其中两个 CVSS 评分为 9.4,并包含一个无需认证即可利用的漏洞,论文同时将这些发现归纳为编排产品类别中普遍存在的沙箱失效模式。作者进一步提出“信任洗白(trust laundering)”模式:编排流水线与上层应用会在多层转换中逐步剥离输入的污点标记,使原本由攻击者控制的外部输入最终获得完整凭据与权限。此外,论文指出 AI 辅助的枚举能力会显著加快此类覆盖缺口的发现速度,从而压缩沙箱从部署到被攻破之间的时间窗口。在防御侧,论文贡献了一套 AST 覆盖分析方法论、配套的开源工具,以及一份防御手册,其中将“策略反转”(以允许列表取代黑名单)作为结构性缓解措施。论文适合应用安全工程师、编排/自动化平台开发者、SOC 检测工程师以及对 AI 代理与工作流安全感兴趣的研究者阅读。

💡 推荐理由: 编排平台是 AI Agent 与自动化流水线的权限汇聚点,其表达式沙箱一旦失效往往直接导致凭据窃取与横向移动。论文给出可复用的 AST 覆盖分析方法与允许列表式结构性缓解思路,并揭示了跨层级“信任洗白”这一常被忽视的权限提升路径。

🎯 建议动作: 研究跟进,并将 AST 覆盖分析方法与允许列表策略纳入内部编排/自动化平台的沙箱评估与安全评审流程

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
👥 作者: Li Zhang, Yang Sun, Jie Shi

本文对"AI 原生操作系统"路径上的安全问题进行了系统化梳理(systematization)。研究背景是:大语言模型智能体已不再是单纯的文本生成器,而是被授予了高权限的主体(principal),能够直接编辑代码仓库、操作用户收件箱、完成支付交易等具有现实后果的动作。作者指出,这种权限实际上达到了"内核级"——但与传统操作系统内核不同,它缺少经典系统安全所依赖的前提:在每一次访问上插入一个可信的仲裁者(trusted mediator),即"完全中介"(complete mediation)。当前操作系统厂商正围绕这一"事实上的智能体内核"重建平台,因此如何把完全中介重新设计回来,成为一个核心的系统工程问题。 论文围绕一个关键区分来组织全部讨论:跨越信任边界时,若该跨越可以依据"来源/出处"(provenance)来判定,就能进行确定性检查;而若必须依赖"内容语义"来判断,则无法做到确定性。作者据此提出一个信任边界分类法(trust-boundary taxonomy),用以定位中介必须发生的位置,并识别出核心的"中介缺口":它集中体现为两类语义判断——(1) 在不可信输入中区分"数据"与"指令"(即提示注入类问题的本质);(2) 区分"已授权动作"与"未授权动作"。作者论证:只要输入和动作没有被事先限制在一个可枚举集合内,这一缺口就会留下无法彻底消除的残余攻击面。 该区分的第二个用途是让攻击成功率数字变得可解释:把每一个统计数字放在从"部署债务"(确定性中介本已存在但未被启用)到"结构性缺口"(尚不存在此类中介)的谱系上,从而判断某个数字反映的是工程落地不足还是根本性理论限制。论文随后从运行时监控、架构隔离与授权三个方向系统整理了现有防御,并指出当前评测普遍因"评测有效性失效"(evaluation-validity failure)而高估了实际部署中的安全性。最后,作者把分析推进到超越"事实内核"的未来架构:模型本身成为仲裁核心,并据此推导出面向安全优先的 AI 原生操作系统的设计约束、开放挑战与研究议程。 该工作属于立场/系统化综述类研究,价值在于提供统一的威胁分析与防御评估框架,而非提出具体新攻击或新工具。适合操作系统安全、智能体安全、LLM 应用架构与安全评测方向的研究者与架构师阅读。

💡 推荐理由: 它为智能体安全提供了统一的分析语言:用"provenance 可判定 vs 语义不可判定"来划清哪些风险可通过确定性中介消除、哪些是结构性残余,并揭示当前评测高估部署安全性的问题,可直接用于评审企业内智能体架构与权限设计。

🎯 建议动作: 研究跟进:纳入内部智能体平台安全架构评审参考,作为威胁建模与评测有效性的对齐框架

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yuxuan Zhang, Jeff Huang, Guofei Gu

该论文针对大语言模型(LLM)系统中的间接提示注入(Indirect Prompt Injection, IPI)问题提出了一种架构级防御方案。作者指出,IPI 之所以长期难以根治,根本原因在于标准 Transformer 架构缺乏对「来源权威性」的建模能力:检索到的文档、用户输入和系统指令全部经由同一套无差别的注意力机制处理,模型只能依靠文本措辞去猜测哪些内容应当被服从、哪些内容应仅被视为数据。为从根本上解决这一结构性缺陷,论文提出「来源感知 Transformer(Provenance-Aware Transformers)」,将应用层提供的来源标签转化为模型内部可操作的信号。具体做法是:为每个输入 token 分配一个表示其来源的 ring ID,并在模型中引入三类新组件——来源嵌入(origin embeddings)、可学习的来源注意力偏置(origin attention bias)以及可学习的来源缩放因子(origin scale,用于在归一化过程中保持来源信息不丢失)。三者共同作用,使模型在生成阶段能够强制维持权威来源与非权威来源之间的结构性边界,而非依赖后处理过滤或提示词约束。为了将这一架构落地到已发布的预训练模型上,作者设计了两阶段微调流程:第一阶段教会模型理解来源语义,第二阶段在 ring 约束下学习任务行为。评估结果显示,来源感知 Transformer 在分布内和分布外场景下均能保持对 IPI 的稳健抵抗能力,同时其通用任务效用与基础预训练模型相当,说明该防御并未以牺牲模型能力为代价。论文更宏观的贡献在于提出了一个新范式:将来源信息作为一等公民的架构信号暴露给模型,从而把 LLM 安全对齐从脆弱的模式匹配推进到显式的信任分离(trust separation)。

💡 推荐理由: 提示注入是当前 LLM 应用与智能体(Agent)最核心的信任边界问题。该工作把「来源权威性」从提示词工程提升为模型架构级机制,为构建可验证的信任边界提供了新思路,对做 LLM 安全对齐、RAG 与 Agent 防护的团队有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Ijaz Ahmad, Ijaz Ahmad, Flavio Esposito, Erkki Harjula

该论文关注网络边缘场景下自适应安全机制的一个根本性风险:随着自动化规划器(规则式控制器、学习型策略、LLM 辅助智能体)越来越多地把观测结果直接转化为执行动作,一旦规划器能够影响实时策略状态,仅靠语法层面的合法性校验已不足以保障安全。一个由不完整或被篡改的观测所生成的、语义上错误的动作,仍可能被无法判断任务上下文(mission context)的执行底座忠实地执行,从而造成实际破坏。作者把「规划器输出」与「内核执行入口」之间的边界本身作为首要安全对象来治理,提出一种分权控制(split-control)架构:不可信的规划器只能发出带类型的「安全意图」(typed security intents);一个确定性 governor 对每个意图进行准入检查,校验其在安全性、资源消耗、时间稳定性(temporal stability)与比例性(proportionality)四类不变量上的合规性;只有通过准入的意图才会被绑定到签名回执(signed receipts),并编译为预先安装的 eBPF map 更新,由内核侧执行。论文形式化了这一信任边界问题,定义了三个威胁类别,给出了 governor 的准入判定谓词(admission predicate),并实现了一个端到端原型。实验在连接高校 5G 测试网的 Raspberry Pi 5 测试床上开展,覆盖规则式规划器与 LLM 辅助规划器两类对象,结果显示 governor 能以微秒级开销完成意图的准入、拒绝与约束,且不破坏受保护流的规律性。论文强调其贡献既有概念性也有实证性:自适应安全体系不必信任动作的发起者,而需要一个能判定动作是否可被采纳的中介边界。适合研究边缘安全、可信 AI 智能体、eBPF 内核策略执行与零信任控制平面的读者。

💡 推荐理由: LLM 与自动化规划器正在接入真实策略执行面,提示注入或观测污染可直接变成内核级执行动作。该论文给出的「规划器不信任 + 确定性中介准入」范式,为 SOC 与边缘安全团队提供了一条可落地的防御设计思路,而非仅停留在模型层对齐。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 3.5
Conf: 50%
👥 作者: Richa Priyanka, Aaron Ortwein, Joel Reardon, Michael Specter, Piyush Kumar Sharma, Roya Ensafi

本文针对超级应用(super-app)这一新兴移动架构展开安全与隐私分析。超级应用在单一宿主 App 内运行第三方 mini-app(小程序),使用户在一个入口内获得多种服务。过去十年的超级应用生态安全研究几乎都默认宿主是「可信中介」,本文挑战这一隐含假设,指出该信任缺乏依据:微信已被证明会大规模被动追踪用户在 mini-app 中的活动;俄罗斯 MAX 的母公司被报道与国家对网络言论的刑事追诉深度关联;伊朗 Bale 则因国家支持而在全球最长的互联网断网期间仍可用。作者以俄罗斯 MAX 为案例研究表明,恶意超级应用在设计层面天然拥有足以静默削弱 mini-app 与用户安全隐私的能力,且不易留下痕迹:捕获 mini-app 的 UI 内容、读写其本地存储、向 mini-app 运行时注入任意 JavaScript、中介其网络流量,以及控制认证上下文从而实现静默的用户身份冒充。关键论点是这些能力并非 MAX 独有缺陷,而是源自架构本身赋予宿主的特权——任何采用该模型的超级应用都具备同等能力。作者据此呼吁移动操作系统与应用商店尽快介入,在架构盲点被进一步利用之前加以约束。论文属于案例研究+架构分析性质,适合移动安全研究者、OS/应用商店平台治理方、以及开发 mini-app 的产品与安全团队阅读。

💡 推荐理由: 长期被视为可信中介的超级应用宿主,实际具备读取 mini-app 存储、篡改运行时、中介流量与伪造认证上下文的架构特权,且难留痕迹。该信任假设一旦被推翻,现有依赖宿主隔离的小程序安全模型、企业移动办公与支付类场景都需重新评估。

🎯 建议动作: 研究跟进,并纳入内部移动应用/小程序安全评估基线

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Leming Shen, Shikai Geng, Yuanqing Zheng, Chris Xiaoxuan Lu

在多机器人协作系统中,任务交接通常依赖下游验证器对机器人上报的传感器遥测数据进行远程证明,以确保物理行为与所分配任务严格一致。然而,论文作者对该信任链提出了质疑:这些遥测数据本身是否可信?本文揭示了一个存在于 Robot Operating System 2 (ROS 2) 中的严重漏洞。攻击者只需修改单个环境变量,就能执行一个预构建的恶意 hook,在传感器数据与控制指令发布之前对其进行静默拦截和篡改。利用这一漏洞,攻击者可劫持物理机器人执行危险任务,同时通过伪造的遥测数据欺骗下游验证器,使信任边界彻底失效。更严重的是,由于广泛依赖第三方 Docker 容器与辅助工具,攻击者还可以分发植入恶意 hook 的软件包,以供应链方式扩大攻击面。作者在一台运行 Secure ROS 2 的实体 Franka Emika 机械臂上进行了验证,结果显示可以实时注入伪造遥测数据,时间抖动仅约 3ms,能够保持时间同步且不破坏硬件完整性,即使面对基于 AI 的检测器,成功率仍高达 87%。作者已通过负责任披露流程将问题反馈给 ROS 2 开发团队,并公布了演示视频链接。这项研究揭示了物理世界与数字世界之间的信任鸿沟,提醒安全社区:机器人系统的安全不仅依赖密码学认证,还必须在系统层面重新审视遥测数据的完整性和来源可信性。

💡 推荐理由: 该研究首次系统性地证明了从物理行为到数字遥测的信任边界可被低成本绕过,直接影响所有基于 ROS 2 的机器人协作与安全监控系统。对于使用机器人或自动驾驶平台的组织,这是对远程证明机制有效性的重要警示,也凸显了供应链投毒在机器人领域的实际风险。

🎯 建议动作: 研究跟进

排序因子: 有可用补丁/修复方案 (+3) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Doyeon Kim, Jin-Young Choi, Junghee Lee

该论文提出并系统化定义了“信任边界语义间隙”(Trust Boundary Semantic Gap, TBSG)这一概念:当一个工件跨过信任边界时,即使通过了正确的语法验证(如格式、协议、签名检查),其语义安全属性仍可能无法满足接收域的隐含安全需求,从而导致安全漏洞。作者通过对2014-2025年间75起公开安全事件进行边界层分析,归纳出一个四维分析模型(MDTBSG):身份(Identity)、空间(Spatial)、时间(Temporal)和解读(Interpretation)。基于该模型,他们开发了TBSAM(信任边界语义分析与缓解)设计时框架,该框架能够从设计规范中识别TBSG、对其排序、追踪传播间隙至其起源边界,并映射到候选架构控制。论文通过回溯重建SolarWinds/SUNBURST供应链攻击案例,展示了TBSAM如何显式化接收域的假设、区分本地起源与传播性间隙,并识别出能中断攻击路径的控制措施。研究主要贡献包括:首次形式化TBSG概念、提出多维度分类模型、以及一个可操作的设计时分析框架。适合安全架构师、安全设计人员和研究人员阅读。

💡 推荐理由: 该工作揭示了当前安全设计中对语义层面安全属性的忽视,弥补了仅依赖语法验证的局限性,为构建更健壮的信任边界提供了系统化方法和工具。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)