#integrity-certification

共收录 1 条相关安全情报。

← 返回所有主题
推荐 5.6
Conf: 50%
👥 作者: Anmol Pandey, Aditya Jain, Liang Chen, Carsten Maple, Christo Panchev

该论文研究的是 LLM 智能体(agent)在执行高权限、往往不可逆的结构化操作(例如「支付某张发票」)时,如何对其动作完整性与来源可信性进行可证明的认证。作者指出当前威胁模型的关键特点:智能体并不是从一个单一可信答案中取值,而是从多份文档与工具输出中抽取「动作关键字段」(如收款方、金额、账号)再组装成一个动作;攻击者可以污染其中部分来源,且间接提示注入(indirect prompt injection)还能直接驱使模型去提取攻击者选定的字段值。现有防御要么只依据来源的信任标签做门控(gating),要么只对自由文本答案的质量做认证,二者都无法在「考虑共享上游来源的污染预算」下认证一个耦合的、受策略约束的结构化动作。 为此,论文首先刻画了一个结构化动作在什么条件下才是「可安全认证的」,并给出「最大活性安全认证器」(maximally live safe certifier):只有当每个字段都通过其证据结构所支持的规则时才放行动作。具体包含三类机制:(1) 在「污染可区分」(corruption-distinct)的证据类别上限定一个有界污染半径,并用最小命中集(minimum hitting set)来计数,使得重复发布或「洗白」后的副本无法伪造出多数票;(2) 对互补字段采用确定性对账(deterministic reconciliation);(3) 当某字段只有单一来源时,必须依赖一个可信锚点(trusted anchor)。作者形式化定义了两种鲁棒性概念,通过消融实验逐一验证各机制的必要性。 实证部分,作者测量了多源前提在真实场景中的成立频率:制裁名单实体(70,966 个实体)与软件供应链溯源数据(450 个软件包)。在上界代理指标下,真正的交叉印证在两类数据中都属于少数现象;而朴素地统计「证明条数」会高估印证程度——那些看起来相互独立的见证者,在计入共享来源后往往坍缩为两个「污染可区分域」。在真实智能体回路中对五个当前模型测试,一个贴近现实的注入攻击除一个模型外骗过了其余全部模型,而采用朴素策略的智能体会在大多数攻击上执行欺诈动作。认证器不会放行任何不安全动作,并在印证条件允许时恢复出正确取值;相比之下,动作门控与溯源类基线在其实验台的每一个世界设定中都被其攻击空间中的某种攻击攻破。 适合读者:LLM 智能体安全、提示注入防御、AI 供应链与数据溯源、可信/可验证 AI 方向的研究者与安全工程师。

💡 推荐理由: 智能体正在被授予付款、改配置等不可逆操作权限,而现有信任标签门控和文本质量认证都无法覆盖「多来源拼装出的结构化动作」。本文给出了可证明安全的认证条件与最大活性认证器,并指出真实数据中真正的多源印证远比想象中稀缺——这对设计智能体动作授权与注入防御有直接指导意义。

🎯 建议动作: 研究跟进,并纳入内部智能体动作授权与注入防御方案评估

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)