#detection-framework

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Ahmad Hashmi, Dhyey Patel, Yunting Yin

该论文研究的是 LLM 邮件助手面临的一类现实威胁:间接提示注入。由于邮件助手会从不可信的邮件正文、引用内容或历史线程中检索文本并放入模型上下文,攻击者只需在邮件中埋入指令,就可能影响助手后续的工具调用行为(如发送、转发、读取、修改日程等)。作者指出,现有提示注入检测器大多把问题简化为「恶意文本二分类」,这忽略了有害的 Agent 行为往往是分阶段形成的——从恶意意图的引入、对上下文的改写、到最终具体工具调用参数的生成,每个阶段的可观测性和可预测性都不同,因此单一文本分类器既容易漏报(早期阶段文本看似无害)又容易误报(正常营销邮件、签名、引用也含大量指令式语言)。 为此,论文提出一个「攻击链建模」检测框架,其组成包括:(1) 文本级检测器,用于识别可疑注入文本;(2) 针对攻击链各阶段的分阶段验证器,分别判断当前样本处于哪一阶段;(3) 显式的规则化风险信号(如注入模式、可疑检索来源等特征);(4) 用户意图与 Agent 动作一致性分析,即检查被检索邮件中的指令是否与用户原始请求存在冲突;(5) 逻辑回归决策策略,将上述多路信号融合为最终检测判定。为支撑该框架,作者从现有提示注入数据集中推导出攻击链阶段标签,并在多种评估设置下测试:随机划分、时间阶段迁移、条件阶段迁移、跨数据集迁移,以及多基准上的消融实验。 主要实验结论有三点:第一,随机训练/测试划分会显著高估模型在分布偏移下的鲁棒性,说明以往文献中高 F1 的检测结论存在评估偏差;第二,在攻击链中,偏后期的工具参数阶段比早期阶段更可预测,即靠近「动作落地」的信号更稳定;第三,在训练集中加入「形似攻击但实际良性」的困难负样本(如内容像指令的正常邮件),能在保持真实攻击检出能力的同时显著降低误报。在五个二分类基准上,该框架在严格阈值策略下取得平均 F1 = 0.406,而五个未额外训练的预训练检测器中最强者的 F1 仅为 0.216。作者强调,将攻击阶段预测与「用户请求 / 检索邮件指令冲突检查」结合,是提升邮件 Agent 注入检测效果的关键方向。

💡 推荐理由: 邮件 Agent 是 LLM 接入企业数据与工具的高风险场景,间接注入可绕过纯文本过滤直接驱动动作。该文提示:单点文本二分类不够,应做攻击链阶段建模与意图-动作一致性校验;并警示随机划分评估会高估防护能力,需按时间与跨数据集验证。

🎯 建议动作: 研究跟进:建议精读全文并复现其阶段标签构建与迁移评估方法,纳入内部邮件 Agent 安全评估基线。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)