#anomaly-detection

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Hung Dang

本文针对结构化工作流AI代理(由大型语言模型驱动执行工具调用)的安全问题,提出了一种基于遥测驱动的行为异常检测防火墙——BehaveGuard。该方法借鉴序列入侵检测思想,将已验证的良性工具调用遥测编译为参数化确定有限自动机(pDFA),定义允许的工具序列、上下文和参数范围。运行时,轻量级网关通过O(1)状态转移结构查找强制执行边界,而计算密集型分析离线完成。在Agent Security Benchmark(ASB)上评估,BehaveGuard在五个场景中宏观平均攻击成功率(ASR)为5.6%;在三个结构化工作流中ASR降至2.2%,优于现有最先进的无状态扫描器Aegis(12.8%)。对多步攻击和上下文序列攻击,结构化设置下ASR为0%。针对1000个算法拼接的渗透载荷,仅1.4%匹配有效结构路径,且所有存活路径因字符串参数守卫失败(0次成功,95%置信区间[0%, 23.2%])。BehaveGuard引入每调用2.2ms延迟(比Aegis快3.7倍),良性任务失败率(BTFR)为2.0%。研究表明,建模行为轨迹有效缩小攻击面,但未维护的连续参数边界仍易受同义词替换攻击(逃逸率18%),因此最终依赖精确匹配白名单应对敏感参数的执行防御。

💡 推荐理由: 针对LLM驱动的结构化工作流代理,提出一种轻量级、低延迟的行为防火墙,显著降低攻击成功率,且实际部署友好,为AI代理安全防护提供了新思路。

🎯 建议动作: 研究跟进,评估该行为防火墙方法在自身AI代理安全防护中的可行性。

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Pablo Mateo-Torrejón, Alfonso Sánchez-Macián

该论文针对大型语言模型(LLM)在多智能体系统(MAS)中集成所带来的安全挑战,提出了一种名为Gammaf(Graph-based Anomaly Monitoring for LLM Multi-Agent systems Framework)的开源基准测试框架。随着LLM增强MAS的协作问题解决能力,攻击面也相应扩大,例如提示感染和智能体间通信泄露等漏洞。虽然基于图的异常检测方法在保护此类网络方面显示出潜力,但领域内缺乏标准化的可复现环境来训练和评估这些模型。Gammaf本身并非新型防御机制,而是一个综合性评估架构,旨在生成合成多智能体交互数据集,并基准测试现有及未来防御模型的性能。框架包含两个相互依赖的流水线:训练数据生成阶段,该阶段通过模拟不同网络拓扑下的辩论,将交互捕获为鲁棒的属性图;以及防御系统基准测试阶段,该阶段在实时推理过程中通过动态隔离标记的对抗节点来主动评估防御模型。论文使用XG-Guard和BlindGuard等防御基线,在MMLU-Pro和GSM8K等多个知识任务上进行了严格评估,证明了Gammaf的高实用性、拓扑可扩展性和执行效率。实验结果表明,为LLM-MAS配备有效的攻击修复不仅能恢复系统完整性,还能通过促进早期共识、切断对抗智能体典型的大量令牌生成,显著降低整体运营成本。这项研究为多智能体系统的安全监控提供了标准化评估工具,适合安全研究人员和AI开发者阅读。

💡 推荐理由: 当前LLM多智能体系统安全评估缺乏统一基准,Gammaf填补了这一空白,使防御模型的可比性测试成为可能,有助于加速该领域安全机制的研发与部署。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)