Who Broke the System? Failure Localization in LLM-Based Multi-Agent Systems
该论文研究了基于大语言模型(LLM)的多智能体系统中的故障定位问题。在多智能体系统中,多个LLM驱动的智能体通过协调推理和行动来解决复杂任务,但由于长期交互和智能体行为的紧密耦合,当执行失败时,很难确定哪个智能体负责以及轨迹在哪个点首次变得
共收录 72 条相关情报。
← 返回所有主题该论文研究了基于大语言模型(LLM)的多智能体系统中的故障定位问题。在多智能体系统中,多个LLM驱动的智能体通过协调推理和行动来解决复杂任务,但由于长期交互和智能体行为的紧密耦合,当执行失败时,很难确定哪个智能体负责以及轨迹在哪个点首次变得
该论文针对安全检索领域中的操作型分类(operational triage)问题,提出了一种基于电导修复证据图(conductance-repair evidence graphs)的时间戳框架。传统安全检索通常假设证据完整并基于排序评估,
该论文是一篇关于将代理式人工智能(Agentic AI)和生成式人工智能(Generative AI)应用于开源情报(OSINT)和网络调查的综合性综述。随着公开数字信息的爆炸式增长,传统的人工OSINT分析已无法满足现代情报和网络安全的需
该论文关注现代信息检索(IR)系统中嵌入模型的安全隐患。嵌入模型通常作为API端点隐藏在系统后端,但已有研究表明密集IR系统可能遭受嵌入反转攻击(即从检索结果反推输入文本或嵌入向量)。然而,此类攻击通常假设攻击者已知嵌入模型的具体细节(白盒
该论文提出了一种名为 SHARD 的防御方法,旨在保护密集向量检索(如语义搜索和 RAG)中的嵌入向量不被反演攻击。现有攻击利用密集嵌入的全局几何结构,通过少量已知对齐对即可恢复秘密全局旋转(正交 Procrustes 方法)。SHARD
随着检索增强生成系统在问答任务中广泛应用,其提供的引用往往无法反映真实的信息来源影响。本文提出ProvenAI框架,将多跳问答中的透明度分解为三个独立可测量的层次:答案正确性(answer correctness)、引用保真度(citati
本文研究了一种混合隐私保护的语义搜索方案,旨在解决稠密向量嵌入在向量数据库泄露时面临的嵌入-反演攻击(即从向量重构原始文本)问题。传统的防御手段存在两个极端:完全同态加密虽然安全性强,但在百万级文档规模下延迟过高;而添加隐私噪声会在保护效果
该论文针对检索增强生成(RAG)系统面临的语料库投毒攻击问题,提出了一种轻量级检测框架TRACE。RAG系统通过检索外部文档来增强大语言模型的生成能力,但攻击者可向检索库中注入恶意文档,诱导模型输出特定目标答案。现有检测方法通常依赖额外的分
该论文针对检索增强生成(RAG)系统中存在的向量中心(hubness)投毒风险提出了一种轻量级的准入时防御方法。在RAG中,少量文档可能成为大量查询的最近邻,这种“中心”现象使得攻击者可以通过注入一份恶意文档影响多个不相关请求的回答,构成数
该论文研究基于大语言模型(LLM)的搜索代理在整合网络内容时可能遭受的推荐操纵风险。LLM搜索代理代表用户综合开放网络内容并给出可操作建议,这为攻击者提供了机会:通过发布恶意网页,诱导代理将攻击者的内容转化为被认可的建议。为此,作者提出了S
该论文针对物联网设备准确识别这一关键安全问题,提出了一种基于制造商使用描述(MUD)配置文件的语义识别方法。现有方法通常从数据包或流记录中学习设备签名,但这些低层通信观测的流量模式会随部署环境、软件版本和用户交互而变化,导致识别鲁棒性不足。
本文提出了一种名为NLLog(Natural-Language Log)的轻量级日志异常检测管道,旨在解决系统日志因模板化格式导致难以被自动化分析和人工理解的问题。NLLog的核心思想是将解析后的日志模板确定性重写为“谁-做了什么-严重程度
该论文聚焦于多步智能检索增强生成(agentic RAG)管道中的级联幻觉问题——早期步骤引入的错误会在后续推理步骤中传播并放大,导致最终输出看似自信但事实错误。现有的幻觉检测机制(如输出级检测器)系统性忽略此故障,因为它源自跨步骤的累积效
该论文研究发布签到轨迹数据时的下一兴趣点(next-POI)隐私泄露风险。攻击者可以利用发布的轨迹训练预测模型,高精度推断用户未来位置。现有图像域的不可学习示例方法直接迁移到轨迹数据时会失败,因为生成的扰动必须保持地理和语义合理性,且需抵抗
本文提出一种名为 Patcher 的后处理防御框架,用于修复被植入后门的大语言模型。大语言模型容易受到越狱后门攻击,攻击者通过污染安全对齐数据来嵌入隐藏触发器,从而绕过安全机制。现有防御方法通常需要全面的攻击信息或多个触发样本,但在实际中防
该论文研究面向检索增强推理的差分隐私数据存储生成问题。现代设备端AI系统常依赖检索增强推理,需要共享或发布数据存储(datastore),但可能泄露个体隐私。差分隐私(DP)提供形式化保证,使个体贡献在对抗分析下不可区分。本文提出一种基于哈
本文提出了一种针对检索增强生成(RAG)系统的新型攻击范式——话语级意见操纵。RAG系统通过结合外部语料库来增强大语言模型的回答,但这也引入了检索内容投毒的安全风险。现有攻击大多聚焦于单个查询或狭窄主题的局部查询集,实际影响有限且易于察觉。
这篇论文针对受监管的网络安全运维场景,指出现有的大语言模型(LLM)代理系统虽然在孤立的网络安全任务上表现良好,但缺乏一个能够跨检索、工具调用、记忆、发现、报告和审计强制执行组织级范围、同时保持模型无关且可本地部署的运行时平台。特别是在安全
联邦检索增强生成(FedRAG)在隐私敏感应用中具有吸引力,因为原始数据保留在本地。然而,路由过程必须依赖客户端提供的语义概要,这为恶意操作创造了新机会。本文提出了一种新型攻击——路由劫持(Routing Hijacking),其中恶意客户
检索增强生成(RAG)通过引入外部知识库来缓解大语言模型的幻觉问题,但同时也引入了语料库完整性的新攻击面。本文提出 SilentRetrieval,一种两阶段数据投毒攻击,能够在不破坏文档流畅性的前提下劫持 RAG 系统。第一阶段使用协调束