A Self-Evolving Multi-Agent Framework Defense against LLM Jailbreak Attacks
本文针对大型语言模型(LLM)面临的越狱攻击防御问题提出了一种自进化的多智能体框架。当前LLM虽经过安全对齐,但仍易被角色扮演、混淆、代码转换、多步间接等越狱技术诱导产生有害输出。现有防御多为静态部署,无法根据新出现的攻击积累经验或自适应调
共收录 86 条相关情报。
← 返回所有主题本文针对大型语言模型(LLM)面临的越狱攻击防御问题提出了一种自进化的多智能体框架。当前LLM虽经过安全对齐,但仍易被角色扮演、混淆、代码转换、多步间接等越狱技术诱导产生有害输出。现有防御多为静态部署,无法根据新出现的攻击积累经验或自适应调
本文针对大型语言模型(LLM)在代码生成任务中虽然能实现功能正确性,却常常产生包含安全漏洞的代码这一问题,提出了一种基于多智能体协作的代码生成框架 MACGen。作者指出,安全代码生成本质上是一个多目标优化问题,需要同时兼顾功能正确性与安全
该论文系统研究了基于大语言模型(LLM)的多智能体交易系统中的对抗性漏洞。这类系统由多个专业智能体通过结构化通信协作生成交易决策,正从研究原型快速走向控制真实资产的实时部署。然而,智能体间的通信在提升效率的同时也引入了攻击面:一个被污染的信
本文针对地下论坛中网络威胁情报(CTI)获取面临的挑战,提出了首个基于多智能体大语言模型(LLM)的主动式情报引出系统 DarkBot。传统上,CTI 收集依赖被动监控,但随着用户对大规模数据收集的警惕性提高,公开论坛中的高价值情报日益减少
该论文聚焦于多智能体语言模型(LLM)在连续隐藏状态空间中的潜在通信问题。这类通信不体现在公共文本转录中,可能被用于隐蔽的有害协调,例如在拍卖中串通压低报价。作者提出了一种名为 Verifiable Latent Alignments (V
该论文聚焦网联汽车(Connected Vehicles)中车联网(V2X)通信的安全与时间约束耦合问题。核心背景是:网联汽车必须在约100毫秒内判断接收到的基本安全消息(BSM)是否真实;若伪造的紧急制动警报及时进入规划管线,车辆会误刹车
该论文聚焦于多智能体人工智能系统中的委派安全问题。基于LLM的智能体可以代表用户访问云服务、调用工具或调用其他智能体。在会话开始时,智能体的权限被设定,但随后保持静态,每个请求被独立评估,而不考虑先前的操作。在其权限范围内,智能体可能做出与
本文提出 CyberLLM,一个面向软件定义汽车(SDV)的多智能体 LLM 编排框架,旨在自主检测漏洞并在运行时安全护栏约束下执行修复。随着 SDV 的兴起,汽车攻击面扩展至源代码、运行时日志和部署拓扑,但安全约束禁止自主代理无监督地行动
该论文对多智能体大语言模型(LLM)系统中中继键值缓存(KV cache)的因果有效性进行了审计。在多智能体系统中,智能体之间常以中继 KV 缓存代替明文文本,并声称这传递了“潜在思维”(latent thoughts)。论文指出,这种归因
本文研究多智能体协同过滤(CF)系统中的攻击与防御问题,特别关注系统连接性如何影响这些攻击和防御的效果。多智能体CF系统由多个自主的大语言模型(LLM)驱动的用户智能体和物品智能体组成,它们通过自然语言交互来细化偏好并生成推荐。这类系统既继
本文提出 AutoBypass,一种基于知识图谱的闭环多代理自动化框架,用于评估商业终端检测与响应(EDR)系统的韧性。研究背景是:公开报告和开源资源披露了大量 EDR 规避技术,但现有自动化方法无法将这些碎片化安全知识转化为可运行的载荷,
本文提出自主代理(尤其是基于大型语言模型的代理)在承担重要任务时的安全性问题。作者指出,代理的安全性不仅取决于单个动作的正确性,更取决于其整体行为是否与运行环境的操作约束、组织政策、监管要求和技术标准保持一致。随着代理自主性增强并跨组织边界
本文研究了大语言模型(LLM)被集成到自主机器人系统中进行任务规划与控制时面临的安全威胁,重点聚焦于提示注入攻击在多智能体机器人系统中的影响。随着LLM在机器人领域的广泛应用,攻击者可以通过注入恶意指令操纵机器人的决策,导致不安全行为甚至物
该论文聚焦于基于大语言模型的多智能体系统(MAS)在协作推理与决策中面临的新型系统性风险:局部幻觉可能沿着智能体之间的通信链路传播,在交互中被放大,最终触发级联故障。现有防御手段大多属于事后(post-hoc)范式,即只有在不安全行为已经出
本文研究多智能体LLM系统中分布式后门攻击的早期检测问题。攻击者通过一个中毒工具将加密后的恶意负载片段隐藏在观测结果中,这些片段被分发到多个智能体,运行结束后由外部过程重组并执行。由于每个智能体单独持有片段不完整,逐步骤的安全检查可能无法识
多智能体LLM应用通常由规划器、工作智能体、验证器和合成器按链式顺序调用,每个智能体之间的通道是未被监控的通信路径,攻击者可以通过这些通道注入恶意指令(例如提示注入、工具投毒)。现有防御(例如IBProtector、Llama Guard、
本文提出了一种名为 KASS(知识增强攻击合成与仿真)的多智能体框架,旨在解决现有智能合约安全工具仅停留在漏洞检测、无法验证漏洞可利用性及攻击过程的问题。KASS 将自动利用生成分解为规划、生成和测试三个阶段,并融合三种互补机制:基于检索增
该论文研究多智能体系统中AI代理之间的管理关系,特别关注当子代理拒绝执行任务时,管理者代理可能采取的升级行为(如强制、欺骗等)。作者提出了“管理强制基准”(Manager Coercion Benchmark),这是一个用于衡量AI管理者在
本文针对基于近似全同态加密(FHE)的多智能体控制系统中存在的安全与性能权衡问题,提出了一种新的博弈论分析框架。在加密控制场景下,云端使用CKKS方案对智能体的状态进行全同态加密计算,但由于控制环需要解密以执行控制动作,解密过程中会泄露加密
该论文研究多智能体LLM系统在运行时监控方面的安全漏洞。现有安全机制通常对每个智能体的消息、工具调用或步骤进行独立检查(局部监控),但作者发现这存在根本性缺陷:分布式后门攻击可以将有害负载拆分到多个智能体中,使得每个局部检查都通过,而组合后