A Self-Evolving Multi-Agent Framework Defense against LLM Jailbreak Attacks
本文针对大型语言模型(LLM)面临的越狱攻击防御问题提出了一种自进化的多智能体框架。当前LLM虽经过安全对齐,但仍易被角色扮演、混淆、代码转换、多步间接等越狱技术诱导产生有害输出。现有防御多为静态部署,无法根据新出现的攻击积累经验或自适应调
共收录 1542 条相关情报。
← 返回所有主题本文针对大型语言模型(LLM)面临的越狱攻击防御问题提出了一种自进化的多智能体框架。当前LLM虽经过安全对齐,但仍易被角色扮演、混淆、代码转换、多步间接等越狱技术诱导产生有害输出。现有防御多为静态部署,无法根据新出现的攻击积累经验或自适应调
本文针对LLM编程智能体(coding agent)的安全防护问题展开研究。编程智能体能够以开发者的权限编辑文件、执行shell命令,因此恶意请求可能被直接转化为有害操作或功能性恶意软件。现有防御手段存在互补性局限:基于权重对齐的微调方法不
本文由多所高校和机构的研究人员提出,关注自我进化的大语言模型(LLM)编码代理的安全漏洞。此类代理能够从共享技能库中检索示例,并通过模仿这些示例来自动编写新技能。研究人员发现,这一自我进化过程中存在一种可被利用的“自我投毒”(self-po
本文针对自动化代码审查工具在拉取请求(PR)安全把关中的评估缺陷展开了研究。作者指出,现有的评估指标只关注审查器是否“阻止”了恶意PR,却忽略了阻止的原因可能与该PR真正存在的漏洞无关。这种“审查结论”与“缺陷诊断”之间的不一致被称为Ver
本文提出了一种名为 Language Model Security Modules (LMSM) 的安全框架,受 Linux 安全模块 (LSM) 的架构启发,旨在解决大型语言模型 (LLM) 部署中分层防御仍可能被恶意提示绕过的问题。研究
本文是一篇针对大语言模型(LLM)在漏洞评估中产生“AI 垃圾内容”(AI Slop)及幻觉问题的系统性综述。研究背景是:LLM 被广泛集成到网络安全漏洞评估流程中,显著提升了自动化水平,但同时也引发了可信性危机——模型会生成幻觉漏洞、看似
本文针对代理系统中动作授权与审计披露之间的根本冲突提出了一种新的架构设计。传统上,系统为了授权某个动作必须查看其原始参数,而为了审计又需要将这些参数记录在不可篡改的账本中,这导致敏感数据(如收件人、付款备注、记录标识符)被持久化存储,产生隐
本文针对大型语言模型(LLM)在代码生成任务中虽然能实现功能正确性,却常常产生包含安全漏洞的代码这一问题,提出了一种基于多智能体协作的代码生成框架 MACGen。作者指出,安全代码生成本质上是一个多目标优化问题,需要同时兼顾功能正确性与安全
本文提出了一种名为“屏幕窃读”(Screen Gleaning)的新兴TEMPEST攻击方法,该攻击能够在不具备视觉视线的情况下,读取移动设备屏幕上显示的内容,从而泄露诸如短信验证码等敏感信息。攻击者利用天线和软件定义无线电(SDR)捕获设
该论文提出 LazyTAP,一种面向触发动作平台(TAP)的按需数据最小化新范式。当前主流 TAP(如 IFTTT)采用“推送全部”模式,无论应用逻辑是否需要,触发服务都会将大量敏感数据推送到平台,这违背了数据最小化原则。此前的方法(如 m
该论文提出了 ADeptS-Bench,一个针对计算机使用代理(CUA)的可信度评估基准。CUA 被越来越广泛地用于代表用户操作移动和桌面应用,但现有基准未能全面评估其在视觉界面中安全交互、处理模糊指令的能力。ADeptS-Bench 基于
该论文提出并分析了一种无需证书颁发机构(CA)的文档共同签名协议,允许两台移动设备仅通过单向、有损、低带宽的视觉信道(动画屏幕码被对方摄像头读取)进行协作签名,且信任路径上无中间服务器。协议的核心在于:信任不再依赖证书颁发机构,而是基于平台
本文重新审视联邦学习(Federated Learning, FL)中的可迁移对抗攻击与鲁棒防御问题。联邦学习通过多方协作训练模型,无需共享原始数据,从而保护用户隐私,但其大规模参与特性也引入了多种安全威胁,如投毒攻击(Poisoning
本文指出当前自我进化的技能库(如 AutoSkills、Hermes Agent)在自动生成编排建议时仅关注效率提升,而忽略了安全性的关键缺口。作者认为,技能(Skill)描述的是代理应如何行为,而策略(Policy)决定了哪些行为被允许成
本文针对高等教育中网络安全教育面临的挑战展开研究。随着人工智能驱动的攻击变得越来越逼真且难以检测,传统的基于视频的安全培训在高校中普遍存在参与度低、教学效果有限的问题。为了改善这一状况,作者提出采用AI驱动的游戏化(AI-powered G
StepGuard 提出了一种面向 LLM 智能体的步骤级防护模型,专注于在执行工具调用前检查每一步动作的安全性。现有防护机制通常对已完成的完整轨迹进行审查,缺少对执行前步骤级动作的监控,导致恶意或危险操作可能在执行后才被发现。StepGu
多模态大语言模型(MLLM)在用户端应用中日益普及,但其构建流程可能引入后门风险:触发器可能位于图像、文本或两者中。现有面向传统分类器的模型级后门移除方法对 MLLM 效果有限,而针对 MLLM 的防御大多在推理时进行,通过过滤可疑输入来缓
该论文探讨了使用大型语言模型(LLM)增强 Android 应用污点分析的可能性。污点分析是检测敏感数据泄露的关键技术,但传统静态分析工具(如 FlowDroid)在准确建模 Android 框架时面临诸多挑战,导致漏报和误报。作者提出了一
该论文系统研究了基于大语言模型(LLM)的多智能体交易系统中的对抗性漏洞。这类系统由多个专业智能体通过结构化通信协作生成交易决策,正从研究原型快速走向控制真实资产的实时部署。然而,智能体间的通信在提升效率的同时也引入了攻击面:一个被污染的信
本文(ToolMinimize)针对LLM智能体在工具调用中过度暴露隐私敏感数据(PSD)的问题开展研究。作者通过在GPT-4o、Claude 3.5 Sonnet和Llama-3.3-70B三个生产级大语言模型上的受控测量发现,在默认提示