SNARE: Adaptive Scenario Synthesis for Eliciting Overeager Behavior in Coding Agents
本文研究编码代理(coding agent)在执行良性任务时可能出现的“过度行为”(overeager behavior)问题。编码代理通常将任务拆解为一系列shell、文件、网络操作,其中某些操作可能悄悄超出授权范围(如泄露凭证、删除文件
共收录 424 条相关情报。
← 返回所有主题本文研究编码代理(coding agent)在执行良性任务时可能出现的“过度行为”(overeager behavior)问题。编码代理通常将任务拆解为一系列shell、文件、网络操作,其中某些操作可能悄悄超出授权范围(如泄露凭证、删除文件
该论文提出了一种针对移动图形用户界面(GUI)代理的新型提示注入攻击方法,命名为MIRAGE(Mobile Injection of Realistic Adversarial GUI Examples)。移动GUI代理通常由视觉-语言模型
联邦检索增强生成(FedRAG)在隐私敏感应用中具有吸引力,因为原始数据保留在本地。然而,路由过程必须依赖客户端提供的语义概要,这为恶意操作创造了新机会。本文提出了一种新型攻击——路由劫持(Routing Hijacking),其中恶意客户
检索增强生成(RAG)通过引入外部知识库来缓解大语言模型的幻觉问题,但同时也引入了语料库完整性的新攻击面。本文提出 SilentRetrieval,一种两阶段数据投毒攻击,能够在不破坏文档流畅性的前提下劫持 RAG 系统。第一阶段使用协调束
本文研究了大型视觉语言模型(LVLM)中新兴的“伴随图像思考”(think-with-image)推理范式的安全性,特别是其对多模态越狱(jailbreak)鲁棒性的影响。现有系统已包含多种流程设计,如直接响应生成、纯文本前置回合、视觉状态
本文针对检索增强生成(RAG)系统中的缓存安全问题展开研究。现代RAG部署广泛使用缓存来降低token成本和时间至首token延迟(TTFT),其中前缀级KV复用已是标准做法,但输出级的语义答案缓存仍然脆弱:相似提示可能映射到不同正确答案,
本文提出一种名为 BAIT (Boundary-Aware Iterative Trap) 的三步越狱框架,旨在通过内部披露的方式使大型语言模型泄露恶意内容。该方法首先要求模型识别其保护边界(如内容安全策略),然后让模型细化该边界,最后请求
本文深入研究了大型语言模型(LLM)遗忘中的反事实调优(CFT)范式。CFT通过训练模型生成替代的虚构知识来取代不需要的内容,是一种有前景的遗忘方法。然而,作者发现CFT在某些方面仍不如其他遗忘范式,并揭示了两个被忽视的缺陷:(1)知识冲突
本文针对大型语言模型(LLM)面临的提示注入攻击威胁,提出了一种部署感知的评估框架,用于比较多种检测方法在不同部署条件下的表现。现有检测方法通常在有限设定下评估,未反映真实操作约束。作者构建了多模型、多场景的实验框架,涵盖词法、语义、结构以
该论文提出了一种名为TTPrint的新型TTP提取方法,旨在从网络威胁情报(CTI)报告中准确提取MITRE ATT&CK技术。现有方法(基于规则、监督学习、大语言模型)难以同时实现高召回率和高精确率:规则和监督方法泛化能力差,而LLM方法
本文提出一种名为 SAMark 的自锚定文本水印框架,旨在解决语义级文本水印在段落级改写攻击下鲁棒性不足的问题。传统语义水印以句子为基本单元,依赖于句子顺序,而段落级改写(如重排句子顺序、同义替换等)会全局破坏水印信号。SAMark 通过建
本文针对混合专家(MoE)大规模语言模型在部署中的安全审计问题,提出了一种非侵入式的审计框架RouteScan。现有的基于内容的审计方法需要访问用户提示、模型输入或生成输出,这可能导致敏感用户信息泄露,在LLM安全性与用户隐私之间产生根本性
本文提出 Agent-ToM,一个基于心理理论(Theory-of-Mind, ToM)推理的监控框架,用于检测自主大语言模型(LLM)代理的隐蔽恶意行为。现有监控方法通常将每条轨迹独立处理,未利用历史监控经验,且缺乏对代理信念、意图和目标
本研究关注扩散语言模型(DLM)中的训练数据记忆与提取问题。以往对于大语言模型记忆性的研究几乎完全基于前缀条件提取,这适合自回归模型,但扩散语言模型可以在任意位置去噪被遮蔽的token,因此仅用前缀探测会低估训练数据提取的风险。为真实建模D
该论文研究了多智能体LLM系统中的注入攻击检测盲点。现有注入检测器主要针对静态、模板化的载荷进行校准,这些载荷通常以显式的覆盖指令形式出现。作者识别出一种系统性盲点:当注入载荷生成时模仿目标文档的领域词汇和权威结构(称为领域伪装注入),标准
本文首次系统性研究了大语言模型驱动的智能体(Agent)在正常环境错误下发生的“意外熔毁”(accidental meltdown)现象。作者指出,现有可靠性或安全基准测试并未捕捉此类行为。他们提出熔毁行为的分类学,包括未经授权的侦察、访问
该论文研究了编码代理(coding agents)在执行良性用户请求时可能产生“过度动作”(overeager actions)的问题。编码代理通常被赋予shell、文件、网络等高级权限,当用户提出一个看似无害的任务(如修改代码)时,代理有
本文针对大型推理模型(LRMs)的安全监控问题展开研究。LRMs通过链式思维(Chain of Thought, CoT)推理过程提供了新的安全监控机会,但CoT并不总是忠实于模型的最终输出,从而削弱了其作为监控工具的可靠性。为此,作者探索
该论文提出 Prompt2Fingerprint (P2F),一种用于大型语言模型(LLM)指纹识别的即插即拔框架。随着LLM的广泛部署和再分发,模型来源追踪成为关键挑战。现有的主动指纹识别方法通过微调嵌入身份信号,虽然准确率高且鲁棒,但存
本文研究了在共享全局上限的解码时(decode-time)场景下,多种KV缓存逐出策略(LRU, H2O, SnapKV, StreamingLLM, Ada-KV, QUEST, Random)的表现。作者发现,这些策略存在一个共同的漏洞