Do Defenses Against LLM Extraction Work Across Attacks? A Lifecycle Benchmark of Black-Box Model Extraction
该论文针对大语言模型(LLM)通过纯文本 API 部署时面临的模型提取风险展开研究。攻击者可通过收集模型响应训练替代模型,从而复制受害模型的能力。尽管已有工作提出了多种提取攻击与防御方法,但现有评估在访问假设、模型配置、查询预算和安全目标上
共收录 72 条相关情报。
← 返回所有主题该论文针对大语言模型(LLM)通过纯文本 API 部署时面临的模型提取风险展开研究。攻击者可通过收集模型响应训练替代模型,从而复制受害模型的能力。尽管已有工作提出了多种提取攻击与防御方法,但现有评估在访问假设、模型配置、查询预算和安全目标上
该论文研究的是参数高效微调(PEFT)场景下的后门防御问题。随着大语言模型(LLM)与 LoRA 等轻量微调方法的广泛采用,攻击者可以通过污染微调数据或发布被植入后门的适配器(adapter),使模型在特定触发条件下产生恶意输出,而基座模型
该论文研究大语言模型(LLM)面临的提示注入攻击,重点考察对抗内容的输入模态对攻击效果的影响,并提出一种免训练的防御方法。作者首先提出一个关键观察:多模态 LLM 在对抗性指令以纯文本形式出现时,比同一指令通过非文本通道(例如渲染成图像,或
该论文研究 LLM 智能体面临的间接提示注入(IPI)防御问题。作者指出,虽然基于训练的防御通常被认为最可靠,但现有方案多在静态、显式的注入分布上优化,学到的是表面形式线索,而非“服务用户目标”与“服从注入目标”之间的本质边界;因此当恶意意
该论文聚焦联邦学习(FL)与世界模型(WM)结合用于自动驾驶(AD)这一新兴交叉场景。联邦世界模型自动驾驶(federated WM-AD)允许各车辆在不上传原始私有驾驶数据的前提下协同训练世界模型,从而获得更强的环境预测与规划能力;但论文
该论文研究立体视觉(双目)相机在深度估计中的内在脆弱性,属于针对自动驾驶、无人机、机器人等自主系统感知层的安全研究。作者指出,立体相机的深度输出依赖像素采样与标定两个基础环节,这些环节本身存在缺陷:攻击者只需在场景中引入简单的重复图案,就能
大型语言模型(LLM)智能体在集成外部工具后可完成多步复杂任务,能力显著提升,但其对提示的开放性以及对工具的操控能力也带来了新的攻击面。本文聚焦四类针对工具集成 LLM 智能体的对抗攻击:直接提示注入、间接提示注入、记忆投毒与后门攻击,并尝
检索增强生成(RAG)通过在生成阶段引入外部知识库的检索结果,显著降低了大型语言模型的幻觉与事实性错误,已成为提升 LLM 输出质量的主流范式。然而近期研究揭示了一个关键隐私漏洞:攻击者可构造特定查询,借助检索环节从底层语料库中提取个人可识
该论文关注 LLM Agent 在调用外部工具时面临的间接提示注入(Indirect Prompt Injection, IPI)风险:由于 Agent 需要读取网页、文件、API 返回等外部内容,攻击者可将恶意指令埋入这些工具输出中,诱导
加密流量虽能保护内容,但仍会泄露通信模式,攻击者可据此进行网站指纹等侧信道识别。此前二元情形下的侧信道存在性定理仅能证明两分类间有互信息,无法推广到多分类,也未纳入主动防御(如流量整形)。本文将定理扩展到 k 类场景:利用每类分解 I(X;
本文提出了一种名为 DIFFENCE 的新型成员推理攻击(MIA)防御框架,核心思路是利用生成式模型在推理前对输入样本进行“再生成”,从而抹除训练集成员与非成员输入之间的可区分特征。传统防御要么在训练阶段修改模型、要么在推理后修改输出,而
生成式引擎优化(GEO)是一种通过操纵网页内容来提升其在生成式搜索引擎中可见度的技术,类似针对传统搜索引擎的SEO。然而,该技术可被攻击者滥用:他们制作看似普通但经过特殊优化的文档,当受攻击的大语言模型(LLM)在检索增强生成过程中获取并综
本文针对技能增强型智能体(skill-augmented agents)的安全问题展开研究。此类智能体会将可复用的技能作为持久化运行时上下文加载,以提升任务执行能力,但这也为恶意技能提供了长期影响后续行为的通道。恶意技能可能在特定用户任务和
这篇论文提出了一种针对检索增强生成(RAG)系统的知识投毒攻击防御框架。研究背景是:RAG通过外部语料库为大型语言模型提供事实依据,但系统对检索文档的隐式信任构成了严重攻击面。已有研究(如PoisonedRAG)表明,仅需少量精心构造的恶意
该论文针对静态侧信道分析的可达性问题展开研究。在侧信道攻击中,攻击者通常需要找到从程序输入到敏感信息泄露的传播路径(即可达性),而静态分析技术常被用于自动识别这类路径。作者提出一种名为“借用时间”(On Borrowed Time)的方法,
本文提出了一种名为 ARMOR(Adversarial Robustness with Manifold-Oriented Training)的新型防御方法,旨在解决空中目标检测模型在物理世界中对通用对抗性补丁的脆弱性,同时应对训练数据稀缺
本论文研究复杂系统安全中的多类型防御资源分配问题。在网络安全中,防御者通常拥有多种异构防御资产(如防火墙、入侵检测系统、蜜罐等),需要针对不同类型的攻击(如DDoS、恶意软件、钓鱼等)进行最优部署。作者将这一问题建模为一般Lotto博弈(G
本文针对大型语言模型(LLM)代理面临的提示注入攻击问题展开研究。提示注入攻击通过在代理检索的外部文本源中嵌入恶意指令或内容,诱导底层LLM执行超出其良性范围的危险操作。现有防御方法虽然能对抗已知注入攻击,但在LLM代理环境中部署仍存在困难
该论文研究深度学习中后门攻击与防御的一个根本性假设缺陷。传统上,攻击者和防御者都默认成功的后门必须具有高攻击成功率(ASR),现有防御机制也大多基于这一前提进行设计和评估。作者指出,ASR并非后门的内在属性,而是可由攻击者人为控制的变量——
本文针对基于图神经网络(GNN)的网络入侵检测系统(NIDS)在面临结构性对抗攻击时的鲁棒性问题展开研究。GNN 能够同时利用网络流特征和拓扑模式,因此被视为一种有前景的 ML-NIDS 解决方案。尽管 GNN 分类器相比其他机器学习检测器