Character-Level Perturbations Disrupt LLM Watermarks.
本文研究字符级扰动对大型语言模型（LLM）水印技术的破坏效果。水印技术被广泛用于追踪LLM生成内容，防止滥用。作者系统分析了多种字符级扰动（如拼写错误、同音替换、随机插入等）对当前主流水印方案（如基于n-gram的Aaronson水印、基于
#adversarial-attack
共收录 87 条相关情报。
← 返回所有主题NeuroStrike: Neuron-Level Attacks on Aligned LLMs.
该论文提出了 NeuroStrike，一种针对对齐大型语言模型（LLM）的新型攻击框架。作者发现，当前的安全对齐技术（如监督微调和基于人类反馈的强化学习）会在模型中引入稀疏的“安全神经元”，这些神经元负责检测和抑制有害输入。NeuroStr
ObliInjection: Order-Oblivious Prompt Injection Attack to LLM Agents with Multi-source Data.
本文提出了一种针对多源数据LLM应用的新型提示注入攻击方法ObliInjection。在现实场景中，LLM的输入数据往往来自多个不同来源，每个来源贡献一个输入段，攻击者仅能控制其中部分段，且通常不知道各段在输入中的排列顺序。现有的提示注入攻
Revisiting JBShield: Breaking and Rebuilding Representation-Level Jailbreak Defenses
本文针对大型语言模型（LLM）的越狱攻击防御展开研究，重点重访了近期提出的JBShield防御机制。JBShield通过检测两种概念信号（毒性概念和越狱概念）来识别恶意提示，在部分设置下声称攻击成功率为0%。然而，本文设计了一种新的自适应攻
Low Rank Adaptation for Adversarial Perturbation
本文系统研究了对抗扰动是否具有低秩结构。受Low-Rank Adaptation (LoRA)启发——LoRA通过低秩矩阵更新神经网络层显著提升了大型语言模型的训练效率——作者提出对抗样本的生成也是优化过程，因此自然产生疑问：对抗扰动是否也
Efficient Query-Based Attack against ML-Based Android Malware Detection under Zero Knowledge Setting.
本文针对基于机器学习的Android恶意软件检测（AMD）方法，提出了一种名为AdvDroidZero的高效查询式攻击框架。当前对该类方法的对抗样本攻击大多依赖较强假设，如攻击者知晓特征空间、模型参数或训练数据集等知识，这在现实攻击场景中往
Demo: Security of Camera-based Perception for Autonomous Driving under Adversarial Attack.
该论文聚焦于自动驾驶系统中基于摄像头的感知模块在对抗性攻击下的安全性问题。研究团队设计了一种实用的对抗性贴片攻击方法，专门针对基于摄像头的障碍物检测系统。作者发现箱式卡车的后部是一个有效的攻击向量，通过在卡车后部粘贴特制的对抗性图案，可以欺