SecurityNet: Assessing Machine Learning Vulnerabilities on Public Models.
该论文提出了一个名为 SecurityNet 的框架，旨在系统性地评估公开机器学习模型的安全性弱点。随着预训练模型在开源社区（如 Hugging Face）广泛发布，攻击者可能利用这些模型中的后门、对抗性扰动等漏洞。SecurityNet
#adversarial-attack
共收录 87 条相关情报。
← 返回所有主题Demo: Security of Deep Learning based Automated Lane Centering under Physical-World Attack.
该论文演示了深度学习驱动的自动车道居中（ALC）系统在物理世界攻击下的安全性问题。ALC是高级辅助驾驶系统的关键功能，依赖深度学习模型进行车道线检测和车辆横向控制。作者提出了一种物理世界对抗性攻击方法，通过在车辆前方道路放置精心设计的贴纸图
Off the Rails: Hijacking the Scoring Head in Generative End-to-End Driving Planners with Safety-Violating Adversarial Perturbations
本文提出了一种名为 Derail 的对抗攻击框架，针对当前生成式端到端自动驾驶规划器中的评分头（scoring head）进行攻击。生成式规划器（如基于扩散去噪或词汇检索的模型）在推理时，通常会生成一组候选轨迹（锚点、词汇条目或提议查询），
Words Speak Louder Than Code: Investigating Cognitive Heuristics in LLM-Based Code Vulnerability Detection
该论文首次系统性地探索了大型语言模型（LLM）在代码漏洞检测中受到认知启发（cognitive heuristics）影响的现象。作者设计了一个可控框架，保持代码本身不变，仅改变周围上下文来触发三种认知启发：晕轮效应（通过作者归属）、框架效
The Spectrum Strikes Back: Infrared POV Attacks on Traffic Sign Classification
本文提出了一种针对自动驾驶汽车交通标志分类任务的物理对抗攻击方法。传统的物理对抗攻击通常通过在交通标志上粘贴贴纸或投射可见光扰动，虽然有效但容易被人类察觉。本文作者利用近红外光谱（NIR）和视觉暂留（Persistence of Visio
Explainability-Aware Frustum Attack: Exposing Structural Vulnerabilities in LiDAR-Based 3D Object Detectors
该论文研究了基于点云的3D目标检测器在复杂场景下的结构脆弱性。现有工作主要关注孤立3D模型的对抗鲁棒性，而最近的LiDAR欺骗攻击虽然针对真实驾驶场景，但侧重于物理可实现性，未深入分析检测器的行为模式或攻击效率。本文提出一种可解释性引导的对
Exploiting Task-Level Vulnerabilities: An Automatic Jailbreak Attack and Defense Benchmarking for LLMs.
该论文针对大型语言模型（LLM）面临的任务级越狱攻击威胁，提出了一种自动化的基准测试框架。研究首先系统性地定义了任务级漏洞的概念，即攻击者通过构造特定任务输入诱使LLM执行非预期行为。作者设计了一种基于对抗性提示生成的自动化攻击方法，能够在
Adversarial Diffusion Across Modalities: A Fusion Survey of Attacks, Defenses, and Evaluation for Text, Vision, and Vision-Language Models
本文是一篇关于对抗性攻击与防御在跨模态AI系统中的综述，聚焦于扩散模型在文本（LLM）、图像分类器、视觉-语言模型（VLM）以及输入净化防御中作为攻击或防御机制的统一框架。作者将过去沿着四个相对独立轨迹发展的研究整合起来：基于扩散的文本/L
Attacking the Trusted Imagination: Oracle-Level Integrity Attacks on Imagine-then-Act World Models
本研究聚焦于视觉-语言-动作（VLA）策略中一种新型攻击面：世界-动作模型（WAM）的“可信想象”。许多现代VLA策略采用“先想象后行动”的设计：WAM首先生成一个短期未来潜在轨迹z~，然后动作基于该轨迹进行条件化。作者识别出该想象过程存在
Towards Robust Personalized Federated Learning: Vulnerability Assessment and Defense Co-Design
随着物联网设备的普及，分布式边缘系统开始大规模收集敏感数据，为设备端机器学习提供了应用场景。联邦学习（FL）通过仅传输模型参数而不交换原始数据，在一定程度上缓解了隐私泄露风险。然而，当前研究忽视了一个关键盲点：在个性化联邦学习（PFL）场景
Confidently Wrong: Severity-Aware Calibration of Prompt-Injection Detectors under Attack Shift
本文研究提示注入检测器在攻击分布迁移场景下的置信度校准问题。当前检测器通常将模型对输入的打分与固定阈值比较，决定是否拦截。然而，实际攻击分布（如间接注入、越狱变体）可能偏离模型训练或调优时使用的干净基准分布，导致检测器在未知攻击上表现不稳定
Learning to Evade: Adaptive Attacks on Audio Watermarking
本文提出了一种针对音频水印的自适应攻击方法（AWM），旨在绕过现有的水印检测防御策略。研究发现，水印解码器的消息概率遵循正态分布，这一特性被现有防御方法利用来检测攻击行为。AWM 采用两阶段优化：第一阶段确保攻击成功，第二阶段提升音频质量。
Improving Adversarial Transferability on Vision-Language Pre-training Models via Surrogate-Specific Bias Correction
本文针对视觉-语言预训练（VLP）模型的对抗可迁移性问题展开研究。现有基于迁移的黑盒攻击方法通常严重依赖替代模型，导致对抗样本在替代模型上有效，但在未知目标模型上效果不佳。作者将此归因于对抗优化过程中替代模型特定的偏差（surrogate-
What the Eyes See, the LLMs Miss: Exploiting Human Perception for Adversarial Text Attacks
这篇论文研究了基于大型语言模型（LLM）的内容审核系统在视觉感知上的盲点。作者指出，当前的内容审核系统主要依赖令牌化文本，忽略了人类在理解内容时所依赖的视觉线索，例如字体、间距、排列等排版特征。这种感知不匹配导致：人类能轻易识别的有害内容，
Beyond Waveform Robustness: Robust Feature-Vocoder Adversarial Attacks on Automatic Speech Recognition
本文针对自动语音识别（ASR）系统的对抗鲁棒性展开研究。现有对抗攻击直接在波形域添加噪声，存在两个主要局限：一是对黑盒ASR系统的迁移性差，二是易被专门防御波形扰动的机制缓解。为此，作者提出了一种基于代理模型的Clean-Reference
When Autoregressive Consistency Hurts Safety Alignment
本文研究了大型语言模型（LLM）安全对齐的脆弱性，提出其根本原因在于自回归一致性——即自回归模型在预测下一个token时倾向于保持并延续当前生成轨迹的特性。作者通过分析安全对齐微调的学习动态，发现对齐更新主要集中在输出序列的前几个token
Testing LLM Arithmetic Reasoning Generalization with Automatic Numeric-Remapping Attacks
该论文研究了大型语言模型（LLM）在算术推理任务中对数值变化的鲁棒性问题。尽管LLM在基准测试中表现优异，但已有研究表明其对数值变化敏感：同一问题在不同数值下可能失败。现有方法多依赖模板或人工约束，局限性较大。为此，作者提出一种自动化的数值
RogueMerge: Robust and Unified Attacks against LLM Model Merging
本文提出了 RogueMerge，一个针对大语言模型（LLM）模型合并过程的统一攻击框架。模型合并通过聚合来自未经验证的公共平台的任务向量，将多个专用能力组合到单个 LLM 中，这暴露了关键的供应链攻击面：因为任何恶意行为都可以编码到任务向
MaskForge: Structure-Aware Adaptive Attacks for Jailbreaking Diffusion Large Language Models
本文提出了一种针对扩散大规模语言模型（dLLMs）的黑盒越狱攻击方法MaskForge。dLLMs通过迭代去噪部分掩码序列生成文本，其安全面与自回归LLMs不同：掩码令牌是原生输入，令牌基于置信度而非位置确定，因此有害内容可以通过填充（in
Benign Inputs, Harmful Outputs: Cross-Modal Jailbreaking via Distributed Semantic Recomposition
该论文提出了一种名为分布式语义重组（DSR）的新型跨模态越狱攻击框架，旨在绕过多模态大语言模型（MLLM）的安全防护。现有安全措施主要针对单模态文本输入进行拦截，但跨模态攻击可能通过图像等非文本载体隐藏恶意意图。DSR的核心思想是将有害意图