Not All Tokens Are Equal: Region-Aware Consistency Repair of Backdoors in MLLMs
多模态大语言模型(MLLM)在用户端应用中日益普及,但其构建流程可能引入后门风险:触发器可能位于图像、文本或两者中。现有面向传统分类器的模型级后门移除方法对 MLLM 效果有限,而针对 MLLM 的防御大多在推理时进行,通过过滤可疑输入来缓
共收录 67 条相关情报。
← 返回所有主题多模态大语言模型(MLLM)在用户端应用中日益普及,但其构建流程可能引入后门风险:触发器可能位于图像、文本或两者中。现有面向传统分类器的模型级后门移除方法对 MLLM 效果有限,而针对 MLLM 的防御大多在推理时进行,通过过滤可疑输入来缓
垂直联邦学习(VFL)允许多个组织在不共享原始数据的前提下,基于同一组样本的不同特征协作训练模型。与水平联邦学习不同,VFL 中存在典型的非对称信息结构:发起方掌握学习任务定义(如标签),而参与方仅持有局部特征,这种结构顺应了日益增长的隐私
本文是一篇关于联邦学习中聚合方法在模型投毒与后门攻击下鲁棒性的系统性比较研究。作者重建了一个包含500个单元格的评估矩阵,覆盖五种聚合方法(如Trimmed Mean、Krum等)、五个数据集、五种模型架构,以及四种记录条件:干净环境、符号
该论文提出了一种面向视觉语言模型(VLM)的可编程后门攻击方法,挑战了传统后门攻击“静态绑定”的假设。传统攻击中,触发器与目标输出在训练阶段固定绑定(一对一或N对N),攻击者无法在推理时动态选择目标。本文作者证明,仅需一次中毒训练,即可在V
本文提出了一种名为 QURA 的新型后门攻击方法,其核心攻击面是深度学习模型的量化(quantization)过程。模型量化通常被用于在资源受限环境(如嵌入式设备、移动端)中部署模型,以降低存储和计算开销。然而,作者指出这一过程本身可能引入
本文提出了一种名为 LoRAScan 的新型防御方法,用于检测大型语言模型(LLM)低秩适配器(LoRA)中的后门提示。LoRA 是一种高效的模型微调技术,通过引入小型适配器模块来降低计算成本,但也带来了供应链安全风险:不可信的适配器可能包
本文提出了一种针对自进化智能体(self-evolving agents)的新型攻击方法 SkillJack。自进化智能体会将交互历史转化为可复用的技能(skills),这些技能可以跨任务持久保存。以往研究关注的是记忆与检索投毒,但此类攻击
该论文研究链式思维(Chain-of-Thought, CoT)监控在AI安全栈中的局限性。CoT监控假设模型的推理轨迹能够反映其真实行为,但作者通过模型投毒的手段挑战了这一假设。他们证明,攻击者可以在推理模型中植入后门,使模型执行攻击者指
本文研究了扩散模型语义水印系统的一个关键安全漏洞。语义水印被广泛用于保护潜在扩散模型(LDM)生成的图像版权,但其检测流程依赖神经网络,这引入了被植入后门的攻击面。作者提出了 GhostVAE,一种通过在后变分自编码器(VAE)的编码器中植
本文首次在脉冲神经网络(SNN)和神经形态事件数据上提出并评估了干净标签后门攻击。以往针对 SNN 的后门攻击大多假设脏标签设置,即攻击者将带有触发器的训练样本重新标记为目标类别。本文则研究干净标签时序毒化攻击:仅对目标类别的训练数据流施加
该论文针对大语言模型(LLM)在关键领域部署时面临的数据投毒后门攻击问题展开研究。攻击者可能通过污染训练数据植入后门触发器,使得模型在推理阶段遇到特定输入时被隐蔽地操控行为。作者聚焦于防御者在现实约束下的触发器恢复能力:仅拥有模型的白盒权重
该论文针对开源软件供应链中代码级后门注入的威胁提出了一种自动化检测方法 Lily。代码级后门是一种隐蔽的代码改动,通过秘密触发器授予隐藏权限,难以被发现。此前针对广泛使用项目的后门注入尝试(如恶意提交、被篡改的发布包、受污染的第三方依赖)往
该论文针对提示微调(prompt-tuning)范式中的后门安全威胁展开研究。提示微调因其在下游任务中的高效性和多任务服务能力而被广泛用于部署大语言模型,但作者通过实验证明,提示微调容易受到预训练模型中存在的任务无关后门(task-agno
本文展示了自然语言处理(NLP)系统容易受到后门攻击,攻击者可以在语言模型中植入隐藏特征(后门),仅当特定触发条件(如特定输入文本)出现时才会被激活,导致模型产生意外行为。作者提出了两种创建隐蔽且自然触发器的文本后门攻击方法,称之为“隐藏后
本研究首次系统性地揭示了深度学习编译器中的编译不一致性漏洞(Compilation Inconsistency Vulnerability)。作者发现,即使是官方、未经修改的深度学习编译器,也可能在模型编译过程中静默改变模型语义,从而引入隐
该论文首次提出针对变分量子算法(VQAs)的参数供应链后门攻击——CutBackdoor。VQAs是近期量子计算的主要范式,结合了参数化量子电路与经典优化,广泛应用于量子化学、组合优化和量子机器学习。实际部署中,由于量子电路规模常超过硬件可
本文研究深度神经网络中后门植入的统计不可检测性。作者展示了一种对抗性模型训练者可以在大规模前馈神经网络中植入后门的方法,这些后门在白盒设置下是统计不可检测的,即后门模型与诚实训练模型之间的总变差距离很小,即使审查者拥有模型的完整描述(如所有
本文研究了一种跨层级攻击方法,将嵌入式神经网络实现层面的物理故障注入与算法层面的对抗攻击相结合。传统故障注入攻击主要关注通过破坏权重或中间计算导致分类错误,而忽略了与算法级对抗威胁的交互。作者首先通过表征推理期间故障引起的数据扰动,将故障注
这篇论文研究了一种新型的深度学习模型后门注入方法。与传统的后门攻击不同,该方法不依赖于修改训练数据、观察代码执行或访问最终模型,因此被称为“盲后门攻击”。攻击者通过破坏模型训练代码中的损失值计算过程,在训练过程中动态生成带有毒化的训练样本,
该论文研究了针对开源机器人视觉语言动作模型(VLA)的数据投毒攻击,特别是触发词(trigger-word)投毒。作者指出,当前开源机器人生态系统在社区贡献的数据集上存在信任假设,而攻击者可以通过注入少量中毒样本就能隐蔽地嵌入后门,使机器人