#backdoor-detection

共收录 6 条相关安全情报。

← 返回所有主题
👥 作者: Hanlei Zhang, Yijie Bai, Yanjiao Chen, Zhongming Ma, Wenyuan Xu 0001

本文提出了一种名为BARBIE的鲁棒后门检测方法,旨在解决深度学习模型共享中的安全风险。后门攻击会使模型在正常样本上表现正常,但在含有特定触发器的样本上产生恶意行为。现有检测方法利用良性模型与后门模型在潜在表示上的可分离性(latent separability),通过聚类或距离度量来区分,但这些方法容易被自适应攻击(adaptive attacks)绕过。BARBIE提出了一种新的度量指标——相对竞争分数(Relative Competition Score, RCS),通过刻画潜在表示对模型输出的主导性来表征可分离性,该指标对各种后门攻击具有鲁棒性,且难以被攻击者操控。该方法无需访问任何良性或后门样本,仅通过反转每个标签的两组潜在表示(一组反映良性模型的正常表示,另一组放大后门模型的异常表示)来计算RCS。基于RCS,BARBIE构建了一系列指标来全面反映后门模型与良性模型的差异。实验在4个数据集上对超过10,000个模型进行了验证,覆盖14种后门攻击类型,包括针对潜在可分离性的自适应攻击。与7种基线方法相比,BARBIE在源不可知攻击(source-agnostic)上平均真阳性率提升17.05%,源特定攻击提升27.72%,样本特定攻击提升43.17%,干净标签攻击提升11.48%,同时保持更低的假阳性率。该研究为模型供应链安全提供了有效的防御工具。

💡 推荐理由: 后门攻击威胁深度学习模型共享生态,现有检测方法易被自适应攻击绕过。BARBIE通过新颖的RCS度量实现鲁棒检测,显著提升真阳性率并降低误报,为安全部署模型提供了可靠手段。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Haodong Zhao, Tianyi Xu, Tianhang Zhao, Zhuosheng Zhang, Gongshen Liu

该论文提出了一种名为GradSentry的后门样本过滤方法,用于防御大语言模型(LLM)微调过程中的后门攻击。研究背景是:在微调LLM时,使用不可信的数据集可能引入后门攻击,其中被投毒的样本会导致模型在特定触发器下产生恶意行为。现有的样本过滤防御方法通常依赖于聚类技术,但这需要足够的数据量,并且在极端投毒比例下可能失效。GradSentry的核心思想是利用每个样本梯度的谱熵来区分干净样本和投毒样本。关键发现是,与干净样本相比,投毒样本产生的梯度具有更高的谱熵。该方法通过计算每个样本的梯度谱(即梯度的奇异值分布)来捕捉改变模型输出的后门签名,从而避免在特征构建过程中进行样本对比较或聚类。GradSentry是训练无关的:它既适用于参数高效微调方法(如LoRA),也适用于全参数微调,因为梯度分析独立于训练过程中更新的参数。该方法不需要聚类,在所有投毒比例(1%到90%)下均能有效运作,并且计算开销很小(对于7B模型,每个样本仅需20-50毫秒)。在四个问答数据集和四种攻击类型上的评估表明,谱熵对于后门检测是有效的。代码已开源。

💡 推荐理由: 针对LLM微调中的后门攻击,现有聚类方法在高或极低投毒比例下失效,GradSentry利用梯度谱熵提供了一种轻量、高效且无需聚类的替代方案,为LLM安全微调提供了新的防御思路。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yinbo Yu, Xueyu Yin, Jing Fang, Chunwei Tian, Qi Zhu, Jiajia Liu, Daoqiang Zhang

深度神经网络(DNN)仍然容易受到后门攻击,现有后门检测方法通常需要干净数据、代理数据、梯度或迭代触发器重建,导致计算成本高且在实际模型审计场景中鲁棒性有限。本文提出HTell,一种快速、轻量级且无需数据的后门检测方法,基于头部随机探针技术。HTell的核心洞察是:后门模型在随机潜在探针下,预测头部的目标类别上往往表现出异常高的响应集中度。该方法首先生成架构感知的随机潜在探针,直接馈入模型头部,然后通过分析类别级响应统计量来检测后门,无需访问真实/代理数据、模型梯度或参数优化。在包含超过6000个后门模型和700多个干净模型的大规模基准上进行评估,覆盖4个数据集、14种架构和21种后门攻击类型。HTell实现了99.03%的真阳性率和2.11%的假阳性率,每模型检测延迟仅为12.69毫秒,相比基于梯度的代表性检测器时间成本降低超过30,000倍。结果表明,头部随机探针为大规模无数据后门模型审计提供了准确、鲁棒且高效的解决方案。

💡 推荐理由: HTell实现了无需数据、快速且高精度的后门检测,大幅降低了模型审计的计算门槛,适合安全团队在本地或云端大规模部署前对第三方模型进行黑盒筛查。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 8.5
Conf: 50%
👥 作者: Yinbo Yu, Jing Fang, Xuewen Zhang, Chunwei Tian, Qi Zhu, Daoqiang Zhang, Jiajia Liu

本文针对深度神经网络(DNN)的后门攻击检测问题,提出了一种轻量级、快速的静态参数检测框架DFBScanner。现有防御方法通常依赖激活异常分析或触发器逆向工程,往往需要干净样本或先验知识,导致效率低、实用性差、泛化能力不足。尤其严重的是,虽然先进的后门攻击可以在毫秒级完成注入,但现有检测方法通常需要数分钟甚至数小时。DFBScanner基于一个关键观察:后门引起的特征扰动会导致最终分类层中出现独特且异常的参数更新。因此,该方法将检测焦点从识别多样且攻击特定的触发器模式,转移到识别最终层中统一的后门表现,从而实现高效且攻击无关的检测。具体地,通过构建并策略性地组合最终层参数的多个异常指标到一个特洛伊线索中,DFBScanner通过最大异常评分来检测后门。该方法在大规模后门基准上进行了评估,包括超过5000个后门模型,涵盖4个数据集、12种网络架构、20种后门触发器类型、2种攻击策略(all-to-one和all-to-all)以及3种后门注入方法(数据投毒、训练流程操纵和比特翻转)。数值结果表明,DFBScanner实现了97.17%的真正率、0.95%的假正率,且每个模型的平均检测时间仅为1毫秒,显著优于先前方法。该研究适合安全研究人员、AI系统防御工程师以及对模型后门检测感兴趣的从业者阅读。

💡 推荐理由: 提出了一种毫秒级、高精度的后门模型检测方法,解决了现有方法效率低、依赖先验知识的痛点,可直接用于AI模型供应链安全的快速筛查。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Pengyu Chen, Weiyang Li, Jin Xu, Jiacheng Wang, Ning Wang, Dusit Niyato, Tao Xiang

本文探讨了人工智能原生无线网络中模型取证的技术框架、应用场景及案例分析。随着AI深度嵌入无线网络,模型成为影响信号处理、资源调度和网络控制的核心组件,但模型异常、篡改和恶意功能也引入了新的安全风险。作者首先梳理了模型取证的关键问题,包括模型真实性验证、恶意功能识别和问责溯源,并归纳了模型取证的主要类别。接着,阐述了模型取证在AI原生无线网络中的作用,并回顾了代表性应用场景。在案例研究中,以射频指纹识别为例,提出了基于水印认证和后门检测的两条具体工作流程,展示了如何在实践中实现来源认证和恶意行为识别。结果表明,模型取证能为AI原生无线网络中的异常评估、来源追踪和可信运行提供重要支持。最后,作者指出了这一新兴领域未来研究的若干有前景的方向。本文适合无线网络安全、AI安全及模型可解释性领域的研究者和工程师阅读。

💡 推荐理由: 随着AI原生无线网络的部署,模型安全问题日益突出。本文首次系统性地提出模型取证框架,有助于提升网络对模型攻击的检测与溯源能力,对保障未来无线通信基础设施的安全具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Nay Myat Min, Long H. Pham, Jun Sun

大型语言模型在运行时可能表现出各种异常行为,例如训练时注入的后门在触发词下被激活、越狱攻击绕过安全对齐、提示注入覆盖部署者指令。现有的运行时防御通常针对单一威胁,且依赖干净参考模型、触发知识或可编辑权重,这些假设对不透明的第三方模型往往不成立。本文提出层间收敛指纹(Layerwise Convergence Fingerprinting, LCF),一种无需调优的运行时监控方法。LCF将模型的层间隐藏状态轨迹视为健康信号:对每一层间的差异计算对角马氏距离,通过Ledoit-Wolf收缩聚合,并在200个干净样本上使用留一法校准阈值,无需参考模型、触发知识或重新训练。在四个架构(Llama-3-8B、Qwen2.5-7B、Gemma-2-9B、Qwen2.5-14B)上针对后门、越狱和提示注入三类威胁进行评估(56种后门组合、3种越狱技术、BIPIA邮件和代码问答任务),LCF将Qwen2.5-7B和Gemma-2的平均后门攻击成功率降至1%以下,Qwen2.5-14B降至1.3%;检测92-100%的DAN越狱(GCG和角色扮演为62-100%);在所有(模型、领域)的8个单元格中100%标记文本载荷注入;后门误报率12-16%,推理开销小于0.1%。单个聚合分数即可覆盖全部三类威胁,无需针对具体威胁进行调整,使LCF成为云服务和设备端LLM的通用运行时安全层。

💡 推荐理由: 提供一种无需修改模型、轻量级的运行时异常检测方法,可同时防御后门、越狱和提示注入,适合保护部署在黑盒或第三方LLM中的应用。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)