#continual-learning

共收录 11 条相关安全情报。

← 返回所有主题
👥 作者: Michael Neri

复放攻击是语音控制系统面临门槛最低的威胁之一,而暴露复放行为的声学线索会随攻击所处的声学环境发生强烈变化。这意味着部署在现场的检测器必须随着时间持续吸收新的声学条件,同时理想情况下不能反复回看历史录音,因为长期保留语音数据既昂贵又受法律合规限制。作者把该问题形式化为声学环境上的领域增量学习(Domain-Incremental Learning, DIL),并提出了首个面向多通道复放语音检测的持续学习基准。实验基于 ReMASC 语料库,覆盖全部 24 种环境到达顺序并各运行 5 个随机种子,评估一个当前最优的、基于波束成形(beamformer)的检测器。结果显示:朴素顺序微调会出现严重灾难性遗忘,使先前已学环境的错误率上升 18.8 个百分点;弹性权重固化(EWC)能把遗忘量减半,但牺牲了模型可塑性;梯度投影记忆(GPM)与朴素微调在统计意义上无法区分;作者提出的任务专用波束成形器(task-specific beamformer, TSB)为每个环境保留一个独立的空间前端,在最终精度与增量精度上均有显著提升。研究还指出,序列中最后加入的环境会主导最终性能表现。代码、结果与分析已开源。

💡 推荐理由: 任何真实部署的语音反欺骗/声纹系统都会面对声学环境漂移。本文提供了可复现的多通道持续学习基准与量化结论,说明常见持续学习策略在复放检测上未必有效,为工程选型与评估方法提供依据,并提示环境到达顺序会显著影响结论。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Keyu Lin, Fei Ye, Qihe Liu, Shijie Zhou, Jiguo Yu

持续学习(Continual Learning, CL)旨在让模型能够从按顺序到达的任务中获取新知识并保留旧知识,但灾难性遗忘问题一直存在。现实场景中,数据流往往来自不可信来源,可能被攻击者注入极少量后门毒化样本,对持续学习器的稳定性、可塑性和安全性构成严峻挑战。本文提出并研究了一个新设定——后门攻击下的持续学习(Continual Learning Under Backdoor Attack,CLUBA),即每个增量任务都可能包含一小部分恶意操纵的训练样本。与传统的持续学习或后门防御不同,CLUBA要求模型同时解决三个目标:缓解灾难性遗忘、保持对新任务的适应能力、以及避免在持续更新中吸收恶意监督。为应对该挑战,作者设计了一个鲁棒的动态扩展框架,将样本净化、选择性恢复和鲁棒专家路由有机整合进统一的持续学习范式。框架具体包含三个模块:一是双原型净化(Bi-Prototype Purification, BPP),通过分析特征空间中样本与各类原型的语义差异来识别可疑样本;二基于净化后的数据,进行基于梯度差异性鲁棒性优化(Gradient Discrepancy-based Robustness Optimization, GDBRO),对信息量大的毒化样本用伪标签校正并做梯度一致性评估,从而选择性恢复这些样本,既提升鲁棒性又保持模型可塑性;三是基于鲁棒特征一致性专家选择(Robust Feature Consistency-based Expert Selection, RFCBES),构造扰动感知的类别原型,在输入被污染或分布漂移时仍能做出可靠的专家路由选择。该研究从问题定义到算法模块都探讨了在持续学习场景下如何同时兼顾稳定性、可塑性和安全性,并给出了一个可借鉴的防御框架雏形。该框架的模块设计可为后续安全连续学习研究提供参考,但其实际效果尚需在更多真实数据集和攻击模式下验证,因此属于偏向算法研究的贡献。

💡 推荐理由: 持续学习正被逐步用于在线更新模型中,后门投毒威胁因此从离线训练扩展到增量阶段。本文提出的净化与选择性恢复框架对安全团队防范在线模型被污染、保持自学习系统可信有直接的参考意义。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Kyle Stein, Guillermo Francia, III Eman El-Sheikh, Andrew Arash Mahyari

本文针对恶意流量识别中模型需要不断适应新型恶意软件变体、但传统重新训练成本高昂且易发生灾难性遗忘的问题,研究了小样本类增量学习(FSCIL)这一特定设置。在该设置下,模型需要在仅拥有少量标注样本的情况下学习新增的恶意软件类别,同时不遗忘已学知识。作者提出了一种混合框架:首先使用基于恶意流量数据包的领域特定预训练来初始化自监督学习(SSL)骨干网络;在基础会话训练阶段,通过低秩适配(LoRA)模块在冻结骨干网络的同时高效调整模型,从而保持已学表征的稳定性;对于后续的增量会话,则采用基于原型的分类头,从少量样本中构建稳健的决策边界。实验在多个数据集上进行,结果表明该方法在多个恶意软件FSCIL基线任务上均取得最优性能,达到了当前最先进水平。本文的核心贡献在于将FSCIL引入恶意软件分类场景,并验证了SSL预训练、LoRA参数高效微调与原型分类相结合的可行性,为持续学习型入侵检测系统提供了新思路。适合关注机器学习安全、持续学习与恶意流量检测的研究人员和蓝队工程师阅读。

💡 推荐理由: 恶意软件变体不断涌现,传统检测模型需要频繁重训;本文提出的FSCIL方法让检测系统仅用少量新样本即可增量学习,同时避免灾难性遗忘,对提升安全运营中模型更新效率具有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Benedikt Kluss, Niklas Bunzel

该论文针对持续学习(Continual Learning, CL)网络提出了一种新的安全攻击向量。持续学习旨在让深度模型在不遗忘旧知识的前提下,从数据流中迭代学习,但现有对抗研究主要关注重新诱发灾难性遗忘或降低模型可用性。作者发现了一种全新漏洞:攻击者操纵数据可以降低当前或后续迭代的可学习性,称为‘学习阻断器’(learning blockers)。这类操作攻击的是CL算法的可塑性,由于可针对模型尚未接触的未来迭代,因此在当前训练阶段难以被察觉;若同时诱发灾难性遗忘,则导致整体性能退化,作者称之为‘灾难性学习’(Catastrophic Learning)。文中形式化了该场景,定义了威胁模型,并提出六种攻击策略:标签交换、张量交换、吸引-重合、吸引-前置、排斥-重合、排斥-前置。吸引类变体最小化被污染迭代与受害迭代标签间的损失,在特征空间中拉近表示;排斥类变体最大化该损失,推远表示,使得稳定性机制抵抗所需的参数偏移。重合变体中被污染与受害迭代相同,仅使用干净参考迭代作为标签源;前置变体中被污染迭代先于受害迭代,使受害迭代因表示失真而不可学习。作者在MNIST和Split-CIFAR10数据集上,针对DER、ER-ACE和iCaRL三种CL策略,进行了超过4480次模拟实验。结果显示存在严重脆弱性:攻击者可以有选择地抑制可塑性以阻碍新知识获取,同时促进旧知识遗忘,从而引发灾难性学习场景。该研究首次系统性地探讨了针对CL可塑性的攻击,对未来设计鲁棒持续学习算法具有重要启示。适合对对抗机器学习、持续学习安全性感兴趣的研究者和安全分析师阅读。

💡 推荐理由: 持续学习模型在真实场景中逐步部署,该研究揭示的攻击可静默破坏模型学习能力,且难以在训练中察觉,影响AI系统长期可靠性。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Azizi Ariffin, Afif Haris, Faiz Zaki, Hazim Hanif, Nor Badrul Anuar

本研究提出了一种基于Transformer的自适应入侵检测系统(IDS)框架,旨在解决网络安全环境中威胁分布不断变化所导致的模型性能衰退问题。传统IDS在固定流量快照上训练,部署后会因数据分布偏移而性能下降;针对新攻击进行微调会导致灾难性遗忘,而完全重新训练则计算成本过高。基于回放的持续学习虽可缓解该问题,但现有方法通常假设良性流量仅出现在早期任务中,且忽视了回放缓冲区本身可能成为攻击面。作者设计了一个结合表格Transformer编码器与类别均衡经验回放缓冲区的自适应IDS框架,在每次更新时回放良性流量以稳定决策边界。同时提出了类别-实例增量(CII)场景,使良性流量与新攻击同时出现,作为更真实的压力测试;并针对回放缓冲区展开了标签翻转和隐蔽后门投毒攻击的探测研究。在CICIDS2017基准上,框架在传统类增量设置下达到0.9994准确率,在CII下达到0.9989,且遗忘可忽略,大幅优于顺序微调(0.0052)、EWC(0.0324)、LwF(0.0699)和iCaRL(0.8770)等基线。实验表明,每次经验注入良性流量是防止遗忘的关键,但回放缓冲区也引入了严重漏洞:1%预算的标签翻转攻击可使模型准确率崩溃至0.0053;后门攻击在保持整体准确率0.97的同时,触发流的攻击成功率高达95%,且能逃避标准监控。最终结论是,适度的回放预算可使模型性能接近联合训练,但缓冲区完整性成为严格的操作要求。论文适合入侵检测、持续学习、对抗机器学习方向的研究人员和安全工程师阅读。

💡 推荐理由: 指出了持续学习型IDS中回放缓冲区这一常被忽视的攻击面,并对后门投毒的实际危害给出了量化结果,对评估基于回放的模型安全部署有直接警示意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Simone Milani

本文提出了一种基于码分调制层(CDML)的方法,用于解决持续学习在步态识别系统中面临的灾难性遗忘和隐私推理攻击问题。持续学习允许模型逐步吸收新任务的知识,而无需重新训练整个模型,在生物识别领域具有降低计算成本的潜力。然而,传统持续学习方法在小批量数据上逐步微调模型时,容易导致旧任务准确率下降(灾难性遗忘),且模型可能泄露敏感信息(如成员推理攻击)。作者将步态识别系统视为多任务持续学习场景,每个任务对应不同个体的步态模式。核心创新是引入CDML,这是一种在模型特征层中添加可学习调制向量的技术,类似于扩频通信中的码分多址概念。每个任务分配一个独立的调制码,在训练时仅更新该码和分类器,而共享特征提取器保持不变,从而缓解遗忘。同时,由于调制层的随机性,攻击者难以从模型输出中推断特定个体是否在训练集中,有效抵御成员推理攻击。实验基于公开步态数据集(如CASIA-B),与EWC、LwF等基线方法对比,结果表明CDML在保持所有任务平均准确率的同时,将成员推理攻击的成功率降至接近随机水平。此外,该方法无需存储旧样本回放,进一步降低了数据重传的开销。论文的贡献在于:1)首次将CDML应用于步态持续学习;2)同时解决准确率与隐私问题;3)实验验证了方法的有效性。适合从事生物识别、持续学习或隐私保护的研究人员阅读。

💡 推荐理由: 该研究提出了一种新颖的架构,能在持续学习中同时对抗灾难性遗忘和隐私推理攻击,对生物识别系统部署具有实际意义。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Enrico Gottardis, Mattia Tamiazzo, Simone Milani

该论文聚焦于持续学习场景下的假语音检测问题。随着语音生成模型不断演进,假语音检测器需要持续更新以识别新类型的伪造语音。然而,传统的微调或增量学习方法会导致灾难性遗忘,即模型在适应新数据时显著丧失对旧数据的检测能力。作者提出一种基于域翻译器的遗忘鲁棒方案,核心思想是在已冻结的预训练检测器前嵌入一个回溯翻译器网络。该翻译器将新样本的特征空间映射回原始训练数据所对应的特征空间,使得冻结的检测器无需重新训练即可有效处理新数据。实验采用多个假语音数据集(如ASVspoof系列)进行持续学习评估,结果表明,与完全重训练相比,该方法在保持对新旧数据高检测精度的同时,大幅降低了计算开销和存储需求。该工作为部署长期有效的假语音检测系统提供了新思路。

💡 推荐理由: 假语音攻击手段快速迭代,检测器若不持续更新则迅速失效。该方法解决了持续学习中的灾难性遗忘问题,为安全运营中维护长效检测模型提供了轻量化、高保真的技术路径。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Oxana Salish, Kuniyilh S

该论文聚焦于物联网(IoT)和网络物理系统(CPS)中持续学习(CL)环境下的后门攻击安全问题。随着IoT/CPS系统需要不断适应环境变化、设备异构性和概念漂移,持续学习被广泛用于提升系统效用。然而,持续学习的增量更新、回放缓冲区和表示重用等机制也为攻击者提供了植入持久后门的机会。攻击者可以设计恶意输入,使得模型在正常操作中表现正常,但遇到特定触发器时激活恶意行为。论文首先形式化了IoT/CPS环境下的威胁模型,分析了持续学习过程中后门攻击为何能持久存在:增量更新使得后门逐渐融入模型参数,回放缓冲区可能保留后门样本,表示重用则促使后门泛化到不同任务。然后,作者提出了一种针对持续学习的后门攻击方法,并在不同条件下评估了攻击的有效性和持久性。实验结果表明,即使在持续学习多个任务后,后门仍然能够保持高触发成功率,而模型在主流任务上的性能几乎不受影响。论文最后讨论了在工业IoT(IIoT)环境中保障持续学习安全面临的开放挑战,强调了加强安全控制的必要性。该研究揭示了持续学习在IoT/CPS中部署时的新安全风险,为后续防御研究提供了方向。适合对IoT/CPS安全、后门攻击和持续学习感兴趣的读者阅读。

💡 推荐理由: 首次系统分析了持续学习在IoT/CPS环境中如何放大后门持久性,揭示了传统防御方法在动态学习过程中的不足,对设计鲁棒的持续学习安全机制具有重要启示。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Ahmed Sharshar, Naveen Kumar Kummari, Mohsen Guizani

本文研究了持续学习(CL)模型在经验回放机制下的安全漏洞。经验回放是缓解灾难性遗忘的常用技术,但其对重放采样干扰的鲁棒性尚未充分探索。现有攻击通常修改输入或训练流程(如投毒、后门),且很少包含显式的可审计约束,缺乏现实性。本文定义并利用了可审计性概念:监控器可以通过采样器可见的遥测数据(例如记录的回放索引/标签统计)验证合规性,确保实际回放类别直方图接近名义基线,且每批次或滚动窗口内的回放率不变。在此约束下,本文考虑一个仅控制回放索引选择(无法修改像素、标签或模型参数)的低权限内部攻击者,并需遵守队列优先级等审计限制。作者提出了Amnesia,一种回放组成攻击,在两类预算下最大化模型退化:可见性预算delta(限制实际回放类别直方图与名义直方图之间的TV/KL散度),以及质量预算f(固定回放率)。Amnesia包含两个步骤:首先计算轻量级类别效用(如EMA损失或置信度),将名义分布偏向有害类别;然后通过高效的KL(指数倾斜)或TV(平衡质量再分配)优化器将偏好投影回delta球内。采用窗口化调度器强制滚动审计。在多个具有挑战性的持续学习基准和强回放基线实验中,Amnesia一致降低了最终准确率(ACC)并恶化了反向迁移(-BWT)。KL变体在多类审计方案(包括每批次和滚动窗口检查)下影响显著且难以检测;TV变体破坏力更强但更易检测,尤其是在严密的每类约束下。这些结果揭示了回放索引控制作为持续学习系统中一个实用且可审计的威胁面,并建立了原则性的影响-可见性权衡。本文主要面向持续学习、对抗性机器学习和AI安全领域的研究人员与从业者。

💡 推荐理由: 揭示了持续学习系统中一种新颖且实用的攻击面:仅控制回放索引选择即可显著降低模型性能,同时保持可审计性,对ML安全防御具有重要参考意义。

🎯 建议动作: 研究跟进:评估自身持续学习系统对该攻击的敏感性,并设计审计机制。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Suresh Kumar Amalapuram, Bikraj Shresta, Siva Ram murthy Chebiyam, Bheemarjuna Reddy Tamma, Sumohana S Channappayya

该论文针对基于机器学习的恶意软件检测器因概念漂移(即良性软件和恶意软件随时间演变导致检测模型过时)而性能下降的问题,提出了一种名为 SEED 的半监督持续恶意软件检测方法。现有方法(如使用层次对比损失 HCL 结合主动学习)依赖大量标注数据,但在安全领域获取标注数据困难且成本高昂。当仅有部分标注数据时,HCL 在检测未知恶意软件时性能显著下降,尤其是在缺乏强语义结构的 BODMAS 数据集上。SEED 通过结合定制的二元交叉熵目标、半监督持续学习和主动学习,在有限监督下实现有效检测。对于部分标注的已知任务,利用奇异值分解从先前数据构建表示空间,将未标注样本投影到该空间并与合适标注样本配对,以鼓励表示一致性。对于完全无标注的未知任务,在表示空间中利用余弦距离量化不确定性,选择最不确定的样本供分析师标注。在 Windows(BODMAS)和 Android(AndroZoo、APIGraph)数据集上的实验表明,仅使用20%的标注数据,SEED 在未知恶意软件检测的平均AUT(AUC曲线下面积随时间变化)相比半监督HCL*提高了40%(BODMAS)和14%(AndroZoo),在APIGraph上也具有竞争力。此外,SEED 引入延迟缓冲区更新策略以减少重放过程中的标签噪声传播,提高学习稳定性。该研究适合网络安全研究人员、恶意软件检测工程师以及关注持续学习和半监督学习在安全领域应用的从业者阅读。

💡 推荐理由: 解决了恶意软件检测中标注数据稀缺和概念漂移双重挑战,显著提升少量标注下的未知恶意软件检测性能,降低人工标注成本。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zahra Asadi, Haeseung Jeon, Sohyun Han, Md Mahmuduzzaman Kamol, Se Eun Oh, Mohammad Saidur Rahman

FreeMOCA 是一项针对恶意代码分析中持续学习挑战的研究。每年超过 2 亿个新恶意软件样本被发现,传统的反病毒系统仅在新样本上重新训练会导致灾难性遗忘和可利用盲区,而使用全部数据集重新训练则计算成本高昂。FreeMOCA 提出了一种无记忆(memory-free)且计算高效的持续学习框架,通过自适应逐层插值(adaptive layer-wise interpolation)在连续任务更新之间保留先前知识,其核心是利用热启动任务最优(warm-started task optima)在参数空间中由低损失路径连接的特性。方法不依赖存储旧样本,避免内存开销。实验在 Windows(EMBER)和 Android(AZ)恶意软件基准上进行,涵盖类增量(Class-IL)和域增量(Domain-IL)两种设置。结果显示,FreeMOCA 在 Class-IL 设置中表现显著,在 EMBER 和 AZ 上均优于 11 个基线方法;同时大幅减少遗忘,实现最佳保留性能,在 EMBER 和 AZ 上准确率分别提升高达 42% 和 37%。作者发布代码,表明参数空间中的热启动插值可作为基于回放的持续恶意软件检测的可扩展且有效的替代方案。该研究为安全领域持续学习提供了实用思路。

💡 推荐理由: 该研究为恶意软件检测模型在持续演化中解决灾难性遗忘提供了高效、可扩展的方案,无需存储历史数据,显著降低计算开销,同时提升检测准确性。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)