#continual-learning

共收录 6 条相关安全情报。

← 返回所有主题
👥 作者: Simone Milani

本文提出了一种基于码分调制层(CDML)的方法,用于解决持续学习在步态识别系统中面临的灾难性遗忘和隐私推理攻击问题。持续学习允许模型逐步吸收新任务的知识,而无需重新训练整个模型,在生物识别领域具有降低计算成本的潜力。然而,传统持续学习方法在小批量数据上逐步微调模型时,容易导致旧任务准确率下降(灾难性遗忘),且模型可能泄露敏感信息(如成员推理攻击)。作者将步态识别系统视为多任务持续学习场景,每个任务对应不同个体的步态模式。核心创新是引入CDML,这是一种在模型特征层中添加可学习调制向量的技术,类似于扩频通信中的码分多址概念。每个任务分配一个独立的调制码,在训练时仅更新该码和分类器,而共享特征提取器保持不变,从而缓解遗忘。同时,由于调制层的随机性,攻击者难以从模型输出中推断特定个体是否在训练集中,有效抵御成员推理攻击。实验基于公开步态数据集(如CASIA-B),与EWC、LwF等基线方法对比,结果表明CDML在保持所有任务平均准确率的同时,将成员推理攻击的成功率降至接近随机水平。此外,该方法无需存储旧样本回放,进一步降低了数据重传的开销。论文的贡献在于:1)首次将CDML应用于步态持续学习;2)同时解决准确率与隐私问题;3)实验验证了方法的有效性。适合从事生物识别、持续学习或隐私保护的研究人员阅读。

💡 推荐理由: 该研究提出了一种新颖的架构,能在持续学习中同时对抗灾难性遗忘和隐私推理攻击,对生物识别系统部署具有实际意义。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Enrico Gottardis, Mattia Tamiazzo, Simone Milani

该论文聚焦于持续学习场景下的假语音检测问题。随着语音生成模型不断演进,假语音检测器需要持续更新以识别新类型的伪造语音。然而,传统的微调或增量学习方法会导致灾难性遗忘,即模型在适应新数据时显著丧失对旧数据的检测能力。作者提出一种基于域翻译器的遗忘鲁棒方案,核心思想是在已冻结的预训练检测器前嵌入一个回溯翻译器网络。该翻译器将新样本的特征空间映射回原始训练数据所对应的特征空间,使得冻结的检测器无需重新训练即可有效处理新数据。实验采用多个假语音数据集(如ASVspoof系列)进行持续学习评估,结果表明,与完全重训练相比,该方法在保持对新旧数据高检测精度的同时,大幅降低了计算开销和存储需求。该工作为部署长期有效的假语音检测系统提供了新思路。

💡 推荐理由: 假语音攻击手段快速迭代,检测器若不持续更新则迅速失效。该方法解决了持续学习中的灾难性遗忘问题,为安全运营中维护长效检测模型提供了轻量化、高保真的技术路径。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Oxana Salish, Kuniyilh S

该论文聚焦于物联网(IoT)和网络物理系统(CPS)中持续学习(CL)环境下的后门攻击安全问题。随着IoT/CPS系统需要不断适应环境变化、设备异构性和概念漂移,持续学习被广泛用于提升系统效用。然而,持续学习的增量更新、回放缓冲区和表示重用等机制也为攻击者提供了植入持久后门的机会。攻击者可以设计恶意输入,使得模型在正常操作中表现正常,但遇到特定触发器时激活恶意行为。论文首先形式化了IoT/CPS环境下的威胁模型,分析了持续学习过程中后门攻击为何能持久存在:增量更新使得后门逐渐融入模型参数,回放缓冲区可能保留后门样本,表示重用则促使后门泛化到不同任务。然后,作者提出了一种针对持续学习的后门攻击方法,并在不同条件下评估了攻击的有效性和持久性。实验结果表明,即使在持续学习多个任务后,后门仍然能够保持高触发成功率,而模型在主流任务上的性能几乎不受影响。论文最后讨论了在工业IoT(IIoT)环境中保障持续学习安全面临的开放挑战,强调了加强安全控制的必要性。该研究揭示了持续学习在IoT/CPS中部署时的新安全风险,为后续防御研究提供了方向。适合对IoT/CPS安全、后门攻击和持续学习感兴趣的读者阅读。

💡 推荐理由: 首次系统分析了持续学习在IoT/CPS环境中如何放大后门持久性,揭示了传统防御方法在动态学习过程中的不足,对设计鲁棒的持续学习安全机制具有重要启示。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Ahmed Sharshar, Naveen Kumar Kummari, Mohsen Guizani

本文研究了持续学习(CL)模型在经验回放机制下的安全漏洞。经验回放是缓解灾难性遗忘的常用技术,但其对重放采样干扰的鲁棒性尚未充分探索。现有攻击通常修改输入或训练流程(如投毒、后门),且很少包含显式的可审计约束,缺乏现实性。本文定义并利用了可审计性概念:监控器可以通过采样器可见的遥测数据(例如记录的回放索引/标签统计)验证合规性,确保实际回放类别直方图接近名义基线,且每批次或滚动窗口内的回放率不变。在此约束下,本文考虑一个仅控制回放索引选择(无法修改像素、标签或模型参数)的低权限内部攻击者,并需遵守队列优先级等审计限制。作者提出了Amnesia,一种回放组成攻击,在两类预算下最大化模型退化:可见性预算delta(限制实际回放类别直方图与名义直方图之间的TV/KL散度),以及质量预算f(固定回放率)。Amnesia包含两个步骤:首先计算轻量级类别效用(如EMA损失或置信度),将名义分布偏向有害类别;然后通过高效的KL(指数倾斜)或TV(平衡质量再分配)优化器将偏好投影回delta球内。采用窗口化调度器强制滚动审计。在多个具有挑战性的持续学习基准和强回放基线实验中,Amnesia一致降低了最终准确率(ACC)并恶化了反向迁移(-BWT)。KL变体在多类审计方案(包括每批次和滚动窗口检查)下影响显著且难以检测;TV变体破坏力更强但更易检测,尤其是在严密的每类约束下。这些结果揭示了回放索引控制作为持续学习系统中一个实用且可审计的威胁面,并建立了原则性的影响-可见性权衡。本文主要面向持续学习、对抗性机器学习和AI安全领域的研究人员与从业者。

💡 推荐理由: 揭示了持续学习系统中一种新颖且实用的攻击面:仅控制回放索引选择即可显著降低模型性能,同时保持可审计性,对ML安全防御具有重要参考意义。

🎯 建议动作: 研究跟进:评估自身持续学习系统对该攻击的敏感性,并设计审计机制。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Suresh Kumar Amalapuram, Bikraj Shresta, Siva Ram murthy Chebiyam, Bheemarjuna Reddy Tamma, Sumohana S Channappayya

该论文针对基于机器学习的恶意软件检测器因概念漂移(即良性软件和恶意软件随时间演变导致检测模型过时)而性能下降的问题,提出了一种名为 SEED 的半监督持续恶意软件检测方法。现有方法(如使用层次对比损失 HCL 结合主动学习)依赖大量标注数据,但在安全领域获取标注数据困难且成本高昂。当仅有部分标注数据时,HCL 在检测未知恶意软件时性能显著下降,尤其是在缺乏强语义结构的 BODMAS 数据集上。SEED 通过结合定制的二元交叉熵目标、半监督持续学习和主动学习,在有限监督下实现有效检测。对于部分标注的已知任务,利用奇异值分解从先前数据构建表示空间,将未标注样本投影到该空间并与合适标注样本配对,以鼓励表示一致性。对于完全无标注的未知任务,在表示空间中利用余弦距离量化不确定性,选择最不确定的样本供分析师标注。在 Windows(BODMAS)和 Android(AndroZoo、APIGraph)数据集上的实验表明,仅使用20%的标注数据,SEED 在未知恶意软件检测的平均AUT(AUC曲线下面积随时间变化)相比半监督HCL*提高了40%(BODMAS)和14%(AndroZoo),在APIGraph上也具有竞争力。此外,SEED 引入延迟缓冲区更新策略以减少重放过程中的标签噪声传播,提高学习稳定性。该研究适合网络安全研究人员、恶意软件检测工程师以及关注持续学习和半监督学习在安全领域应用的从业者阅读。

💡 推荐理由: 解决了恶意软件检测中标注数据稀缺和概念漂移双重挑战,显著提升少量标注下的未知恶意软件检测性能,降低人工标注成本。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zahra Asadi, Haeseung Jeon, Sohyun Han, Md Mahmuduzzaman Kamol, Se Eun Oh, Mohammad Saidur Rahman

FreeMOCA 是一项针对恶意代码分析中持续学习挑战的研究。每年超过 2 亿个新恶意软件样本被发现,传统的反病毒系统仅在新样本上重新训练会导致灾难性遗忘和可利用盲区,而使用全部数据集重新训练则计算成本高昂。FreeMOCA 提出了一种无记忆(memory-free)且计算高效的持续学习框架,通过自适应逐层插值(adaptive layer-wise interpolation)在连续任务更新之间保留先前知识,其核心是利用热启动任务最优(warm-started task optima)在参数空间中由低损失路径连接的特性。方法不依赖存储旧样本,避免内存开销。实验在 Windows(EMBER)和 Android(AZ)恶意软件基准上进行,涵盖类增量(Class-IL)和域增量(Domain-IL)两种设置。结果显示,FreeMOCA 在 Class-IL 设置中表现显著,在 EMBER 和 AZ 上均优于 11 个基线方法;同时大幅减少遗忘,实现最佳保留性能,在 EMBER 和 AZ 上准确率分别提升高达 42% 和 37%。作者发布代码,表明参数空间中的热启动插值可作为基于回放的持续恶意软件检测的可扩展且有效的替代方案。该研究为安全领域持续学习提供了实用思路。

💡 推荐理由: 该研究为恶意软件检测模型在持续演化中解决灾难性遗忘提供了高效、可扩展的方案,无需存储历史数据,显著降低计算开销,同时提升检测准确性。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)