#stealthy

共收录 1 条相关安全情报。

← 返回所有主题
推荐 3.5
Conf: 50%
👥 作者: Ahmed Sharshar, Naveen Kumar Kummari, Mohsen Guizani

本文研究了持续学习(CL)模型在经验回放机制下的安全漏洞。经验回放是缓解灾难性遗忘的常用技术,但其对重放采样干扰的鲁棒性尚未充分探索。现有攻击通常修改输入或训练流程(如投毒、后门),且很少包含显式的可审计约束,缺乏现实性。本文定义并利用了可审计性概念:监控器可以通过采样器可见的遥测数据(例如记录的回放索引/标签统计)验证合规性,确保实际回放类别直方图接近名义基线,且每批次或滚动窗口内的回放率不变。在此约束下,本文考虑一个仅控制回放索引选择(无法修改像素、标签或模型参数)的低权限内部攻击者,并需遵守队列优先级等审计限制。作者提出了Amnesia,一种回放组成攻击,在两类预算下最大化模型退化:可见性预算delta(限制实际回放类别直方图与名义直方图之间的TV/KL散度),以及质量预算f(固定回放率)。Amnesia包含两个步骤:首先计算轻量级类别效用(如EMA损失或置信度),将名义分布偏向有害类别;然后通过高效的KL(指数倾斜)或TV(平衡质量再分配)优化器将偏好投影回delta球内。采用窗口化调度器强制滚动审计。在多个具有挑战性的持续学习基准和强回放基线实验中,Amnesia一致降低了最终准确率(ACC)并恶化了反向迁移(-BWT)。KL变体在多类审计方案(包括每批次和滚动窗口检查)下影响显著且难以检测;TV变体破坏力更强但更易检测,尤其是在严密的每类约束下。这些结果揭示了回放索引控制作为持续学习系统中一个实用且可审计的威胁面,并建立了原则性的影响-可见性权衡。本文主要面向持续学习、对抗性机器学习和AI安全领域的研究人员与从业者。

💡 推荐理由: 揭示了持续学习系统中一种新颖且实用的攻击面:仅控制回放索引选择即可显著降低模型性能,同时保持可审计性,对ML安全防御具有重要参考意义。

🎯 建议动作: 研究跟进:评估自身持续学习系统对该攻击的敏感性,并设计审计机制。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)