#similarity-based-detection

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Chaeeun Han, Soodeh Atefi, Yevgeniy Vorobeychik, Aron Laszka

该论文关注机器学习训练数据供应链中的投毒攻击防御问题。随着模型训练越来越依赖公开且不可信的第三方数据源,攻击者可以通过向训练集中注入少量恶意样本来使模型对特定目标样本产生错误分类。现有防御方法大致分为两类:一类完全不具备任何关于哪些样本被投毒的地面真值信息,只能依赖统计启发式;另一类则假设可以获取大量经过验证的干净样本,但这种验证在实际中成本极高,尤其在 clean-label(干净标签)攻击场景下,投毒样本在视觉与语义上与正常数据几乎无法区分,需要大量人工或取证专家逐条核验,因此该假设难以满足。论文提出放松这一假设:只需一小批经验证的样本,且该验证集同时包含经取证专家确认为干净和确认为投毒的样本。核心挑战在于验证集规模过小,任何直接在验证集上训练的判别分类模型都会严重过拟合,无法泛化到未验证的候选样本。为此作者提出 SAGE(Similarity-based Approach for Ground-truth-driven Exclusion),其思路是先用一个独立数据集训练通用的特征提取器,把训练样本映射到具有良好泛化性的表示空间,再在该空间中基于已验证样本做非参数的、相似度加权的预测,从而为每个训练样本打上是否被投毒的标记并进行剔除。在标准基准上针对七种 clean-label 投毒攻击方法的实验中,作者发现即便只掌握极少数已验证的投毒样本,也能带来显著的检测收益;同时还发现,已验证干净样本在不同类别之间的分布均衡程度,比验证样本的总数量对防御效果影响更大。

💡 推荐理由: 训练数据投毒是模型供应链的核心风险之一,而现有防御要么假设过强、要么效果有限。该工作证明仅需少量人工核验样本即可显著提升清洗效果,并指出验证样本的类别分布比数量更关键,对降低数据审核成本、设计可落地的数据清洗流程有直接参考价值。

🎯 建议动作: 研究跟进,并评估将其相似度加权过滤思路纳入内部训练数据清洗与第三方数据集准入流程

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: De Zhang Lee, Han Fang, Ee-Chien Chang

本文针对黑盒对抗攻击的流式检测(Stateful Detection, SD)方法展开研究。现有方法如Blacklight和PIHA利用查询之间的相似性来识别对抗性查询序列。作者观察到,分类软标签的时间相关性是对抗攻击的一个显著特征,可用于降低误报率。此外,论文指出SD实现中的一个潜在漏洞:许多系统为了效率采用近似相似函数替代精确但计算昂贵的度量,攻击者可以构造在近似下不相似但在精确度量下相似的查询,从而逃避检测(称为针对近似函数的“对抗攻击”)。基于这些观察,作者提出一个两阶段检测框架:第一阶段识别高相似度的查询子序列,并引入随机性以防止针对近似函数的对抗攻击;第二阶段分析软标签的时间相关性,进一步验证是否存在攻击者查询。实验结果表明,该方法对Boundary Attack、HSJA、SimBA、Square Attack等攻击的检测真阳性率(TPR)达到1.00,同时假阳性率(FPR)不超过0.06,并且对自适应攻击OARS具有鲁棒性。

💡 推荐理由: 该研究改进了对抗攻击的流式检测方法,利用软标签时间相关性降低误报,并揭示了近似相似函数可能被利用的漏洞,对提升检测系统鲁棒性有重要意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)