#machine-learning-security

共收录 11 条相关安全情报。

← 返回所有主题
👥 作者: Ahmed Salem 0001, Michael Backes 0001, Yang Zhang 0016

这篇论文提出了一种针对机器学习模型的新型训练时攻击——模型劫持攻击(Model Hijacking Attack)。作者指出,机器学习已被广泛应用于自动驾驶、认证系统等关键场景,但随着模型被大量部署,攻击面也随之扩大。其中一类攻击发生在训练阶段,攻击者在模型训练前或训练过程中实施恶意行为。现有的训练时攻击主要是数据投毒(data poisoning),其目标通常是使模型在特定触发条件下出错或产生后门。然而,本文提出一种截然不同的攻击目标:攻击者试图将目标模型“劫持”到一个完全不同的任务上,同时让模型的所有者无法察觉。这一攻击的危害在于产生问责与安全风险,因为被劫持的模型可能被用于提供非法或不道德的服务,而模型所有者则可能被错误追责。攻击方式本质上仍属于数据投毒,但关键在于隐蔽性:用于劫持的样本需要在视觉上与原始训练数据分布相似,从而避免被防御手段或人工审查发现。为了实现这一目标,作者设计了一类基于编码器-解码器架构的新型ML模型,称为Camouflager,并基于它提出两种具体攻击方法:Chameleon和Adverse Chameleon。实验评估表明,这两种劫持攻击都能达到很高的成功率,且对原始模型在任务上的效用(utility)几乎不造成可感知的下降。该研究揭示了训练数据治理和模型部署前的完整性校验所面临的新挑战,也提示模型所有者需要监控模型行为是否存在向未知任务发生劣化的迹象。对机器学习安全研究者和模型运维者而言,该工作提供了关于训练时攻击形态边界的扩展认识,但需注意此处仅基于摘要,不涉及完整实现细节或可执行代码。

💡 推荐理由: 模型劫持攻击开创了训练时攻击的新目标:不是让模型失效或出错,而是让模型静默执行攻击者指定的另一任务。这直接冲击模型问责与监管体系,可能被滥用于将非法用途模型嫁祸给正常企业。安全团队在评估ML供应链风险时需将此类攻击纳入考量。

🎯 建议动作: 研究跟进:关注该攻击的防御理论和具体检测方法,并评估自身模型供应链对训练时隐蔽重定向的暴露程度。

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yihao Zheng 0001, Haocheng Xia, Junyuan Pang, Jinfei Liu, Kui Ren 0001, Lingyang Chu, Yang Cao 0011, Li Xiong 0001

本文研究面向机器学习训练所用的表格数据集的版权保护问题,提出名为 TabularMark 的水印方法。传统表格数据水印方法在可检测性、非侵入性和鲁棒性等期望属性上存在不足,并且通常仅从数据统计层面保留数据效用,而忽略了水印对下游机器学习模型性能的影响。为此,作者试图回答一个核心问题:能否在不显著损害表格数据集用于训练机器学习模型效用的前提下,为数据集添加水印,同时防止攻击者在被攻击(含水印)的数据集上训练出可用的机器学习模型?TabularMark 方法的核心贡献在于设计了一种兼顾数据统计效用与下游模型性能的水印嵌入机制,使得合法用户在加水印数据上仍能训练出精度可接受的模型,而未经授权使用该数据的攻击者即便得到数据,也难以训练出有效模型。论文通过实验验证了所提方法在可检测性、数据效用保持、鲁棒性以及对抗训练攻击方面的表现。该研究适合数据隐私保护、数据资产管理、机器学习安全以及模型知识产权保护领域的研究者与工程师阅读,属于数据水印与机器学习交叉方向的前沿探索。由于当前仅获取到论文摘要,无法得知具体实验细节与定量结果,整体判断为一项尚处于研究阶段的方法学成果。

💡 推荐理由: 数据是机器学习的关键资产,表格数据水印若能在保护版权同时不影响模型性能,将帮助企业安全团队识别数据泄露源头并遏制未授权模型训练。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yi Zeng 0005, Minzhou Pan, Hoang Anh Just, Lingjuan Lyu, Meikang Qiu, Ruoxi Jia 0001

本文提出了一种名为 Narcissus 的实用后门攻击方法,属于干净标签(clean-label)后门攻击的新变体。传统后门攻击通过在训练集中注入带有触发器且标签被篡改的数据,使模型在推理阶段将含触发器输入误分类为攻击者指定类别。干净标签攻击则要求注入数据本身标签正确,以绕过人工审查,但现有干净标签方法通常依赖攻击者能够访问完整训练集,这在实际中常因数据来自不同来源(如不同用户的图像)而难以实现。Narcissus 的核心贡献在于,它仅需极少量信息(例如少量样本或类级别的统计信息)即可实施有效攻击,无需完整的训练集访问权限。方法上,它利用模型自身的表征空间或可迁移的特征来构造与目标类别语义一致但包含隐蔽触发器的样本,从而在保持标签正确的前提下诱导模型学习触发器与目标类别的错误关联。实验部分(基于摘要)展示了在多个图像分类基准上的攻击成功率,并强调其实用性:即使攻击者信息受限,仍可对深度学习模型构成现实威胁。该论文主要面向机器学习安全研究者、模型部署者和蓝队人员,帮助理解数据供应链中潜在的后门注入风险,并启发设计更鲁棒的防御机制。

💡 推荐理由: 该研究揭示了干净标签后门攻击在训练数据不可全量访问时依然可行,警示数据众包场景下模型面临的实际投毒风险,促使防御方重新评估数据来源可信度。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Yan Wen, Zhenyi Wang, Heng Huang

图神经网络(GNN)是机器学习即服务(MLaaS)中高风险应用的核心技术,但其黑盒部署模式易受模型提取(Model Extraction)攻击:攻击者通过查询API窃取模型知识产权。现有防御措施存在根本性的'欧几里得偏差'——它们直接将图像领域的扰动策略(如随机噪声)迁移到图数据上,忽略了图节点间复杂的拓扑依赖,导致模型效用大幅下降;而水印等被动防御无法实时阻断窃取。针对这一问题,本文提出GraphRP(Graph Reprogramming Protection)——一个基于模型重编程的主动防御框架,将模型重编程思想转化为安全防护机制。GraphRP的核心里程碑在于提出结构感知门控机制(Structure-Aware Gating Mechanism),该机制由可学习的拓扑原型驱动,构建一道动态的'结构防火墙',能够选择性地调节模型决策边界:对位于训练数据流形上的良性查询保持高保真度,而对恶意查询则沿扰动方向最大化Fisher信息,从信息论层面增大攻击者的估计误差。作者在标准假设下(有界损失、最优攻击者、局部二阶近似)证明了攻击者误差的下界将随重编程噪声的结构敏感性而增加,从理论上验证了该方法的有效性。实验覆盖软标签与硬标签两类主流模型提取攻击,结果表明GraphRP能显著降低攻击成功率,同时几乎不影响良性查询的效用。该研究首次将模型重编程引入GNN防御领域,为保护图模型知识产权提供了全新思路,特别适合ML安全研究员、MLaaS服务提供商及GNN部署方阅读。

💡 推荐理由: GNN在MLaaS中广泛部署,模型提取攻击可导致核心知识产权泄露。现有防御因忽略图拓扑而失效,GraphRP作为主动防御新思路,能有效平衡安全性与效用,值得安全从业者关注。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Bang Wu 0004, He Zhang 0012, Xiangwen Yang, Shuo Wang 0012, Minhui Xue 0001, Shirui Pan, Xingliang Yuan

GraphGuard 是一种针对图神经网络 (GNN) 训练数据滥用的检测与对抗方法。随着 GNN 在机器学习即服务 (MLaaS) 平台上的部署,本地训练过程缺乏透明度,可能导致数据所有者知识产权被侵犯。现有方案要么只检测要么只缓解滥用,且主要针对本地模型而非云平台。GraphGuard 首次提出无需原始训练数据的综合方案:检测阶段使用放射性数据 (radioactive data) 增强成员与非成员数据分布的可区分性,通过成员推理实现高精度检测;缓解阶段利用合成图模拟目标模型已学习的特征,在无需精确图数据的情况下执行针对性遗忘 (unlearning)。在四个真实图数据集上的实验表明,GraphGuard 的检测率接近 100%,遗忘后模型精度下降小于 5%。该方法适用于 MLaaS 场景,保护数据所有者权益。

💡 推荐理由: 图神经网络训练数据滥用是数据隐私与知识产权的重要威胁,GraphGuard 提供了一种无需原始数据的检测与缓解方案,对数据保护具有实际价值。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Philemon Hailemariam, Birhanu Eshete

该论文针对机器学习模型面临的清洁标签后门攻击防御难题,提出了一种名为 PoisonSpot 的新型检测系统。清洁标签后门攻击通过污染训练数据嵌入隐藏行为,且无需修改标签,使得现有防御手段难以有效检测。PoisonSpot 的核心创新在于借鉴动态污点追踪思想,实现了细粒度的训练来源追踪:它能够监控单个训练样本在整个训练过程中对模型参数更新的影响,并基于影响谱线为每个可疑样本分配毒性分数,从而精确识别并剔除携带后门触发器的样本。在多个基准数据集和攻击场景(包括自适应攻击策略)下的实验评估表明,PoisonSpot 相比现有最先进的清洁标签后门防御方法具有显著优势:始终实现高真阳性率、低假阳性率,并有效减轻后门攻击。此外,该系统在重训练和微调等多种训练设置下均能高效运行,展现出良好的鲁棒性和可扩展性。论文详细描述了追踪机制、毒性评分算法以及防御流程,为机器学习安全领域提供了一种精准、可操作的防御方案。

💡 推荐理由: 清洁标签后门攻击因隐蔽性强而难以检测,PoisonSpot 通过细粒度训练来源追踪实现了高精度识别,对依赖第三方数据的模型安全具有重要防护价值。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 9.5
Conf: 50%
👥 作者: Mohamed Suliman 0002, Anisa Halimi, Swanand Ravindra Kadhe, Nathalie Baracaldo, Douglas J. Leith

本文重新评估了数据伪造攻击(data forging attacks)在实践中的可行性与强度。数据伪造攻击旨在提供反事实证据,证明模型是在某个数据集上训练的,而实际上却是用另一个数据集训练的。攻击者通过用小批量数据替换为包含不同训练样本但产生几乎相同梯度的批次来实现伪造。这种攻击被认为会破坏数据治理和审计,因为模型所有者可能将不合规的训练集伪造为合规的。然而,作者从实践和理论两个角度进行了批判性分析。实践上,当前攻击方法的关键局限性在于无法产生足够相同的梯度,从而使验证者能够轻易检测出伪造。理论上,作者分析了两个不同的小批量能否产生相同梯度的问题。研究发现,虽然可能存在无数个具有实值训练样本和标签的小批量产生相同梯度,但在受限域(如像素值0-255和one-hot标签)中找到这样的样本并非易事。这些结果表明,现有攻击的实际威胁可能被高估,需要重新评估其强度。该研究对机器学习隐私和数据合规领域具有重要启示,适合安全研究人员、数据审计专家和隐私合规从业者阅读。

💡 推荐理由: 数据伪造攻击若被证实可行,将严重威胁模型审计与数据合规。本文揭示其实际局限性,有助于蓝队正确评估风险,避免过度恐慌或忽视。

🎯 建议动作: 关注并评估数据伪造攻击的实际风险

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Yibin Hu, Xiaolin Sun, Zizhan Zheng

本文针对基于模型的学习代理(model-based learning agents)中世界模型(world model)的微调阶段面临的数据投毒攻击问题,提出了SWAAP(Stealthy World Model Manipulation via Data Poisoning),这是首个两阶段数据投毒框架。在第一阶段,SWAAP通过一阶双层优化(first-order bilevel optimization)并利用过渡梯度定理(transition-gradient theorem)识别出一个有害的目标世界模型,该模型在保持与干净模型动态相近的同时,诱导规划(planning)产生低回报行为。在第二阶段,SWAAP通过隐身约束梯度匹配(stealth-constrained gradient matching)实现该目标,仅修改有限比例的微调转变目标(transition targets),使得诱导训练梯度将受害者模型推向对抗目标,同时预测误差正则化器(prediction-error regularizer)鼓励投毒目标保持在世界模型自然近似误差的范围内。为了评估攻击的隐蔽性,作者在投毒管线的三个阶段评估了防御和可检测性:训练前检测投毒转变、微调期间的鲁棒训练、以及测试时监控产生的世界模型。在多种连续控制任务中,SWAAP导致显著的性能退化,同时保持投毒转变与干净数据接近,并逃过了所评估的非自适应残差/CUSUM/TRIM风格的防御。这些结果揭示了世界模型适应管道中的一个实际漏洞,并强调了需要保护世界模型训练数据和学到的动态的鲁棒方法。适合安全研究人员、AI系统防御者以及强化学习从业者阅读。

💡 推荐理由: 该研究揭示了基于模型强化学习中世界模型微调管道的训练时攻击面,攻击者可通过少量数据投毒操纵模型导致低回报行为,且现有防御难以检测,对部署安全关键型自主代理构成威胁。

🎯 建议动作: 研究跟进,评估内部基于模型强化学习系统的数据投毒风险,探索鲁棒微调与异常检测方法。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Ayushi Sharma, Rosemary Agbozo, Santiago Torres-Arias, Zahra Ghodsi

机器学习系统面临着多样化的威胁,这些威胁会破坏模型的鲁棒性、隐私性和公平性。尽管已有许多防御方法被提出,但每个防御通常只孤立地解决单一风险。在实际部署中,需要将这些防御组合起来同时满足多个保障需求。然而,防御的组合过程复杂且尚未被充分理解,其对性能和安全的影响仍不明确。本文提出了Landseer,一个模块化框架,用于将机器学习防御集成到ML生命周期中,并系统地评估它们的组合效果。Landseer将防御封装为容器化模块,使得现有和新技术可以以最小的工作量插入。其评估引擎自动化了跨多个指标的实验,支持对防御进行单独和组合研究。在一项初步研究中,作者识别了35种最先进的机器学习防御,经过可复制性过滤后,使用Landseer的统一评估流程分析了它们的性能。研究结果揭示了跨防御家族的可复制性差距,并为集成多种防御的挑战和机遇提供了见解,为改进机器学习系统的可靠性奠定了基础。该论文适合机器学习安全研究人员、防御系统设计者以及希望理解防御组合权衡的从业者阅读。

💡 推荐理由: 该工作首次系统研究ML防御的组合问题,弥补了当前单个防御评估与真实部署需求之间的鸿沟,为构建更可靠的ML系统提供了方法论和工具。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Behrad Tajalli, Stefanos Koffas, Stjepan Picek

机器学习中的后门攻击旨在通过向训练数据中植入恶意样本,使模型在遇到特定触发器时产生攻击者指定的输出。现有研究多聚焦于图像等同质数据,而表格数据因同时包含数值和类别特征,其异构性使得攻击设计更具挑战。本文提出CatBack,一种针对表格数据的通用后门攻击方法。核心创新在于提出一种新的类别特征编码技术:将类别值转换为浮点数表示(而非传统的独热或序数编码),该编码能保留足够信息以保证正常模型的准确率。基于此编码,攻击者可以构建一个基于梯度的通用扰动,该扰动可同时作用于数值和类别特征,形成统一的触发器。在训练阶段,将带有此扰动的样本(后门样本)注入训练集,并标记为攻击目标标签;模型学习后,任何输入若被施加该通用扰动,都会预测为目标标签。作者在5个数据集(涵盖分类与回归任务)和4种流行模型(如决策树、神经网络等)上评估了CatBack,实验显示无论在白盒还是黑盒设置(包括在Google Vertex AI平台上)下,攻击成功率均高达100%。更关键的是,该方法能有效绕过现有多种防御机制,包括Spectral Signatures、Neural Cleanse、Beatrix和Fine-Pruning,以及常见的异常检测方法(如孤立森林)。与已有工作Tabdoor相比,CatBack在攻击成功率、隐蔽性和通用性上均有显著提升。本文揭示了表格数据在机器学习安全中的一个严重脆弱性,表明传统的防御手段在此类新型攻击面前失效,亟需针对异构数据设计更鲁棒的防御方案。

💡 推荐理由: 表格数据在金融风控、医疗诊断、工业检测等关键领域广泛应用,此攻击能绕过现有主流防御,威胁真实ML管线的安全性与可靠性,值得安全从业者高度关注。

🎯 建议动作: 研究跟进,评估自身表格模型对此类攻击的脆弱性,关注未来可能出现的新防御方法。

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Hao Luan, Xue Tan, Zhiheng Li, Jun Dai 0001, Xiaoyan Sun 0003, Ping Chen 0003

本文提出一种基于自监督学习的模型提取攻击方法,旨在同时实现数据集缩减和水印移除。传统模型提取攻击通常需要大量查询和完整训练数据,且可能保留原始模型的水印。作者利用自监督学习(如对比学习)从目标模型中提取知识,仅需少量未标记样本即可训练一个紧凑的替代模型。该方法通过构建正负样本对进行对比学习,使替代模型模仿目标模型的表示空间,从而在减少数据集规模(例如仅需原始数据集的10%)的同时,有效消除嵌入在目标模型中的水印。实验在多个图像分类数据集(CIFAR-10, CIFAR-100, SVHN)和不同架构(ResNet, VGG)上进行,结果显示替代模型在保持高准确率(接近目标模型)的同时,水印移除成功率显著高于基线方法。该研究揭示了自监督学习在模型窃取中的潜力,对模型水印保护机制构成新挑战。

💡 推荐理由: 该研究暴露了自监督学习可被用于高效模型窃取并绕过水印保护,威胁模型知识产权和安全性,需引起防御方重视。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)