#model-hijacking

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Ahmed Salem 0001, Michael Backes 0001, Yang Zhang 0016

这篇论文提出了一种针对机器学习模型的新型训练时攻击——模型劫持攻击(Model Hijacking Attack)。作者指出,机器学习已被广泛应用于自动驾驶、认证系统等关键场景,但随着模型被大量部署,攻击面也随之扩大。其中一类攻击发生在训练阶段,攻击者在模型训练前或训练过程中实施恶意行为。现有的训练时攻击主要是数据投毒(data poisoning),其目标通常是使模型在特定触发条件下出错或产生后门。然而,本文提出一种截然不同的攻击目标:攻击者试图将目标模型“劫持”到一个完全不同的任务上,同时让模型的所有者无法察觉。这一攻击的危害在于产生问责与安全风险,因为被劫持的模型可能被用于提供非法或不道德的服务,而模型所有者则可能被错误追责。攻击方式本质上仍属于数据投毒,但关键在于隐蔽性:用于劫持的样本需要在视觉上与原始训练数据分布相似,从而避免被防御手段或人工审查发现。为了实现这一目标,作者设计了一类基于编码器-解码器架构的新型ML模型,称为Camouflager,并基于它提出两种具体攻击方法:Chameleon和Adverse Chameleon。实验评估表明,这两种劫持攻击都能达到很高的成功率,且对原始模型在任务上的效用(utility)几乎不造成可感知的下降。该研究揭示了训练数据治理和模型部署前的完整性校验所面临的新挑战,也提示模型所有者需要监控模型行为是否存在向未知任务发生劣化的迹象。对机器学习安全研究者和模型运维者而言,该工作提供了关于训练时攻击形态边界的扩展认识,但需注意此处仅基于摘要,不涉及完整实现细节或可执行代码。

💡 推荐理由: 模型劫持攻击开创了训练时攻击的新目标:不是让模型失效或出错,而是让模型静默执行攻击者指定的另一任务。这直接冲击模型问责与监管体系,可能被滥用于将非法用途模型嫁祸给正常企业。安全团队在评估ML供应链风险时需将此类攻击纳入考量。

🎯 建议动作: 研究跟进:关注该攻击的防御理论和具体检测方法,并评估自身模型供应链对训练时隐蔽重定向的暴露程度。

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)