#skill-extraction

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Yu-Lin Tsai, Yu-An Lu, Ci-Yang Tsai, Muxi Lyu, Raluca Ada Popa, Chia-Mu Yu

本文提出了一种名为 Daydreaming 的黑盒攻击方法,用于窃取托管在多文件技能(skill)中的智能体能力。在当代 AI 智能体系统中,技能包通常包含指令、参考数据和可执行辅助脚本,使通用模型能够执行特定任务。服务提供商可以保守这些文件为秘密,同时对外出售任务结果访问权限,从而将技能本身作为有价值的知识产权。现有的披露防御机制能够阻止直接索取技能文本或重现技能内容的请求,但无法阻止客户提交服务本身所设计的正常任务。Daydreaming 通过纯执行(execution-only)方式,仅凭黑盒任务交互即可窃取一个多文件技能。其核心思路是:不要求受害者透露技能内容或对重构结果进行评分,而是自适应地构造精心设计的问题,使得返回结果能够区分可能的隐藏行为。该方法逐一测试候选行为,利用攻击者控制的影子智能体(shadow agent)辅助设计方案,并通过存储的受害者结果和本地执行校验来逐文件完成重构。论文形式化了三种嵌套的访问威胁等级:Differential(差分)、Trace(轨迹)和 Output(输出),并重点研究最严格的 Output 场景,即攻击者只能看到最终响应和返回文件。在 7 个技能和 4 个受害者模型上的实验表明,Daydreaming 在 Output 级别能够恢复原始技能能力的 86.8%,比基线 SigLeak 方法性能提升近 4 倍。即使在披露防御开启的情况下,每个技能也只需中位数 32 次受害者调用即可生成可安装的技能。这些结果证明,仅仅隐藏技能文件和过滤直接披露并不能有效防止通过正常使用进行的功能性重建。该研究为 AI 智能体安全、技能知识产权保护和环境隔离设计提供了重要的警示。

💡 推荐理由: 该研究揭示了即使服务商隐藏技能实现并过滤直接披露,攻击者仍可通过正常任务调用重构出功能等价的技能,直接影响以技能为商业模型的 AI 服务安全性。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.6
Conf: 50%
👥 作者: Zonghao Ying, Xiangfan Wu, Huiyu Wu, Xing Zheng, Huangsheng Cheng, Xiaorong Shi, Jing Guo

本文提出了一种针对自进化智能体(self-evolving agents)的新型攻击方法 SkillJack。自进化智能体会将交互历史转化为可复用的技能(skills),这些技能可以跨任务持久保存。以往研究关注的是记忆与检索投毒,但此类攻击仅在恶意记录被检索为上下文时才会生效。本文发现了更根本的风险:被投毒的经验可能被智能体自身转化为持久的行为工件。SkillJack 首次利用自进化智能体的经验-技能转换管道(experience-to-skill pipeline),通过劫持智能体自身的学习过程,将恶意行为植入其可复用的技能库中,而不是直接操纵运行时上下文。作者识别出该攻击的三个关键特性:净化洗白(sanitization whitewashing),即恶意意图在技能提取过程中被掩盖;跨层提升(cross-layer promotion),即瞬态经验成为持久能力;持久性隔离(persistence isolation),即攻击能在删除原始源记录后继续存活。作者在 SkillX 和 Anything2Skill 两个代表性系统上进行了评估,使用包含 150 条轨迹的共享数据集,覆盖四类政策风险。结果表明,技能提取显著降低了攻击的可检测性:在 SkillX 中,安全检测率从针对被投毒轨迹的 98.5% 降至针对提取技能后的 11.4%,Anything2Skill 也呈现类似效果。同时,植入的技能仍然有效,在两个系统上的攻击成功率分别达到 56.2% 和 89.2%。此外,80.0% 的经由技能介导的攻击在删除原始被投毒记录后仍然存在,部分技能还会在良性查询上意外激活。这些发现揭示了技能演化是一个新的攻击面,并提出了对技能生命周期进行来源感知保护的需求。代码已开源。

💡 推荐理由: 首次揭示自进化智能体的技能提取管道可被投毒,且攻击具有持久性和隐蔽性,威胁持久化能力远超传统上下文注入,对AI代理安全防护提出全新挑战。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)