本文研究了LLM驱动的代码智能体在软件供应链中引入的新风险。代码智能体越来越多地参与软件开发流程,包括生成代码、选择依赖项和产生包安装命令。当智能体幻觉出一个不存在的包名时,攻击者可以注册该幻觉包名,进而危害安装该包的用户。现有的包幻觉攻击与防御主要集中在自然发生的幻觉、定向依赖操纵或事后包验证上。本文提出了一种高度隐蔽的攻击范式——中性提示攻击(Neutral Prompting Attack, NPA),其核心思想是利用语义上看似良性的指令(如鼓励想象和详尽回答)来增加包幻觉的发生倾向,而不包含显式的恶意意图。与定向依赖操纵不同,NPA不指定攻击者选择的包名,而是通过提示工程使模型的依赖生成行为更倾向于产生推测性的包名。作者在多个面向代码的LLM和包幻觉基准上评估了NPA,实验结果表明NPA不仅提高了幻觉率(Hallucination ASR)和Pip安装率(Pip Install ASR),还改变了幻觉包名的分布,并且能够逃避现有的静态分析、基于LLM和基于智能体的技能防御。这些发现揭示了看似无害的提示能够隐蔽地操纵幻觉行为,从而造成下游的软件供应链风险。本文的主要贡献在于提出并验证了一种新的、难以检测的包幻觉攻击范式,强调了对智能体输入进行安全审查的必要性。
💡 推荐理由: 揭示了一种新型的、通过语义无害提示隐蔽操纵LLM幻觉进行供应链投毒的方法,现有防御手段失效,对使用代码智能体的开发团队构成潜在风险。
🎯 建议动作: 研究跟进