本文系统研究了针对现实世界(in-the-wild)提示词(Prompt)的“提示词窃取攻击”(Prompt Stealing Attacks)有效性。随着大型语言模型(LLM)的普及,高质量提示词已成为提示词市场中的宝贵商品,但攻击者试图通过观察模型输出反向推断原始提示词,从而威胁提示词市场的知识产权和商业模式。以往研究主要集中在学术数据集上,对真实用户构建的提示词是否同样脆弱缺乏验证。本文首次对真实世界提示词的窃取攻击进行了系统研究。作者首先对比了真实提示词与学术提示词在长度、语义和主题上的差异,发现两者存在显著不同;随后评估了现有提示词窃取方法在真实提示词上的表现,结果显示这些方法效果较差。为提升攻击效能,作者提出基于文本梯度(Text Gradient)的迭代优化方法,通过不断调整提示词以更好地复现目标输出,实验表明该方法显著提升了攻击效果:在提示词恢复方面,METEOR分数从0.207提升至0.253;在输出恢复方面,从0.323提升至0.440。尽管有所改进,但作者指出根本性挑战依然存在,强调仍需进一步研究以提升和评估真实场景下提示词窃取攻击的有效性。本文面向LLM安全、提示词工程和知识产权保护领域的研究人员,提供了对真实提示词攻击难度的首次量化认识。
💡 推荐理由: 提示词作为LLM时代的核心资产,其安全性直接影响商业提示词平台的生态。本研究揭示现有窃取攻击在真实提示词上的低效性,帮助安全从业者客观评估此类威胁的真实风险等级。
🎯 建议动作: 研究跟进