#prompt-detection

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Xingyu Lyu, Jiayimei Wang, Jianfeng He, Ning Wang, Yidan Hu, Yimin Chen

检索增强生成(RAG)通过在生成阶段引入外部知识库的检索结果,显著降低了大型语言模型的幻觉与事实性错误,已成为提升 LLM 输出质量的主流范式。然而近期研究揭示了一个关键隐私漏洞:攻击者可构造特定查询,借助检索环节从底层语料库中提取个人可识别信息(PII)。RAG-CT 针对该威胁提出一种轻量级防御方案,其核心思路是不改动底层 LLM 与检索器,而是对进入系统的查询进行统计特征分析——考察查询在熵(entropy)与间隔(margin)维度上的分布差异,并采用基于分数的检测方法(score-based detection)判定其是否为恶意查询。换言之,该方法将“隐私窃取型查询”视为一类可被统计指纹识别的异常输入,通过在生成前进行拦截来阻断 PII 泄漏链路。作者在两个数据集上,使用四种当前先进的攻击策略与四种防御基线开展详尽对比实验,结果表明 RAG-CT 在显著降低 PII 泄漏量的同时,整体表现优于现有防御方案。论文定位为一种无需修改模型权重、无需改动检索组件的即插即用式防护机制,部署成本低,适合在既有 RAG 服务上快速叠加。整体而言,该工作从输入侧统计检测的角度补充了 RAG 安全防护思路,与输出侧过滤、检索结果审查等方案形成互补。

💡 推荐理由: 企业 RAG 知识库普遍包含客户资料、工单、人事文档等 PII,检索环节是已被证实的泄漏通道。该方案不改模型、不改检索器即可部署,属于低成本可落地的输入侧防护,值得纳入 RAG 安全评估基线。

🎯 建议动作: 研究跟进:优先复现其检测思路,评估在本组织 RAG 语料与查询分布下的误报/漏报表现,再决定是否试点部署

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Linghan Chen, Yudong Gao, Jiyao Wang, Kaiyan Ji, Honglong Chen

本文研究了一个新兴的安全问题:商业大语言模型(LLM)的系统提示词(system prompt)可以被高成功率(超过80%)地提取并零成本重新部署,但提示词所有者无法验证某个疑似部署是否是克隆。为此,作者提出了黑盒行为指纹识别(Black-Box Behavioral Fingerprinting, BBF)方法。其核心思想是:提示词所有者先从模型输出中注册一个行为签名(behavioral signature),然后仅通过黑盒API访问,测试疑似部署的输出是否与该签名匹配的程度显著高于无关基线。该方法不需要访问模型内部参数或训练数据。作者进行了大规模实验,覆盖4个模型家族、8个基准测试,共收集288,000条响应。实验发现:提示词选择能够解释24.4%的输出方差;在同一模型下,克隆检测的AUC达到0.876。跨模型性能受检测器身份限制,非对角线AUC范围从0.845(以Claude作为检测器)到0.665(以Qwen作为检测器),整体平均为0.725。BBF能抵抗非自适应提示词改写(AUC≥0.889),并且对不完美的提取具有鲁棒性。然而,一个单句的正式语气前缀(formal-tone prefix)就能在短结构化输出上使检测性能崩溃(在MNLI基准上AUC从0.978降至0.547),从而暴露出风格不变检测(style-invariant detection)这一关键开放问题。此外,作者提出了一种零成本的查询选择规则——诊断查询优化(Diagnostic Query Optimization),该规则可将跨模型AUC提升+0.120。该研究为系统提示词克隆检测提供了首个系统性的黑盒方案,揭示了现有方法的局限,并为后续工作指明了方向。适合LLM安全研究者、模型部署方以及关注知识产权保护的安全工程师阅读。

💡 推荐理由: 系统提示词已成为LLM应用的核心资产,但克隆检测缺乏有效手段。本文提出的黑盒指纹方法为提示词所有权验证提供了首个可行思路,同时揭示了当前检测方法的脆弱性,对AI服务安全和知识产权保护有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)