#entity-masking

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Saleh Almohaimeed, Saad Almohaimeed, Mousa Jari, Fahad Alotaibi, Khalid A. Alobaid

本文提出了一种面向检索增强生成(RAG)场景的隐私保护框架 SEAG(Sensitive Entity Alias Generator),旨在解决外部大语言模型(LLM)在生成回答时可能接触用户查询和检索文档中的敏感信息这一常被忽视的问题。现有 RAG 隐私研究主要关注防止未授权用户访问敏感数据,但本文指出,当 RAG 调用第三方生成器时,查询和检索文档会明文暴露给外部模型,存在敏感信息被滥用或用于非预期目的的风险。SEAG 框架包含一个轻量级模型,能够定位查询和文档中的敏感实体(如人名、地名、组织、身份证号等),为每个敏感实体生成对应的别名,并构建实体替换表。在将查询和文档发送给外部生成器之前,SEAG 使用该替换表对敏感词进行替换,从而隐藏真实敏感信息,同时尽可能保留语义以便生成器输出正确回答。作者构建了两个数据集:一个用于微调 SEAG 模型以生成实体替换表,另一个用于评估整个框架。实验表明,SEAG 在“用户指标”(衡量模型在向用户提供正确回答的同时向外部生成器隐藏敏感信息的能力)上,所有 SEAG 模型均达到超过 80% 的准确率。进一步分析评估了 Qwen-3、LLaMA-3.2 和 Phi-4 三个 SEAG 模型隐藏给定文档中全部敏感实体的能力,总准确率分别为 77.83%、76.73% 和 74.91%,表现良好。该研究为 RAG 系统中的隐私保护提供了一种实用的预处理方案,适合关注 RAG 隐私、数据脱敏和第三方 LLM 安全使用的安全研究人员与工程师阅读。

💡 推荐理由: RAG 系统常调用第三方 LLM,查询与检索文档中的敏感信息可能被外部模型获取,造成隐私泄露。SEAG 提出的实体别名校验机制可在不影响回答质量的前提下隐藏敏感实体,为蓝队设计数据脱敏策略提供了新思路。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)