#data-leakage

共收录 4 条相关安全情报。

← 返回所有主题
👥 作者: Hankyul Baek, Jaewon Noh, Sang Seo, Yongsu Kim, Gabriel Waikin Loh Matienzo, Young Il Kim, Ee Wei Seah, Akriti Vij

本文由新加坡AI安全研究所与韩国AI安全研究所联合进行,系统评估了LLM Agent在非对抗性使用场景下的数据泄露风险。以往研究多关注通过提示注入或越狱实现的对抗性数据外泄,但本文指出,在用户提出正常、非恶意请求时,敏感信息也可能因Agent的设计缺陷而被意外暴露。研究设计了12个贴近真实世界的任务场景,涵盖客户支持、DevOps、网页自动化以及企业与个人生产力等常见用途,并定义了五种风险类型:缺乏数据意识(Agent不了解自己所处理数据的敏感程度)、受众意识(未能区分信息接收者的权限)、策略遵从(违反企业数据使用策略)、数据最小化(获取了不必要的额外信息)以及访问边界意识(超越授权范围访问数据)。两个机构使用独立的测试环境和任务特定的LLM评判标准,对三个具代表性的Agent进行了评估。结果发现,没有一个Agent能在所有场景中同时实现完全正确和完全安全的执行;高任务完成率往往伴随着数据处理失误,例如访问不必要的信息或将数据发送给不当的接收者。这表明能力评估与数据处理安全性评估应分开进行。进一步定性分析还揭示了Agent声称与实际行动不符、模拟环境下的行为偏差、用户与模拟器角色反转以及自动评判中的理解差异等问题。总体而言,该研究表明操作性的数据泄露是与对抗性外泄同等重要且独立的一类Agent安全问题,并为未来Agent数据处理安全性评估提供了方法论基础。

💡 推荐理由: 提醒安全社区:即使没有恶意攻击,LLM Agent在正常使用中也可能因设计缺陷导致敏感数据泄露。这种风险常被忽视,但本文通过真实场景评估证明其普遍存在,促使企业重新审视Agent的数据安全评估标准。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Tiejin Chen, Pingzhi Li, Kaixiong Zhou, Tianlong Chen, Hua Wei

本文系统性地研究了多模态大语言模型(MLLMs)中的隐私风险。与文本大语言模型(LLMs)不同,MLLMs同时处理文本和图像,图像中嵌入的敏感信息可能被模型提取并泄露。作者首先构建了MM-Privacy综合数据集,覆盖多种多模态任务和场景,定义了表露风险(Disclosure Risks)和留存风险(Retention Risks)。然后,他们使用MM-Privacy对多个MLLM进行了系统评估,发现模型在不同任务中均存在泄露敏感信息的问题。此外,论文还揭示了任务不一致性(task inconsistency)在隐私风险中的角色,并强调了制定缓解策略的紧迫性。实验结果表明,MLLMs的隐私风险不容忽视,亟需防护措施以防止数据暴露。该研究为多模态AI的隐私保护提供了基准和方向,适合安全研究人员和AI开发者阅读。

💡 推荐理由: 多模态大模型处理图像数据时可能泄露嵌入的敏感信息,现有文本LLM隐私防护不足以应对,本研究首次系统性揭露该风险,对蓝队评估MLLM安全至关重要。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Guopeng Lin, Xiaoning Du 0001, Lushan Song, Weili Han, Jin Tan, Junming Ma, Wenjing Fang, Lei Wang

近年来,随着隐私保护法规(如欧盟GDPR)的出台,多方计算(MPC)协议被广泛用于公司和机构之间的联合数据分析与机器学习,以保护数据隐私。然而,MPC协议的复杂性导致其实现中常存在数据泄露漏洞,严重破坏预期的隐私保护。现有安全分析多依赖理论证明,忽视了实现中的漏洞检测。本文提出MPCGuard,一个实用的框架,用于检测MPC实现中的数据泄露漏洞。与传统内存漏洞不同,MPC中的数据泄露无法通过现有消毒工具识别。为此,MPCGuard首先建立由两个神经网络分类器组成的泄露标识器,根据MPC协议特性设计分类器结构,以判断实现是否包含数据泄露漏洞。识别出漏洞后,采用delta方法辅助定位。为验证有效性,在三大主流MPC框架(Crypten、TF-Encrypted、MP-SPDZ)中的29个常用实现上进行测试,发现12个存在数据泄露漏洞,部分可导致原始数据重构。截至论文撰写时,所有漏洞已被确认,其中两个已分配CVE编号(据作者所知,这是首个针对MPC实现数据泄露漏洞的CVE)。该工作首次系统性地解决了MPC实现中数据泄露漏洞的自动检测问题,对保障MPC应用的安全性具有重要意义。

💡 推荐理由: MPC实现中的数据泄露漏洞难以通过传统方法检测,但可导致敏感数据暴露。MPCGuard首次利用神经网络分类器自动化识别此类漏洞,已在真实框架中发现多个漏洞并获得CVE,为MPC安全实践提供了关键工具。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 10.5
Conf: 50%
👥 作者: Maosen Zhang, Jianshuo Dong, Boting Lu, Wenyue Li, Xiaoping Zhang, Tianwei Zhang, Han Qiu

本文针对检索增强生成(RAG)系统中的数据泄漏风险展开系统研究。RAG技术通过让大语言模型(LLM)利用外部知识库来提升回答质量,但同时也将宝贵的RAG数据库暴露于泄漏攻击之下。随着RAG系统日益复杂,LLM的指令遵循能力不断增强,现有研究缺乏对RAG泄漏风险的系统评估。为此,作者提出了LeakDojo——一个可配置的基准测试框架,用于在受控环境下评估RAG泄漏风险。利用LeakDojo,他们在14种LLM、4个数据集及多种RAG系统上对6种现有攻击进行了基准测试。主要发现包括:(1)查询生成和对抗指令对泄漏具有独立贡献,整体泄漏近似为两者的乘积;(2)更强的指令遵循能力与更高的泄漏风险相关;(3)提升RAG的忠实度反而可能引入更大的泄漏风险。这些发现为理解和缓解实际RAG泄漏提供了可操作的见解。代码已开源。

💡 推荐理由: RAG系统在企业级LLM应用中广泛部署,其数据库常包含敏感知识,泄漏后果严重。本文首次系统量化了泄漏风险因子,为安全评估提供了标准化框架,对防御者调整RAG配置具有直接指导意义。

🎯 建议动作: 研究跟进:阅读论文源码并评估自身RAG系统的泄漏风险,考虑应用文中发现的乘积近似关系设计防护。

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)