#data-leakage

共收录 6 条相关安全情报。

← 返回所有主题
👥 作者: Arpan Kumar Mahapatra

该研究针对一个实际安全评估盲区: 当同一个智能体(Agent)同时使用 MCP 工具调用和 A2A 委托时,单独对每一层评估的安全性可能无法描述组合行为。作者构建了一个受控测试床: 一个真实模型主机通过本地 MCP 访问工具,再经本地 A2A 将消息传递给另一个代理,形成有序事件轨迹,并使用确定性规则进行精确计分,而不是依赖 LLM 裁判。实验采用冻结的三臂设计,包含 10 个记录场景,每个场景分别施加 "CONFIDENTIAL" 标头、无标头和 "PUBLIC - OK TO SHARE" 标头,但六个实质性记录字段的值在三种条件下字节完全相同。配置为 4 个模型 × 3 个条件 × 4 次重复,共 480 次试验。结果显示: 带 CONFIDENTIAL 标头与无标头之间的外发差异没有明确结论,且在所有模型中均接近下限;而增加 PUBLIC - OK TO SHARE 标头相对无标头会带来更高的逐字字段外发频率,但模型依赖性很大——Claude Sonnet 5 上效果强且一致(公开发送相对无标头的平均增加 0.800,所有 10 个场景均如此),GPT-5.6 的某一档中等但受到下限限制,另一档中位数增量为 0,还有一档完全没有效果。作者强调这是单一配置下的相关性而非因果关系。研究已公开代码、字节级轨迹和分析流水线,便于复现。对安全从业者的启发是: 在多协定的智能体链路中,简单的标签条件可能改变数据外发行为,不能依赖标签本身作为数据防泄漏控制,需要跨组件监督出站内容的逐字泄露。

💡 推荐理由: MCP 与 A2A 组合使敏感字段在代理间流动时可能突破单层 DLP;公开分享标签可能意外提升逐字外发风险,值得蓝队监控多智能体链路。

🎯 建议动作: 纳入内部评估

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Mostafa M. Galal

本文指出工业物联网入侵检测领域广泛使用的基准数据集 Edge-IIoTset 存在严重的数据泄漏问题,导致基于该数据集报告的 99% 以上检测准确率并不可靠。作者发现数据集附带的数据预处理流程要求对七个类别型特征进行独热编码,其中四个类别特征在正常流量与攻击流量之间本身就存在一一对应的区分能力——具体而言,数据构建过程中缺失协议字段的占位符在正常分支中写作字符串 "0",而在攻击分支中写作 "0.0",仅凭这一拼写差异即可完美区分全部样本。这表明分类器实际学习的是文件来源的序列化痕迹,而非任何网络行为特征。实验显示,在 5 折 × 3 次重复交叉验证下,六种标准分类器中有五种达到精确 1.0000 ± 0.0000 准确率,第六种也达到 0.99998。修复协议后,朴素贝叶斯的宏 F1 下降 0.3005,最强模型降至 0.9503 ± 0.0011。此外,标签编码、顺序编码和频率编码同样导致泄漏。由于原始数据集还缺乏 Modbus 协议覆盖和按设备划分的身份信息,作者从原始抓包数据重建了一个无泄漏新基准 AgriEdge,包含 1,276,122 行、五类设备完整标签,且任意单一特征对类别的区分能力不超过 0.0288。在留下一个设备进行泛化测试时,随机森林的平衡准确率从 0.9988 骤降至 0.5083,表明感知/执行层的跨设备泛化能力极差。非独立同分布联邦分区带来的宏 F1 损失至多 0.0037,但一轮 20 轮 LoRaWAN 训练需消耗 4.6 小时上行时间。该论文的核心贡献是揭示数据泄漏机制、提供去泄漏基准,并提醒社区重新审视现有 IoT 入侵检测模型的真实泛化能力。适合机器学习安全、工业物联网入侵检测基准设计、联邦学习场景下的安全研究者阅读。

💡 推荐理由: 该研究揭示了一个广泛使用的工业物联网入侵检测基准存在致命数据泄漏,使得大量已发表模型的 99% 准确率是虚假的,直接影响蓝队对模型可信度与部署价值的评估,也提醒安全从业者警惕数据集构建中的序列化伪影导致评估失真。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
👥 作者: Hankyul Baek, Jaewon Noh, Sang Seo, Yongsu Kim, Gabriel Waikin Loh Matienzo, Young Il Kim, Ee Wei Seah, Akriti Vij

本文由新加坡AI安全研究所与韩国AI安全研究所联合进行,系统评估了LLM Agent在非对抗性使用场景下的数据泄露风险。以往研究多关注通过提示注入或越狱实现的对抗性数据外泄,但本文指出,在用户提出正常、非恶意请求时,敏感信息也可能因Agent的设计缺陷而被意外暴露。研究设计了12个贴近真实世界的任务场景,涵盖客户支持、DevOps、网页自动化以及企业与个人生产力等常见用途,并定义了五种风险类型:缺乏数据意识(Agent不了解自己所处理数据的敏感程度)、受众意识(未能区分信息接收者的权限)、策略遵从(违反企业数据使用策略)、数据最小化(获取了不必要的额外信息)以及访问边界意识(超越授权范围访问数据)。两个机构使用独立的测试环境和任务特定的LLM评判标准,对三个具代表性的Agent进行了评估。结果发现,没有一个Agent能在所有场景中同时实现完全正确和完全安全的执行;高任务完成率往往伴随着数据处理失误,例如访问不必要的信息或将数据发送给不当的接收者。这表明能力评估与数据处理安全性评估应分开进行。进一步定性分析还揭示了Agent声称与实际行动不符、模拟环境下的行为偏差、用户与模拟器角色反转以及自动评判中的理解差异等问题。总体而言,该研究表明操作性的数据泄露是与对抗性外泄同等重要且独立的一类Agent安全问题,并为未来Agent数据处理安全性评估提供了方法论基础。

💡 推荐理由: 提醒安全社区:即使没有恶意攻击,LLM Agent在正常使用中也可能因设计缺陷导致敏感数据泄露。这种风险常被忽视,但本文通过真实场景评估证明其普遍存在,促使企业重新审视Agent的数据安全评估标准。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Tiejin Chen, Pingzhi Li, Kaixiong Zhou, Tianlong Chen, Hua Wei

本文系统性地研究了多模态大语言模型(MLLMs)中的隐私风险。与文本大语言模型(LLMs)不同,MLLMs同时处理文本和图像,图像中嵌入的敏感信息可能被模型提取并泄露。作者首先构建了MM-Privacy综合数据集,覆盖多种多模态任务和场景,定义了表露风险(Disclosure Risks)和留存风险(Retention Risks)。然后,他们使用MM-Privacy对多个MLLM进行了系统评估,发现模型在不同任务中均存在泄露敏感信息的问题。此外,论文还揭示了任务不一致性(task inconsistency)在隐私风险中的角色,并强调了制定缓解策略的紧迫性。实验结果表明,MLLMs的隐私风险不容忽视,亟需防护措施以防止数据暴露。该研究为多模态AI的隐私保护提供了基准和方向,适合安全研究人员和AI开发者阅读。

💡 推荐理由: 多模态大模型处理图像数据时可能泄露嵌入的敏感信息,现有文本LLM隐私防护不足以应对,本研究首次系统性揭露该风险,对蓝队评估MLLM安全至关重要。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Guopeng Lin, Xiaoning Du 0001, Lushan Song, Weili Han, Jin Tan, Junming Ma, Wenjing Fang, Lei Wang

近年来,随着隐私保护法规(如欧盟GDPR)的出台,多方计算(MPC)协议被广泛用于公司和机构之间的联合数据分析与机器学习,以保护数据隐私。然而,MPC协议的复杂性导致其实现中常存在数据泄露漏洞,严重破坏预期的隐私保护。现有安全分析多依赖理论证明,忽视了实现中的漏洞检测。本文提出MPCGuard,一个实用的框架,用于检测MPC实现中的数据泄露漏洞。与传统内存漏洞不同,MPC中的数据泄露无法通过现有消毒工具识别。为此,MPCGuard首先建立由两个神经网络分类器组成的泄露标识器,根据MPC协议特性设计分类器结构,以判断实现是否包含数据泄露漏洞。识别出漏洞后,采用delta方法辅助定位。为验证有效性,在三大主流MPC框架(Crypten、TF-Encrypted、MP-SPDZ)中的29个常用实现上进行测试,发现12个存在数据泄露漏洞,部分可导致原始数据重构。截至论文撰写时,所有漏洞已被确认,其中两个已分配CVE编号(据作者所知,这是首个针对MPC实现数据泄露漏洞的CVE)。该工作首次系统性地解决了MPC实现中数据泄露漏洞的自动检测问题,对保障MPC应用的安全性具有重要意义。

💡 推荐理由: MPC实现中的数据泄露漏洞难以通过传统方法检测,但可导致敏感数据暴露。MPCGuard首次利用神经网络分类器自动化识别此类漏洞,已在真实框架中发现多个漏洞并获得CVE,为MPC安全实践提供了关键工具。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 10.5
Conf: 50%
👥 作者: Maosen Zhang, Jianshuo Dong, Boting Lu, Wenyue Li, Xiaoping Zhang, Tianwei Zhang, Han Qiu

本文针对检索增强生成(RAG)系统中的数据泄漏风险展开系统研究。RAG技术通过让大语言模型(LLM)利用外部知识库来提升回答质量,但同时也将宝贵的RAG数据库暴露于泄漏攻击之下。随着RAG系统日益复杂,LLM的指令遵循能力不断增强,现有研究缺乏对RAG泄漏风险的系统评估。为此,作者提出了LeakDojo——一个可配置的基准测试框架,用于在受控环境下评估RAG泄漏风险。利用LeakDojo,他们在14种LLM、4个数据集及多种RAG系统上对6种现有攻击进行了基准测试。主要发现包括:(1)查询生成和对抗指令对泄漏具有独立贡献,整体泄漏近似为两者的乘积;(2)更强的指令遵循能力与更高的泄漏风险相关;(3)提升RAG的忠实度反而可能引入更大的泄漏风险。这些发现为理解和缓解实际RAG泄漏提供了可操作的见解。代码已开源。

💡 推荐理由: RAG系统在企业级LLM应用中广泛部署,其数据库常包含敏感知识,泄漏后果严重。本文首次系统量化了泄漏风险因子,为安全评估提供了标准化框架,对防御者调整RAG配置具有直接指导意义。

🎯 建议动作: 研究跟进:阅读论文源码并评估自身RAG系统的泄漏风险,考虑应用文中发现的乘积近似关系设计防护。

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)