#data-exfiltration

共收录 6 条相关安全情报。

← 返回所有主题
推荐 10.5
Conf: 50%
👥 作者: Chuanchao Zang, Jianing Wang, Wenyu Chen, Xiangtao Meng, Li Wang, Xinyu Gao, Yingkai Dong, Zheng Li, Shanqing Guo

本文研究 LLM 智能体(Agent)在使用基于知识的工具(如文件、数据库、搜索索引)时面临的一类新型安全风险:工具介导的知识提取(tool-mediated knowledge extraction)。当 Agent 为了回答用户提问调用目标工具并获得源内容后,攻击者只需通过精心构造的查询序列,就可能从 Agent 的输出中逐步重建目标工具背后的完整知识源,造成数据泄露。作者指出工具调用环节存在两个核心挑战:一是工具选择不确定性,Agent 可能根据模糊查询调用竞争工具而非目标工具,影响提取效率;二是工具参数压缩,Agent 生成调用参数时会丢失细粒度查询信息,导致提取不完整。针对上述挑战,作者提出 ToolSiphon——一种仅基于查询交互的黑盒提取攻击方法,包含两个互补信号:目标判别信号通过“工具对比分析”不断修正查询方向,使其更多落在目标工具上;响应支撑事实信号通过“证据链反馈”利用上下文中的事实信息缓解参数压缩,并逐步扩大提取覆盖面。实验覆盖三类基于知识的工具和六个领域数据集,结果表明:在提供非目标工具粗粒度信息时,ToolSiphon 平均可恢复 74.3% 的源记录(文本恢复率 83.2%,语义相似度 90.2%);即便没有该信息也能恢复 66.3% 的源记录。此外,该方法对代表性防御措施仍然有效,并在三个真实智能体平台上得到了验证。该工作首次系统性地刻画了工具调用引起的知识提取风险,为 LLM Agent 的安全设计提供了重要警示。

💡 推荐理由: LLM Agent 正广泛集成私有数据工具,此项研究揭示仅通过自然语言查询即可从 Agent 输出中萃取后端知识源,威胁数据保密性与合规性;防御者需重新审视工具调用边界与输出管控。

🎯 建议动作: 研究跟进:阅读论文全文,评估自身 Agent 工具链的可提取性,设计针对性的输出过滤与查询管控方案。

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 5.5
Conf: 50%
👥 作者: Yuqi Jia, Ruiqi Wang, Patrick Li, Yuepeng Hu, Peinian Li, Neil Gong

该论文研究了一种针对 LLM 代理的新型恶意工具攻击:ContextLeak。LLM 代理(如基于工具调用的 AI Agent)在执行任务时,其运行时上下文(包括用户提示、执行轨迹、工具列表)可能包含高度敏感的信息。攻击者可以利用恶意工具窃取这些上下文,这通常需要满足三个条件:(1) 代理选择了恶意工具;(2) 代理将运行时上下文作为输入参数传递给该工具;(3) 工具实现将这些输入发送到攻击者控制的端点。现有研究主要聚焦条件 (1) 和 (3),而忽略了条件 (2) 的关键作用——即如何诱导代理主动将上下文作为工具参数泄露。本文填补了这一空白,提出了 ContextLeak 攻击方法,通过强化学习精心构造恶意工具的名称和描述,从而诱导代理既选择恶意工具,又自动将运行时上下文作为参数传入。具体实现中,作者使用一个攻击 LLM 来生成工具的名称和描述,并通过在多样化的模拟用户(影子用户)上下文上进行强化学习微调攻击 LLM。其核心技术贡献是设计了专门针对上下文窃取目标的奖励函数,使强化学习能够有效优化攻击效果。实验表明,即使影子用户上下文与受害者上下文差异很大,该攻击仍然表现出很高的有效性,并且在相同条件下显著优于已有的恶意工具攻击方法。该研究揭示了 LLM 代理在工具调用场景中的新安全弱点,对安全防御方理解和防范此类数据泄露攻击具有重要意义。

💡 推荐理由: LLM 代理在各行业快速落地,其运行时上下文常含敏感用户信息。ContextLeak 揭示了攻击者可借由恶意工具诱导代理主动泄露上下文,现有防御对此鲜有关注,安全团队需及时了解并审视自身代理体系的风险。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jyotirmay Chauhan, Kostas Solomos, Mir Masood Ali, Jason Polakis

该论文针对桌面操作系统(特别是 macOS)中应用数据收集与共享行为的隐私泄露问题进行了首次系统性研究。尽管 Web、移动和 IoT 生态系统的隐私风险已被广泛探讨,桌面应用却长期被忽视,而它们仍被大量使用,构成用户隐私的关键盲区。作者采用应用开发为中心的视角,梳理了 macOS 中多个监管数据访问与披露的机制(如权限提示、隐私标签、透明度与同意等),发现这些机制彼此割裂,数据抽象层次不一致,导致开发者合规复杂度上升,同时为未披露的隐私侵犯行为提供了便利。基于此,论文提出了 NutriScan 分析框架,结合静态和动态分析技术,对 macOS 应用的数据访问与披露行为进行统一视图的检测。作者使用 NutriScan 动态分析了 1000 个 macOS 应用,结果发现 85% 的应用访问用户数据 API 但未进行披露;49.7% 的应用向广告实体和托管服务商外发数据,其中 12.5% 无对应披露。研究还揭示桌面应用正被在线追踪器利用来丰富用户画像和设备指纹,扩大了在线追踪生态系统的真实范围。最后,作者提出了一系列缓解措施,旨在简化开发者的数据披露流程并改进 Apple 的应用审查流程。该论文是首个针对 macOS 应用生态数据披露机制的全面研究,填补了桌面端隐私研究的空白,对安全研究人员、平台监管者以及隐私合规工程师具有重要参考价值。

💡 推荐理由: 首次系统揭露 macOS 应用生态中大规模未披露的数据收集与共享行为,表明桌面端已成为隐私泄露的重要盲区,对蓝队监控和隐私合规评估有直接指导意义。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Asuman Senol, Gunes Acar, Mathias Humbert, Frederik J. Zuiderveen Borgesius

本研究系统性地调查了用户在网页表单提交前,电子邮箱和密码信息被第三方脚本截获的风险。研究团队通过测量网络流量和JavaScript执行,分析了大量网站的数据泄漏行为。结果显示,许多网站在表单提交前就将用户输入(包括电子邮件和密码)发送给第三方,如分析服务、广告平台和数据代理商。研究量化了泄漏的程度和频率,识别了常见的泄漏路径,包括表单自动填充、键盘记录器和数据收集脚本。此外,研究还探讨了隐私法规(如GDPR)对此类实践的约束,并提出了防御建议,如使用更严格的HTTP头、禁用第三方脚本等。该研究为理解网络隐私威胁和设计更安全的表单处理流程提供了重要参考。

💡 推荐理由: 揭示了用户在提交表单前即遭遇数据泄漏的普遍风险,直接影响千万用户的隐私安全,对安全工程师设计防护措施具有指导意义。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.4)
👥 作者: Siddique Abubakr Muntaka, Muntaka Mohammed, Mansuru Mikail Azindo, Ibrahim Tanko, Franco Osei-Wusu, Edward Danso Ansong, Benjamin Yankson, Oliver Kornyo, Foster Yeboah, Jones Yeboah, Richmond Adams, Pulcheria Serwaa

本文针对I2P匿名网络可能被恶意攻击者用于数据外泄的问题,提出了一种两阶段机器学习检测方法。I2P通过大蒜路由和分布式网络架构提供强匿名性,但这也使得企业网络中的恶意数据传输难以被传统安全措施发现。现有研究主要关注协议级流量识别,缺乏行为威胁评估。作者利用SafeSurf Darknet 2025数据集(包含184,548条网络流),首先在第一阶段使用随机森林分类器区分I2P流量与正常网络流量,达到了99.96%的准确率,在32,318条正常流中仅产生2个误报。第二阶段,对识别为I2P的流量进行行为分析,使用XGBoost分类器区分数据外泄与合法活动,准确率为91.11%。实验表明,基于树的集成方法显著优于深度神经网络和支持向量机。特征重要性分析显示,最具区分能力的特征包括数据包时序和流持续时间。该研究证明,在实际网络环境中可以实现准确的I2P流量检测和威胁优先级排序,从而使安全团队能够将资源集中于高风险事件,而非监控所有加密流量。

💡 推荐理由: I2P匿名网络为数据外泄提供了隐蔽通道,传统检测手段失效。本文提出的两阶段机器学习方法能够高精度检测I2P流量并区分恶意行为,弥补了现有研究在行为分析上的空白,为蓝队提供可落地的检测思路。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 5.5
Conf: 50%
👥 作者: Debeshee Das, Julien Piet, Darya Kaviani, Luca Beurer-Kellner, Florian Tramèr, David Wagner

本文研究了LLM代理(Agent)长期记忆系统中的安全漏洞。尽管记忆系统允许无状态的LLM代理跨会话持久化用户信息,但这也引入了新的攻击面。作者提出了一类名为“Trojan Hippo”的持久性记忆攻击,该攻击在比以往记忆投毒研究更现实的威胁模型下运行:攻击者通过单个不可信的工具调用(例如一封精心制作的邮件)将休眠载荷植入代理的长期记忆,该载荷仅在用户后来讨论敏感话题(如财务、健康或身份)时激活,并将高价值个人数据窃取给攻击者。虽然已有对抗已部署系统的示范性攻击,但尚无工作系统性地评估不同记忆架构和防御下的此类攻击。本文引入了动态评估框架,包含两个组件:(1)基于OpenEvolve的自适应红队基准测试,通过持续改进的攻击对防御和记忆后端进行压力测试;(2)首次针对持久记忆系统的能力感知安全/效用分析,支持在不同使用场景下进行原则性的防御部署推理。在四个记忆后端(显式工具记忆、代理记忆、RAG和滑动窗口上下文)上以邮件助手为例进行实例化,Trojan Hippo对OpenAI和Google的最前沿模型实现了高达85-100%的攻击成功率(ASR),且植入的记忆即使在100次良性会话后仍能激活。作者评估了四种受基本安全原则启发的记忆系统防御,发现它们大大降低了攻击成功率(低至0-5%),但效用成本因任务要求而异。由于这种显著的安全-效用权衡,防御在现实世界中的有效部署仍然是一个开放的挑战,而本文的评估框架正是为解决这一问题而设计的。该研究对LLM代理系统的安全设计具有重要指导意义。

💡 推荐理由: 揭示了LLM代理记忆系统存在严重数据泄露风险,攻击者可通过单次工具调用长期潜伏,在高价值场景下窃取敏感信息。安全从业者需重视记忆层的防护。

🎯 建议动作: 研究跟进:评估自身AI代理系统是否使用长期记忆,并参考本文防御框架进行安全加固。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)