#privacy-leakage

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Zifan Peng, Yini Huang, Aiwen Lu, Qiming Ye, Peixian Zhang, Jingyi Zheng, Yule Liu, Xuechao Wang, Xinlei He, Jiaheng Wei

该论文聚焦于社交媒体平台上用户级隐私泄露问题。现有研究缺乏统一的基准来评估多模态(文本、图像、元数据)隐私泄露,且衡量指标多为二元准确率,无法捕捉暴露严重程度。为此,作者基于Rednote和Instagram的私有参考语料库提炼泄露模式,构建了SopriBench基准,包含50个用户画像、1569张图像,并标注了属性、上下文敏感性、粒度、泄露类型、推理难度和支持证据。同时,引入隐私暴露评分(PES),通过上下文敏感性加权粒度值。进一步,受溯因推理启发,提出无需训练的智能体框架Argus,从累积证据中形成假设,验证支持证据,并聚合跨帖子线索生成隐私画像。实验表明,Argus达到0.55 PES,比最强基线提升25%,尤其在跨帖子泄露场景下效果显著。这项工作为社交平台隐私泄露评估提供了标准化工具和高效分析方法。

💡 推荐理由: 社交平台隐私泄露威胁日益严重,现有评估方法碎片化。该工作首次构建多模态、用户级的综合基准和量化评分,并推出无需微调的智能体推理框架,显著提升跨帖子隐私推断能力。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Faruk Alpay, Taylan Alpay

该论文提出了 AgentSecBench,一个用于系统性评估大型语言模型(LLM)代理安全性的实证基准框架。LLM 代理在处理可信指令、检索记录和工具观测时,所有信息均通过同一个生成通道,导致数据流与权限混淆:即使应用策略未授权,不受信任的字符串也可能影响包含机密的响应或操作提议。AgentSecBench 基于一个形式化安全框架,定义了三个安全博弈:指令完整性、检索机密性和能力完整性,统一在“意图到执行无干扰”概念下,并允许特定的可泄露信息。该框架将应用策略表示为对授权观测和能力的投影,区分提示标注与强制投影,并衡量对抗优势以及防御是否在生成前关闭相关的模型可见通道。实验采用了精确标记(exact-marker)的方法,作为博弈的一种可观测实例,而非完整的语义安全声明,测试了泄露和禁止动作区分器,具有明确的真值基准。作者使用 Qwen3-0.6B 和 Qwen3-1.7B 模型,对六类防御方法进行了配对对抗性和良性控制执行实验。测量结果表明,当通道关闭时风险降低,但模型可见的对抗能力在某些情况下仍然可利用。最终成果是一种面向安全的评估方法:提示文本可以描述边界,而来源投影、能力限制和输出验证可以强制实施边界。该研究为 LLM 代理的安全评估提供了可量化的方法论,适合安全研究人员和 LLM 应用开发者阅读。

💡 推荐理由: LLM代理在实际应用中面临提示注入、隐私泄露和工具滥用等严重威胁,现有评估缺乏统一框架。AgentSecBench提供了可量化的安全评估方法论,能帮助防御者识别代理系统的薄弱环节,推动更安全的代理设计。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Hongjang Yang, Hyunsik Na, Daeseon Choi

本文针对基于大型语言模型(LLM)的聊天机器人代理,研究了一种通过间接提示注入实现隐私泄露的攻击链。研究背景是:LLM代理通过结合自然语言推理和外部工具(如网页浏览)来处理用户请求,这提升了可用性,但也带来了安全风险,因为不可信的外部内容可能被纳入处理流程。作者聚焦于黑盒环境,即攻击者无法访问模型权重、系统提示或代理实现细节(包括查询处理过程中的轨迹管理方式)。首先,作者分析了攻击者如何通过构造看似无害但实际诱导代理执行攻击者定义目标的外部内容,来劫持代理的原始任务。然后,提出了一种新的提示注入技术——"exemplification"(示例化),该技术利用外部内容中的“桥梁”,将用户提示和检索页面的良性开头重新构造为少量示例,随后附加攻击者的目标。作者将其攻击成功率与先前的伪造补全(fake-completion)技术进行了比较。最后,在受控环境中使用虚构个人信息演示了概念验证的数据外泄链。结果表明,提示注入、越狱式指令引导和网页工具调用可以组合成一条可行的隐私泄露路径,即使在部署的聊天机器人代理中也可能实现。该研究为理解和防御此类攻击提供了实证基础。

💡 推荐理由: 揭示了LLM聊天机器人在处理外部内容时面临的新型隐私泄露风险,特别是通过间接提示注入实现的数据外泄链,对使用LLM代理的企业和开发者具有重要警示意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)