#data-minimization

共收录 8 条相关安全情报。

← 返回所有主题
推荐 5.5
Conf: 50%
👥 作者: Zhenhua Liu, Zhanxu Xie, Junjie Yu, Tong Zhu, Lijun Li, Wenliang Chen

该论文关注大语言模型进入日常任务后产生的隐私与效用矛盾:用户为了让模型完成复杂任务,必须提供上下文丰富的指令,其中往往夹带姓名、地址、账号、病史等敏感信息。目前主流的隐私保护做法是在把提示词发给模型之前套用一套与上下文无关的静态规则(例如统一对实体做删除或掩码),虽然降低了泄漏风险,却常常把任务真正依赖的关键信息一起抹掉,导致下游回答质量严重下降。作者指出,真正的空白在于:净化操作究竟通过什么机制影响下游性能,此前缺乏系统性的解释,因此也就无法设计出有原则的折中方案。 为回答这一问题,论文做了系统性的实证分析,把隐私-效用的权衡拆解成三个相互衔接的机制。第一是“上下文相关效用”,它回答“何时需要净化”:同一段数据在某个用户意图下是不可或缺的关键约束,在另一个意图下则只是可丢弃的噪声,因此净化时机必须由意图决定,而不能一刀切。第二是“策略性适配”,它回答“如何净化”:究竟选择直接删除还是替换为占位内容,取决于下游任务更依赖事实完整性还是结构连贯性——偏事实的任务倾向于替换以保留结构,偏结构的任务则可以删除。第三是“组合交互”,它把保护范围从单一属性扩展到属性之间的关系:多个属性之间存在协同依赖或对抗冗余,构成一张语义网络,孤立地处理单个字段既可能保护不足,也可能过度破坏语义。 基于上述洞察,作者提出一个意图驱动的本地保护框架:先蒸馏出一个轻量模型 Veilmind-4B,再由它驱动“抽取—净化—恢复”的动态流水线,在本地完成敏感信息识别、按意图与任务类型选择净化策略,并在响应返回后做必要的还原。实验表明,该方法能在达到较低泄漏水平的同时,保留显著高于既有隐私导向基线的回答效用,把隐私-效用权衡推向帕累托前沿。适合隐私保护、LLM 应用架构、可信 AI 与合规治理方向的研究者和工程师阅读。

💡 推荐理由: 提示词脱敏是企业落地 LLM 的高频痛点:静态规则要么漏保护、要么把任务上下文一起删掉。该论文把“何时净化、如何净化、属性如何联动”讲清楚,并给出可本地部署的轻量流水线思路,对设计兼顾合规与可用的提示词防护层有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ashok Subbabhatta Gopalakrishna

该论文针对多智能体AI平台从试运行快速走向生产过程中代理间信任机制原始的问题。当前代理要么传输原始数据(过度共享),要么接受对方的自然语言自我声明(不可验证且易受提示注入攻击)。现有应对方案侧重于身份、可见性和事后检测,而近期提出的密码学强制策略仅停留在仿真阶段。作者将可验证的数据最小化从提案推进到运行系统:设计了一个零知识证明网关(Zero-Knowledge Proof Gateway),使代理间交换的是经过治理定义的谓词证明(如“值在政策允许范围内”),而非数据本身,从而在架构上预防数据暴露而非事后检测。由于现有互操作协议无法直接承载此类证明,他们提出一种“槽”(slot)机制,并从一个端点同时实现到MCP(Model Context Protocol)和Agent2Agent协议。性能测试表明,32位阈值谓词在单个商用vCPU上证明耗时6.2毫秒,验证耗时1.0毫秒,生成的Bulletproofs证明仅为608字节;通过11个对抗性实验和19项协议一致性检查,并已部署到Kubernetes环境验证网络隔离。案例研究证明零售客户订单金额在限额内,但全程不泄露具体金额,落地了GDPR的数据最小化原则,并成为欧盟法律明确点名的可强制执行技术措施。论文进一步处理了一个现有工作未解决的空白:谓词证明只将语句绑定到承诺值,并不绑定到记录系统。作者构建了一种双向融合飞地(enclave)证明与谓词证明的方法,使验证单个工件可同时证明“谓词成立”且“该值由特定被测量的二进制程序读取”,并用模拟权威机构进行了测试。该研究适合关注AI代理安全、数据最小化、密码学协议工程与隐私保护技术的安全研究人员、AI平台架构师及合规工程师阅读。

💡 推荐理由: 为解决AI代理间信任与数据过度共享提供了可落地的密码学路径,直接阻断提示注入通过不可验证自述传播的风险,并契合GDPR等技术合规要求,对构建可信多智能体基础设施具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Jiten Oswal, John Cadeddu

本文针对代理系统中动作授权与审计披露之间的根本冲突提出了一种新的架构设计。传统上,系统为了授权某个动作必须查看其原始参数,而为了审计又需要将这些参数记录在不可篡改的账本中,这导致敏感数据(如收件人、付款备注、记录标识符)被持久化存储,产生隐私泄露风险。作者主张将“披露”与“授权”分离,并引入字段级(field-tier)的最小化机制。核心思想是:不再以动作类别为单位,而是对每个参数字段进行分级。第一类字段允许策略合法匹配,因此以原始形式传输;第二类字段虽与策略相关但具有识别性,仅以投影形式(如邮箱域名、模板化路由形状)传输;第三类字段无合法策略用途,则完全不离开工作负载。关键性质是:账本承诺(commitment)是在最小化之前对完整未缩减参数计算出的规范摘要,因此该承诺独立于分级表。重新分类某个字段只会改变后续披露的内容,而不会使历史条目失效、重开哈希或改变离线验证者的检查内容。此外,分级表、策略模式和线路模式均由每个动作的单一声明生成,确保决策方和记录方持有相同的规则,防止不一致。文章还讨论了架构中“哪一方应计算每个已证明事实”的问题,提出以“哪一方能在不被察觉的情况下撒谎”为判断依据,得出三个结论:客户端因持有数据而负责计算参数摘要;客户端在结构上被阻止命名其受控的定义,否则会向签名账本写入虚假陈述;客户端证明其应用了哪个分级表,从而使分歧可被检测。作者给出了每个投影的泄漏分析,报告了一起首次投影未能移除标识符的事件,并阐述了该设计未能消除的剩余信任。本文适合对隐私保护、可审计系统、代理安全及最小化披露机制感兴趣的研究者和安全工程师阅读。

💡 推荐理由: 该研究为代理/自动化系统提供了字段级最小化的形式化方法,在不牺牲授权与审计能力的前提下降低敏感数据暴露面,对合规与隐私保护场景具有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Wenbiao Li, Yuqiao Xu

本文(ToolMinimize)针对LLM智能体在工具调用中过度暴露隐私敏感数据(PSD)的问题开展研究。作者通过在GPT-4o、Claude 3.5 Sonnet和Llama-3.3-70B三个生产级大语言模型上的受控测量发现,在默认提示词下,81%至88%的工具调用参数包含工具运行所不必要的数据;即便添加显式隐私指令,仍有36%至76%的调用存在过度共享。现有防御手段(如允许/阻断的调用门控、信息流控制标签)无法重写参数值,而传统PII检测工具难以识别隐式PSD(例如“Memorial Sloan Kettering”作为医院名称可隐含疾病诊断)。为此,作者提出ToolMinimize中间件:它拦截工具调用,通过结合模式感知的必要性分析,对参数执行四种操作——删除、泛化、替换和截断——将参数重写为维持工具功能所需的最小数据。在307个实际工具调用上的验证表明,该方法在参数级任务有效性达到100%的前提下(TOST等价检验p<0.001,Delta=1.0),将隐私成本降低81.2%至92.0%。在25个未标注的MCP(Model Context Protocol)模式上,即使没有minimum_necessary元数据,也能降低79.0%。文章还提出可选的内容必要性层,利用LLM从本为必要的自由文本字段中剥离与任务无关的PSD,使实际LLM的降幅提升至85.1%-95.6%,作者自定义模式的降幅从71.1%提升至90.9%。系统中间延迟为1.77毫秒。该研究兼具工程实用性与学术贡献,适合LLM应用开发者、隐私工程师和AI安全研究员阅读。

💡 推荐理由: LLM智能体普遍向第三方工具发送多余隐私数据,现有防护无法重写参数。ToolMinimize提供实时、低延迟、可验证的中间件方案,能显著降低隐私泄露风险,对构建合规的智能体应用具有直接参考价值。

🎯 建议动作: 纳入内部评估

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
推荐 3.5
Conf: 50%
👥 作者: Charles de Bourcy, Sahra Ghalebikesabi, Avi Schwarzschild, Alex Gorbachev, Mihai Maruseac, Annie Chu, Vol Kyrylov, Tong Mu, Ally Bennett, Andy Nguyen, Casey Meehan, Jessica Gan Lee, Shane Bauer, Harold Nguyen, Rodolpho Eckhardt, Yuqi Liu, Charlie Oxborough, Marco Rougeth, Omar Chedid, Caio Costa, Yash Parikh, Yao Li, Congzheng Song, Om Thakkar, Vinnie Monaco

本文介绍了 OpenAI 发布的 Privacy Filter 模型卡。该模型是一个紧凑的双向 token 分类模型,用于在非结构化文本中检测和脱敏个人身份信息(PII)与密钥。它基于自回归预训练检查点,通过转换为双向带状注意力分类器,能够在单次前向传播中对输入序列进行标注。模型采用约束 Viterbi 解码器,跨八个隐私类别生成连贯的片段,并提供可配置的工作点以平衡精确率与召回率。Privacy Filter 总参数量为 15 亿,每个 token 激活 5000 万参数,支持 128,000 token 的上下文窗口,专为高效的本地部署和领域特定微调而设计。其定位是分层隐私工作流中的可配置数据最小化组件,而非匿名化或合规性保证。该模型卡详细说明了模型架构、训练方法、性能特点以及使用限制,为隐私保护研究和实际部署提供了参考。

💡 推荐理由: 该模型提供了一种高效、可本地部署的 PII 检测方案,支持长上下文和细粒度类别,适合数据脱敏场景,可作为隐私管道的核心组件。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Mohammad M. Ahmadpanah, Daniel Hedin, Andrei Sabelfeld

该论文针对触发-动作平台(TAPs)中普遍存在的数据过度收集问题,提出了一种名为 LazyTAP 的新型数据最小化范式。在现有 TAP(如 IFTTT)中,触发服务和查询服务需要将大量用户数据发送给平台,即使平台仅需其中部分属性即可完成操作,这违反了数据最小化原则。LazyTAP 通过“按需拉取”机制,仅在应用执行实际访问某个属性时才从输入服务获取数据,从而将数据收集粒度从整个服务级细化到属性级。该方法的关键创新在于利用惰性求值(laziness)推迟计算和对象代理,在后台透明地加载远程数据,对第三方应用开发者完全无感。实验基于标准应用基准测试,结果显示 LazyTAP 平均比 IFTTT 减少 95% 的不必要数据传输,比此前的最优方案 minTAP 减少 38%,同时性能开销可接受。论文还详细描述了 LazyTAP 的原型实现细节。这项工作为构建更隐私友好的 IoT 自动化平台提供了理论基础和可行方案。

💡 推荐理由: 触发-动作平台广泛应用于智能家居和物联网,其数据过度收集问题直接威胁用户隐私。LazyTAP 提供了一种架构级解决方案,可显著减少敏感数据暴露面,且无需改造现有第三方应用,具备实际部署价值。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Robin Staab, Nikola Jovanovic 0001, Mislav Balunovic, Martin T. Vechev

该论文针对机器学习中的数据最小化(Data Minimization, DM)原则进行了系统研究。组织在训练和部署预测模型时,往往收集大量详细的客户数据,一旦发生数据泄露,将导致隐私暴露风险。政策制定者日益要求遵守数据最小化原则,即仅收集任务相关且必要的数据。然而,目前关于如何部署遵守DM的机器学习模型的研究甚少。本文提出了一种基于数据泛化的垂直数据最小化(Vertical DM, vDM)工作流,通过设计确保在模型训练和部署过程中不收集全分辨率客户数据,从而在发生泄露时减少攻击面,保护客户隐私。作者形式化并研究了在泛化过程中同时最大化数据效用和最小化经验隐私风险的问题,通过引入一组多样化的、与政策一致的对抗场景来量化隐私风险。最后,提出了多种基线vDM算法,以及一种特别有效的算法——隐私感知树(Privacy-aware Tree, PAT),该算法在多个设置下优于所有基线。作者计划将代码作为公开库发布,以推动机器学习中DM标准的建立。该工作为实际应用中DM原则的进一步探索和采用奠定了基础。

💡 推荐理由: 数据最小化是隐私保护的核心原则,但机器学习中缺乏系统性实现方案。本文提供了首个全面的垂直DM工作流和有效算法,可直接指导企业减少数据收集风险,具有政策合规价值。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Shafizur Rahman Seeam, Zhengxiong Li, Zhiyuan Yu, Yimin, Chen, Yidan Hu

本文提出PrivScope,一种针对混合本地-云端智能体系统的任务范围披露控制机制。在混合智能体系统中,本地代理会收集用户请求的上下文(包括持久工作状态)以增强任务完成度,但这也导致了过度披露问题——云端负载中包含了与当前任务无关的敏感信息。现有解决方案要么隔离工作流以限制跨工作流泄漏,要么应用通用去敏,但都无法针对本地组装的有效载荷进行智能推理。PrivScope作为受信任的设备端有效载荷管理器,位于本地与云端大语言模型之间,强制执行“任务范围披露”原则:敏感信息仅在必要且以最小披露形式发送到云端。其核心方法是:从组装的有效载荷中提取披露单元,将直接标识符和账户关联值保留在本地;其余单元通过云端必要性控制,确定哪些实际需要发送;必须发送到云端的单元会被抽象为任务所需的最不具体的表示。在三个商业云端大语言模型(GPT-4o-mini、Gemini 2.5 Flash等)上,使用100个医疗预约工作流进行实验,PrivScope将个人资料泄漏率从17.7%降至0.0%,重识别攻击成功率从64.3%降至23.1%,同时在所有测试模型上实现了最高的候选召回率,且任务成功率接近未保护基线。在五个本地骨干模型上增益保持一致,在商用硬件上仅增加数秒设备端延迟。

💡 推荐理由: 该研究直接针对混合智能体系统中敏感信息过度暴露的安全痛点,提出一种不依赖云端修改的轻量级设备端防护机制,对保护用户隐私和满足合规要求具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)