The Privacy Fallacy of Crowdsourced Fine-Tuning: Extracting Proprietary Data via Topic-Based Poisoning
该论文研究监督微调(SFT)流程中被长期忽视的一个隐私风险。当前大模型适配下游任务普遍依赖众包方式收集用户对话作为 SFT 数据,以降低人工标注成本,但这也意味着不受信任的用户可以向微调数据管道中注入数据。作者提出的核心问题是:恶意用户是否
共收录 16 条相关情报。
← 返回所有主题该论文研究监督微调(SFT)流程中被长期忽视的一个隐私风险。当前大模型适配下游任务普遍依赖众包方式收集用户对话作为 SFT 数据,以降低人工标注成本,但这也意味着不受信任的用户可以向微调数据管道中注入数据。作者提出的核心问题是:恶意用户是否
该论文指出,当前对 LLM 智能体(LLM Agent)隐私泄露的评估大多局限在单一组件内部(如记忆模块、检索链路、工具调用流水线),因此无法区分「内部已经暴露的敏感信息」与「外部观察者实际能够还原出的信息」这两类本质不同的问题。为此作者提
该论文研究联邦学习(Federated Learning)中的梯度泄露隐私问题。联邦学习只共享模型更新而不共享原始数据,但已有研究表明这些更新可被反演以重建客户端训练数据。其中解析式重建攻击(analytic reconstruction
本文研究车联网边缘智能场景下联邦学习(FL)的隐私泄露问题。虽然FL被普遍视为保护原始传感器数据的隐私方案,但客户端上传的模型更新(梯度/权重增量)仍可能泄露客户端身份,破坏V2X安全关键应用所依赖的匿名性,并增加对抗机器学习、模型中毒和后
本文研究云-边协同解码范式中的隐私泄露问题。在该范式下,资源受限的边缘设备持有私有数据,并运行一个小语言模型(SLM)生成下一token分布;云端LLM仅基于公开数据进行预测;两者分布融合后生成最终输出。这种设计旨在避免将私有数据直接上传至
本文首次系统性地审计了行为生物特征认证(BBA)系统中的人口统计信息泄漏问题。BBA 系统使用深度学习模型将眼动、语音、按键/触摸动态、步态等生物信号转换为身份嵌入向量,用于用户认证。然而,这些嵌入在编码身份的同时,可能无意中泄露性别、年龄
该论文提出并系统性地研究了一种新型的隐私泄露攻击面——滥用 Service Worker(服务工作线程)作为“潜伏代理”,在用户浏览网页时长期、隐蔽地泄露敏感数据。Service Worker 是浏览器提供的独立于页面的后台脚本机制,具有拦
本文关注多模态大语言模型(MLLM)在文档理解场景下的隐私泄露问题,尤其是面向身份证件等身份文档处理的领域专用MLLM。作者指出,现有研究多聚焦于通用MLLM的隐私风险,而领域专用模型在关键信息提取(KIE)任务中的独特脆弱性尚未被充分探索
该论文研究多维用户数据收集场景下的本地差分隐私(Local Differential Privacy, LDP)问题。在实际应用中,多维数据的属性之间往往存在依赖关系,这种依赖可能被攻击者利用,导致用户隐私在形式化隐私保护之外发生额外泄露,
本文针对长期记忆型大语言模型(LLM)代理中的隐私泄露问题展开研究。作者指出,虽然用户从未明确陈述受保护属性(如健康状况、政治倾向等),但代理在多次交互中基于长期记忆生成的条件响应,可能累积性地泄露这些属性。作者将该威胁形式化为“自适应转录
本文研究协作推理场景下大型视觉-语言模型(LVLM)的隐私泄露问题。协作推理通常将模型计算划分为边缘设备和云端两部分,边缘端保留原始输入,云端处理中间层隐藏状态,这种做法被认为可以保护隐私。然而,作者指出传输中间隐藏状态实际上暴露了严重的攻
本文针对 AI 供应链中开源组件被篡改导致的数据泄露问题,提出了一种名为 GradLock 的新型训练时注入攻击。传统模型反演攻击依赖训练后优化,受限于模型泛化瓶颈,难以在高维数据集上恢复具体身份特征。GradLock 在受损供应链场景下,
该论文研究了视频会议应用中的位置隐私泄露问题。作者发现,即使摄像头关闭或使用虚拟背景,攻击者仍可主动且隐蔽地探测其他参会者的物理位置。机理是利用视频会议的双向音频通道进行声学感知:攻击者发送探测信号,回波信号携带位置信息。但视频会议系统的回
该论文聚焦于社交媒体平台上用户级隐私泄露问题。现有研究缺乏统一的基准来评估多模态(文本、图像、元数据)隐私泄露,且衡量指标多为二元准确率,无法捕捉暴露严重程度。为此,作者基于Rednote和Instagram的私有参考语料库提炼泄露模式,构
该论文提出了 AgentSecBench,一个用于系统性评估大型语言模型(LLM)代理安全性的实证基准框架。LLM 代理在处理可信指令、检索记录和工具观测时,所有信息均通过同一个生成通道,导致数据流与权限混淆:即使应用策略未授权,不受信任的
本文针对基于大型语言模型(LLM)的聊天机器人代理,研究了一种通过间接提示注入实现隐私泄露的攻击链。研究背景是:LLM代理通过结合自然语言推理和外部工具(如网页浏览)来处理用户请求,这提升了可用性,但也带来了安全风险,因为不可信的外部内容可