#clip

共收录 4 条相关安全情报。

← 返回所有主题
👥 作者: Maria Carmen Jica, Ali Satvaty, Suzan Verberne, Fatih Turkmen

多模态检索增强生成(MRAG)已成为将多模态大模型(MLLM)的生成能力锚定到相关、及时的外部知识的可靠且低成本手段。它在降低幻觉方面有明显收益,但同时引入了新的攻击面,包括私有信息泄露和针对数据抽取攻击的脆弱性。本文提出 IMMRAG,一种在黑盒设定下针对“图像返回型”MRAG(即检索到的视觉产物本身就是模型回答)的自适应、自动化数据抽取流程。与现有以文本提示方式诱导模型泄露数据的抽取攻击不同,IMMRAG 把恶意指令直接嵌入用户提交的输入图像中,从而绕过文本层面的审查。其核心在于查询构造策略:每一次查询都把攻击者事先持有的“影子图像”与已经从系统中成功回收的图像进行混合,并采用按相关性加权的重采样机制,动态地把后续查询导向嵌入空间中那些仍能产出新检索结果的区域,使抽取过程自我强化、持续扩大覆盖范围。作者在三个贴近真实且互不相同的场景中评测该攻击:医疗助手、文档处理型助手和通用型工具;实验同时考察了该攻击对多个 CLIP 系列检索器的有效性,以及不同生成器带来的影响。结果表明,单轮 2500 次查询即可在局部特征对应判据下重建最多 611 张互不相同的放射影像、566 份文档扫描件和 416 张通用图像;与不具备自适应能力的基线相比,能获取的去重数据存储条目数量最高达到其 5.6 倍。论文由此强调,多模态数据迫切需要专门设计的安全防护措施,而不是沿用纯文本 RAG 的防护思路。

💡 推荐理由: 该工作证明黑盒、纯图像交互即可从 MRAG 知识库中批量还原原始图像资产,医疗影像、内部文档扫描件等敏感数据面临现实泄露风险。它提示防御方:只审查文本提示的护栏不足以保护多模态 RAG,需要针对图像通道另行设计检测与控制。

🎯 建议动作: 研究跟进,并纳入内部多模态 RAG 系统的风险评估与红队测试范围

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Ahmed Abdelnaby, Mohamed Elmahallawy

对比语言-图像预训练(CLIP)凭借强大的迁移能力和零样本能力已成为主流视觉骨干网络,广泛用于图像检索、零样本分类与多模态理解。然而近期研究揭示了一类关键漏洞:嵌入空间后门攻击。攻击者只需污染极少量图像-文本对,即可向 CLIP 的联合嵌入空间植入隐蔽触发器,使表征发生定向偏移。与传统操纵分类器 logits 的后门不同,这类攻击直接污染表征本身,因此在极低投毒率下依然高效,且难以检测。现有防御大多依赖模型参数、梯度、logits 或干净验证数据,而这些假设在真实的黑盒部署中通常不成立;同时现有黑盒方法难以准确本地化小尺寸或分布外触发器。为此,作者提出 CLIPGuard——一种轻量、完全黑盒的防御方案,专门缓解 CLIP 编码器中的嵌入空间后门。CLIPGuard 通过分段级嵌入扰动度量来识别恶意区域,并仅对可疑分段执行语义修复(semantic inpainting)完成净化,从而保留良性视觉内容与图文对齐质量。在 STL-10、ImageNet 上针对 BadCLIP、BadNets、blended、patch-based、typographic 等多种触发器家族的实验表明,CLIPGuard 可将攻击成功率降至最低 1.05%,同时干净准确率最高保持 86.34%,持续优于 CleanCLIP、CleanerCLIP 等既有黑盒防御。代码已开源。该工作适合视觉模型安全、后门防御、多模态系统与 MLOps/SOC 安全研究人员阅读。

💡 推荐理由: CLIP 被广泛用作视觉骨干与多模态基础设施,嵌入空间后门只需极少投毒即可造成表征级定向偏移,且传统依赖参数/梯度的防御在黑盒场景失效。CLIPGuard 提供无需参数、梯度与干净数据的区域级净化思路,对第三方预训练模型的风险治理有直接参考价值。

🎯 建议动作: 研究跟进,并评估在自有 CLIP 部署中的黑盒净化可行性

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Kai Yao

该论文研究「被动图像溯源」问题:仅凭像素本身能否判断一张图片的来源——来自人类、来自某一类 AI 生成模型,还是来自某个特定的生成器。作者指出,一旦源图像在到达验证器之前可以被编辑(篡改、加噪、重编码、对抗扰动等),溯源就从单纯的分类问题变成了「源—目标验证」问题,即在对抗性分布偏移下判断图像是否属于目标来源类别。论文给出两项理论结果。第一,针对任何只使用图像信息的验证器,给出了精确的最优界:稳健的目标接受率差距(robust target-acceptance gap)等于目标分布与被攻击源分布集合之间的最小全变差(total variation)距离;该量只取决于源分布、目标分布和编辑类别,与验证器架构无关,因此构成了不可逾越的统计上限——即「信息层面」的上限,而非模型能力问题。第二,论文解释了为什么已部署的公开验证器往往在这个统计上限远未到达之前就已经失效:如果攻击者能在攻击区域上以误差 ε 模拟(emulate)验证器,那么一个替代黑盒攻击就能达到白盒最优值减去 2ε 加优化误差的目标接受率;论文证明基于公开特征的、会暴露分数的 logistic 与 softmax 头部是可辨识的(identifiable),近似分数访问也能给出稳定的恢复界。作者用一个有限状态实验验证了该 minimax 等式的两侧都可计算。在真实/扩散模型同提示词(same-prompt)基准上,被测的公开 CLIP 验证器在定向像素攻击下失效,而一个 ResNet-18 受害模型表现出部分「假到真」的迁移。带弃权(abstention)的二元反馈能降低实测攻击成功率,但论文强调:正的经验性差距上界并不能证明稳健性。总体结论是:评估被动溯源系统时,必须把「源—目标统计天花板」和「部署验证器实际泄露的信息量」分开评估。

💡 推荐理由: 它给出了被动图像溯源在对抗编辑下的理论上限,并解释公开验证器为何常常提前失效:很多失败源于验证器暴露的分数/梯度信息,而非像素本身信息不足。这直接关系到 AI 生成内容检测与来源判定的可信度评估。

🎯 建议动作: 研究跟进:将统计上限与部署验证器信息暴露面的分离评估方法纳入内部溯源/检测模型评测流程。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Toby Briston, Illya Kosyk, Kuniyih S

传感器是现代智能设备的关键组件。随着物联网和可穿戴移动设备的普及,传感器被广泛用于环境监测和预测行动。人体活动识别(HAR)是其中一个重要应用,它利用惯性测量单元(IMU)传感器(如加速度计和陀螺仪)来提供健康、训练和医疗诊断方面的洞见。然而,HAR模型的准确性受到数据不足的限制。基于扩散模型的技术已被证明能够成功生成合成数据来训练HAR模型。本文提出了一种后门训练技术IMU-DM-CLIP,该技术利用扩散模型和CLIP(对比语言-图像预训练)引导来对HAR模型实施基于触发器的攻击。实验分析表明,即使后门注入率仅为10%,且仅有10%的数据用于引导扩散模型,攻击依然能够成功。这项研究揭示了HAR模型在安全方面的潜在脆弱性,特别是当训练数据中包含后门触发样本时,模型可能被恶意操控,导致错误的识别结果。对于依赖HAR进行健康监测或安全关键应用的系统,这种攻击可能带来严重后果。论文的主要贡献在于首次将CLIP引导的扩散模型用于生成HAR领域的后门数据,展示了低注入率下攻击的高效性,并引发了关于传感器数据完整性和模型安全性的思考。适合安全研究人员和HAR系统开发者阅读,以了解此类新兴攻击向量。

💡 推荐理由: 该研究揭示了HAR模型面临的新型后门攻击风险,利用扩散模型生成后门数据,即使注入率极低也能成功攻击。对于使用HAR的健康监测、运动训练等应用,模型被植入后门可能导致错误行为预测,甚至危及用户安全。安全从业者需关注这一新兴威胁,并评估自身系统的防护能力。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)