#multi-modal

共收录 8 条相关安全情报。

← 返回所有主题
👥 作者: Eunna Lee, Soomyoung Lee, Jungpyo Nam, Heonjin Ha, Jamin Jung, Kyunam Choi, Sunjun Hwang, Yeonghun Kim, Seok-Jae Lim

本文研究大语言模型(LLM)在不同部署条件下(语音、文本、原始 API)对用户保护性干预的一致性。作者以一个描述人际冲突后未明确严重程度的身体伤害的单一压力场景为测试用例,对四个前沿模型进行匹配输入,每条件 30 次重复,并沿五个二元保护指标对响应进行编码,包括是否给出明确的医疗护理指示。结果显示,对于四个模型中的三个,语音界面的响应明显短于文本界面,且保护性行为随响应压缩而收紧:医疗指示在 API 和文本条件下均达到上限,但在语音条件下所有模型均下降。进一步分析表明,这种收缩不能简单归因于响应长度。其中一个模型在语音和文本条件下产生长度相近的响应,但仍丢失医疗指示;另一个模型在 API 和语音条件下响应长度几乎相同,但保护性指标从上限下降。在原始 API 访问下,模式是绝对性的而非部分性的:没有模型询问用户的安全情况。这些结果表明,保护性干预对请求到达的界面敏感,这种敏感性可以通过简单的保护性编码方案检测,且不能仅由轮次长度解释。该研究为 LLM 部署中的安全一致性提供了重要实证,提示多模态接口可能存在的安全风险。

💡 推荐理由: 该研究揭示了 LLM 在不同部署界面(语音、文本、API)下保护性干预的不一致性,可能导致用户在语音场景下得不到关键安全建议,对依赖语音助手的安全场景构成隐患。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: David Amebley, Sayanton V. Dibbo

本文研究多模态视觉-语言模型(VLMs)在成员推断攻击(Membership Inference Attack, MIA)下的隐私泄露问题。随着智能体AI(agentic AI)的发展,多模态模型(MMs)被广泛部署,但其训练数据可能通过黑盒攻击被泄露。现有研究主要针对单模态AI系统的隐私攻击,而对多模态系统关注不足;同时,神经启发(neuro-inspired)的表示方法已被证明能提升单模态模型对对抗攻击的鲁棒性,但尚未有工作验证其对隐私攻击是否同样具有韧性。作者提出了一种基于神经科学的拓扑正则化(topological regularization, tau)框架,用于系统分析多模态VLMs对图文推理隐私攻击的韧性。实验采用三种VLM(BLIP、PaliGemma 2、ViT-GPT2)和三个基准数据集(COCO、CC3M、NoCaps),对比基线模型与使用拓扑正则化的NEURO变体(tau>0)。结果表明,在BLIP模型和COCO数据集上,NEURO VLM的MIA攻击成功率(以ROC-AUC衡量)平均下降24%,同时通过MPNet和ROUGE-2指标评估,其生成的图像描述与参考描述相似度与基线相当,即模型效用没有显著损失。在PaliGemma 2和ViT-GPT2模型以及CC3M、NoCaps数据集上的扩展实验进一步验证了结论的一致性。这项工作增进了对多模态模型隐私风险的理解,并首次提供了神经启发多模态模型对隐私威胁具备韧性的证据。适合AI安全研究员、隐私保护工程师、多模态模型开发者和关注机器学习隐私的从业者阅读。

💡 推荐理由: 这是首个系统研究神经启发多模态VLM对成员推断攻击韧性的工作,证明了拓扑正则化可大幅降低隐私泄露风险而不牺牲效用,为构建隐私友好的多模态AI提供了新思路。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Nan Jiang, Bangjie Sun, Terence Sim, Jun Han 0001

该论文提出了一种针对语音认证系统的普遍性攻击方法,仅需受害者的单张面部照片即可成功绕过语音认证。研究动机在于当前语音认证系统虽然被广泛用于银行、智能设备等场景,但通常仅依赖声纹特征进行身份验证,忽略了语音生成过程与面部特征之间的内在关联。作者揭示了语音与面部之间存在的强相关性——人的面部结构(如口腔、声道形状)会影响其发音特征,因此从一张静态面部图像中即可推断出可用于生成或伪造目标语音的声学特征。论文核心方法包括:构建语音-面部多模态关联模型,利用深度学习从单张面部图像预测相应的语音特征(如梅尔频谱);随后将预测特征用于语音合成或转换,生成与目标声纹高度相似的伪造语音样本。实验在多个主流语音认证系统和公开声纹数据集上进行了评估,证实了攻击的高成功率和低门槛。作者还讨论了防御方向,强调语音认证系统必须结合多模态信息验证、活体检测以及对抗性鲁棒训练。该研究适合语音安全研究者、认证系统开发者及安全评估人员阅读,对生物识别安全与多模态信息泄露问题具有重要启示。

💡 推荐理由: 语音认证系统被广泛采用,而该攻击仅需一张照片即可伪造声纹,揭示了面部与语音特征关联带来的新风险,安全从业者需重新评估语音认证的可靠性。

🎯 建议动作: 纳入口令/多因素认证评估,建议语音认证服务提供商评估此攻击向量并升级认证策略。

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Aldridge Fonseca, Udayan Atreya, Amith Kamath Belman, Frank Sicong Chen

该论文提出了一种名为 VIGIL(Verifying Identity via Gated Intermittent Likelihoods for Continuous Biometric Authentication)的连续多模态身份认证框架,旨在解决现有连续认证方案在信号质量差时无法有效区分持久攻击者与合法用户的问题。VIGIL 的核心贡献包括:1)可配置的跨模态融合机制,允许对每种生物特征模态进行独立加权,使操作员能够根据场景选择不同的融合策略;2)改进的时间融合方法,采用双状态状态转移机(STM)与单向转移矩阵,以更准确地建模用户行为的时间动态;3)三区域验证决策模型,当证据不确定时支持多轮验证,并结合自适应收缩验证窗口,在保证合法用户体验的同时缩短入侵检测时间。实验通过单调衰减、回流消除以及分析评估验证了该框架相对于现有方法的优势。该研究适用于需要高安全性且不影响用户体验的持续身份认证场景,如企业网络访问控制、移动设备解锁等。

💡 推荐理由: 连续身份认证是应对持续威胁的关键,现有方法在信号弱时易误判,VIGIL 通过可配置融合与自适应窗口机制兼顾安全与可用性,对蓝队设计多因素认证策略有参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zhangheng LI, Jianing Zhu, Junyuan Hong, Sungmin Eum, Shuowen Hu, Suya You, Zhangyang Wang

该研究针对多模态大语言模型(MLLM)中的机器遗忘(Machine Unlearning)机制的安全性提出质疑。MLLM在训练时可能无意中编码了隐私敏感数据,因此多模态机器遗忘(MMU)被用于强制模型遗忘这些信息。但作者发现,当模型公开后,恶意用户可通过一种名为“提示优化参数抖动”(POPS)的对抗策略,近乎完整地恢复出本应被遗忘的知识。POPS方法包含两个阶段:首先通过后缀优化(prompt-suffix optimization)诱导受害者模型生成潜在的隐私样本;然后利用这些合成输出对模型进行微调,从而揭露真实的隐私信息。实验在多个MMU基准测试上进行,结果表明现有MMU算法存在严重缺陷,POPS能够实现近乎完全的知识恢复,揭示了基于MMU的隐私保护存在根本性漏洞。该论文对MLLM隐私保护领域提出了严峻挑战,提示安全从业者需要重新审视和加强遗忘机制的鲁棒性。

💡 推荐理由: 该研究暴露了多模态大模型机器遗忘机制的根本性脆弱性,证明即使模型执行了遗忘操作,攻击者仍可通过对抗方法恢复隐私信息,威胁到数据隐私保护的有效性。

🎯 建议动作: 研究跟进,评估自身模型的机器遗忘机制是否易被类似POPS方法攻破,并部署对抗测试流程。

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Wenzhuo Xu, Zhipeng Wei, Zonghao Ying, Deyue Zhang, Dongdong Yang, Xiangzheng Zhang, Quanchen Zou

多模态大语言模型(MLLMs)在接收多图像输入时存在安全隐患。现有越狱方法仅使用单张图像,限制了攻击空间:无法将有害请求分布到多张图像、携带丰富信息或利用额外视觉推理任务分散模型注意力。本文提出一种组合式越狱框架DMN,通过分布式指令(Distributed instruction)、多模态证据(Multimodal evidence)和数字链任务(Number chain task)全面增强越狱效果。分布式指令将有害内容拆解到多张图像中,绕过单图安全审查;多模态证据利用图像与文本的关联构建推理链条;数字链任务强制模型进行数值排序,分散其对危险内容的警觉。实验表明,DMN在GPT-4o、Gemini-2.5-pro和Claude Sonnet 4上攻击成功率超过90%,显著优于现有基准。该框架揭示出当前多模态安全对齐机制在组合式、多图像输入场景下的根本性弱点。研究为多模态AI安全评估提供了新视角,提示开发者在多图像条件下需强化安全对齐策略。

💡 推荐理由: 该研究揭示多模态大模型在多图像输入场景下的安全漏洞,攻击成功率极高,直接影响GPT-4o等主流商业模型的安全性评估,推动安全对齐方案改进。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Gilda Rech Bansimba, Regis Freguin Babindamana

在线欺诈在非洲已演变为大规模问题,但现有网络安全工具几乎不对普通公民开放,且主要针对具备稳定宽带连接的技术用户和SOC团队设计。这种不匹配并非偶然,而是研究文化长期优化基准性能、系统性地忽视可部署性、可访问性和本地威胁上下文的结果。本文提出GuardSec——一个已投入生产、公开可访问的实时多模态数字威胁验证Web平台,从头开始为非洲用户环境设计。系统允许任何拥有浏览器的用户在无需注册、无需API密钥、无需网络安全专业知识的情况下,在五秒内评估URL、网站、电话号码、电子邮件地址和商业实体的合法性。一个独特的原创组件是“Mon Empreinte”(我的足迹)模块,它实时审计用户自身的连接和数字暴露:分析访问者的IP地址、地理位置、ISP身份、连接类型、设备指纹、浏览器配置,以及涵盖网络完整性、跟踪暴露和匿名化状态的十二个安全指标。这种自我诊断能力将GuardSec从被动验证工具转化为主动的数字自我认知工具,使用户不仅能够了解外部实体是否安全,还能了解自己的连接是否被入侵、跟踪或暴露。此外,平台还嵌入了一个上下文感知的对话式安全助手Gilda,用通俗语言回答用户关于数字威胁的问题,并按需生成个性化安全建议。该论文强调研究问题:针对非洲用户的可访问性和多模态验证;核心方法:生产级Web平台,集成URL、实体验证和自诊断模块;主要贡献:提供了真正为低资源、高欺诈环境设计的、无需技术门槛的解决方案;适合安全工程师、SOC分析师、发展中国家的数字安全从业人员以及关注可访问性设计的研究者阅读。

💡 推荐理由: GuardSec面向非洲用户,解决了现有安全工具因高门槛而无法普及的问题,其自诊断模块能提升普通用户的数字安全意识,对全球欠发达地区的反欺诈和数字防护具有示范意义。

🎯 建议动作: 建议评估GuardSec功能并考虑在本地部署类似系统,或将其作为用户安全意识培训的补充工具

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Chidera Biringa, Ajmal Abbas, Vishnu Selvaraj, Gokhan Kul

本文提出 VulStyle,一种多模态软件漏洞检测模型,它联合编码函数级源代码、非终结符抽象语法树(AST)结构和代码风格计量(CStyle)特征。现有代码表示方法主要依赖词级模型或完整AST树,往往忽略指示风险编程习惯的风格线索,或者引入高结构开销。VulStyle 仅选择非终结符 AST 节点,在保留语义层次的同时降低输入复杂度,并集成句法和词法 CStyle 特征作为辅助漏洞信号。该模型采用掩码语言建模在 490 万个函数(覆盖七种编程语言)上进行预训练,并在五个基准数据集(Devign、BigVul、DiverseVul、REVEAL、VulDeePecker)上微调。VulStyle 在 BigVul 和 VulDeePecker 上达到当前最优性能,F1 分数相比强基线 Transformer 模型提升 4%-48%,在所有基准上均取得具有竞争力或最优的平均性能。本文还通过消融实验分离 CStyle 和 AST 结构的影响、进行错误案例分析,并在攻击者真实场景下定位检测任务的威胁模型。该研究为漏洞检测提供了融合编程风格特征的新思路,适合安全研究者和代码分析工具开发者阅读。

💡 推荐理由: VulStyle 创新性地融合代码风格计量特征提升漏洞检测性能,在多个基准上显著超越现有方法,为安全工具开发者提供了可直接借鉴的多模态预训练框架。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)