#latent-space

共收录 2 条相关安全情报。

← 返回所有主题
推荐 3.5
Conf: 50%
👥 作者: Yanis Xabier Wilbrand Peña, Oliver Weißl, Andrea Stocco

该论文提出了一种名为GATAS的自动语音识别(ASR)系统黑盒测试方法。研究背景是,尽管基于transformer的ASR模型在关键应用中取得了高准确率,但仍容易受到对抗性攻击,尤其是在黑盒场景下,攻击需要保持感知自然性。现有方法通常直接扰动波形,容易产生不自然的噪声。GATAS创新地利用文本到语音(TTS)模型的音素级潜在空间来生成触发错误的输入,通过在自然语音流形内插值潜在表示来诱导转录错误。该方法将攻击形式化为一个多目标优化问题,平衡语义差异和感知质量。实验评估基于多个白盒和黑盒基线,结果显示GATAS在保持较低失真和更高感知质量的同时,实现了98%的攻击成功率,人类研究也证实了其自然性。即使没有梯度信息,GATAS仍能与白盒方法竞争,表明表示对齐和感知质量比访问模型内部更关键。该工作为ASR系统的鲁棒性测试提供了高效、真实的黑盒测试用例生成方法。

💡 推荐理由: 该研究揭示了ASR系统的潜在脆弱性,提出了一种既有效又自然的新型黑盒测试方法,对语音助手、听写软件等关键应用的安全测试具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Marte Eggen, Eirik Reiestad, Kristian Gjøsteen, Inga Strümke

本文系统性地研究了现代神经网络中后门攻击的密码学不可检测性问题。传统后门攻击往往依赖特定的触发器模式,且容易被防御机制检测。受近期密码学进展启发,作者提出了一种基于潜在空间方向的攻击框架,将后门通道建模为网络在训练过程中学习的潜在方向。核心创新在于:将不可检测性问题转化为一个假设检验问题——攻击者无需引入外部结构,而是利用网络自身几何中已存在的方向作为后门载体。通过在标准图像分类数据集上对ResNet和Vision Transformer架构进行实验,该方法在保持干净样本精度几乎不下降的同时实现了持续的高攻击成功率,并能抵抗多种主流的后训练防御(如剪枝、微调、神经元清洗等),除非将模型完全破坏。作者进一步从理论上论证,由于模型参数的分布复杂,区分后门模型与干净模型的假设检验在实践中是难解的,从而建立了后门的密码级不可检测性。该工作表明,密码学意义上的后门并非只能用于理论架构,而是现代深度学习模型潜在空间固有几何属性的直接体现,对AI安全领域具有重要的理论推进价值。

💡 推荐理由: 该研究首次在实用级神经网络(ResNet、ViT)上实现了密码学意义上的不可检测后门,挑战了当前多数防御机制的有效性基础。安全团队需认识到潜在空间中的后门可能难以通过统计检测发现,对模型供应链安全、白盒审计提出新课题。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)