#black-box

共收录 7 条相关安全情报。

← 返回所有主题
👥 作者: Peng Cheng 0007, Yuwei Wang 0009, Peng Huang, Zhongjie Ba, Xiaodong Lin 0001, Feng Lin 0004, Li Lu 0008, Kui Ren 0001

该论文聚焦于语音可控智能设备面临的对抗样本(AE)威胁。已有黑盒对抗攻击仅需目标ASR系统最终转录结果,但通常需要大量查询,成本高昂,且对抗样本易受ASR模型更新影响。作者指出根本原因在于无法直接在深度学习模型决策边界附近构造对抗样本。基于此,提出ALIF,首个基于语言学特征的黑盒对抗攻击管道。ALIF利用文本-语音(TTS)和ASR模型的互逆过程,在决策边界所在的语言学嵌入空间中生成扰动。基于ALIF管道,进一步提出ALIF-OTL和ALIF-OTA两种方案,分别针对数字域和物理播放环境,在四个商业ASR和语音助手上进行攻击。大量评估表明,ALIF-OTL和ALIF-OTA的查询效率分别比现有方法提升97.7%和73.3%,且攻击性能相当。尤为突出的是,ALIF-OTL仅需一次查询即可生成攻击样本。时间鲁棒性实验验证了该方法对ASR模型更新的抵抗能力。该研究揭示了低成本、高效的黑盒音频对抗攻击途径,对语音平台安全性构成新挑战。

💡 推荐理由: 本文展示了极低成本的黑盒音频对抗攻击,仅需一次查询即可生成有效样本,且对ASR更新鲁棒,提醒防御者此类攻击可能对语音助手和ASR服务造成严重威胁,需关注语言学层面的防御。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yifan Liao, Zongmin Zhang, Zhen Sun, Yuhui Sun, Xinhu Zheng, Xinlei He

本文针对自动语音识别(ASR)系统的对抗鲁棒性展开研究。现有对抗攻击直接在波形域添加噪声,存在两个主要局限:一是对黑盒ASR系统的迁移性差,二是易被专门防御波形扰动的机制缓解。为此,作者提出了一种基于代理模型的Clean-Referenced Feature-Vocoder Attack(CR-FVA),将对抗扰动空间从原始波形转移到自监督学习(SSL)表示空间。具体而言,攻击者首先在代理ASR模型(如Whisper-small)的SSL特征层上计算对抗梯度,并扰动更具泛化性的声学-音素表示,从而减少对代理模型特定波形梯度的依赖,提升跨系统迁移性;然后利用声码器(vocoder)将扰动后的SSL特征重构为类语音波形信号,使得最终对抗样本看起来更像自然语音,从而绕过基于波形边界的防御。实验表明,仅以公开的Whisper-small为代理模型,CR-FVA在多个黑盒ASR模型上实现了相对最佳基线平均+26.6%的词错误率(WER)提升;针对多种训练防御(如对抗训练、频谱压缩等),WER提升幅度达+36.2%。该研究揭示了当前ASR鲁棒性评估中的一个盲区:大多数防御仅关注波形域扰动,而基于更高层特征的攻击能轻易绕过。本文工作适合ASR安全研究者、对抗机器学习从业者以及语音系统防御工程师阅读,有助于理解现有防御的不足并设计更全面的鲁棒性评估方案。

💡 推荐理由: 该攻击方法揭示了ASR系统在特征层面的新攻击面,能有效绕过现有基于波形扰动的防御,并展现出强黑盒迁移性,对语音助手、会议转录等关键应用的安全性构成潜在威胁,促使防御者重新审视鲁棒性评估标准。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 9.6
Conf: 50%
👥 作者: Qi-An Fu, Yinpeng Dong, Hang Su 0006, Jun Zhu 0001, Chao Zhang 0008

本文提出 AutoDA(Automated Decision-based Iterative Adversarial Attacks),一种自动化决策型迭代对抗攻击方法。传统决策型攻击需要人工设计查询策略和超参数,效率低且泛化性差。AutoDA 通过自动搜索最优的迭代攻击方案,包括步长、扰动方向更新策略等,从而在有限的查询次数内高效生成对抗样本。该方法在黑盒场景下(仅能获得模型最终决策)实现高攻击成功率,同时在ImageNet等大规模数据集上验证了其有效性。实验表明,AutoDA 在攻击成功率和查询效率上均优于现有决策型攻击方法,并揭示了当前深度神经网络在决策级鲁棒性上的脆弱性。

💡 推荐理由: 该研究自动化了决策型对抗攻击的调参过程,降低了攻击门槛,可能被攻击者利用来更高效地评估模型鲁棒性或发起黑盒攻击。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Ei Hmue Khine, Yao Li, Jiebao Sun, Shengzhu Shi, Zhichang Guo, Boying Wu

该论文聚焦于决策型黑盒对抗攻击(decision-based black-box adversarial attacks)这一严重安全威胁。现有方法存在根本性局限:像素级攻击常引入不自然的高频视觉伪影,而潜在空间框架受限于低维流形的搜索空间以及固有的重建缺陷。为克服这些问题,作者提出了一种名为Latent Geometric Chords(LGC)的高效查询型决策黑盒对抗攻击方法及其变体LGC-H。LGC的核心是在压缩语义流形内执行曲率感知的几何搜索以导航决策边界。为保证高视觉保真度并规避维度瓶颈,作者引入了基于残差的对抗生成(RAG)机制。RAG将语义扰动隔离为几何弦,并直接叠加到原始源图像上,从而显著改善了基线重建缺陷,并将可搜索空间维度有效翻倍。实验结果表明,LGC具有鲁棒的跨数据集迁移能力,并在多个性能指标上显著优于现有基线方法。具体而言,在5000次查询限制下,LGC实现了最小扰动幅度和最高视觉保真度,结构相似性指数(SSIM)超过0.99,学习感知图像块相似度(LPIPS)低于0.01,同时在严格的感知约束下保持高攻击成功率,成功攻破了经过对抗训练(adversarially trained)的鲁棒模型。该工作对理解黑盒模型的脆弱性以及开发更安全的机器学习系统具有重要意义。

💡 推荐理由: 该研究提出了一种高效且视觉保真的决策型黑盒攻击方法,可有效评估和暴露机器学习模型的安全隐患,对开发防御策略和提升模型鲁棒性具有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Chunxiao Wang

本文提出Nautilus Compass,一个面向生产环境LLM coding agent的黑盒人格漂移检测与记忆层系统。研究背景:LLM agent在长时间会话中会出现人格漂移,例如遗忘用户指定的约束、重复已被用户指出的错误、虚构先前的协议。现有白盒方法(如人格向量)需要模型权重,无法应用于大多数用户实际使用的闭源API(Claude、GPT-4)。核心方法:Compass完全在提示文本层操作,使用BGE-m3嵌入计算用户提示与行为锚点文本之间的余弦相似度,并通过加权top-k均值聚合。该方法不调用LLM进行事实提取或构建图,原始对话文本直接嵌入,是唯一公开的不需要索引时调用LLM的记忆层(经与Mem0、Letta等对比)。系统实现为Claude Code插件、MCP A2A服务器、CLI和REST API,并带有Merkle链审计日志以保证锚点更新的防篡改。实验:基于真实Claude Code会话轨迹构建测试集,由独立LLM法官标记,Compass在漂移检测上达到ROC AUC 0.83。其在LongMemEval-S v0.8上得分为56.6%,在EverMemBench-Dynamic上为44.4%(n=500),超过了已发布的四个基线。但LongMemEval-S得分比最新的白盒方法低约30个百分点,作者认为这是无需提取设计的天花板。端到端复现成本为3.50美元(比GPT-4o评估栈便宜约14倍)。代码、锚点、冻结测试数据和审计日志工具均在MIT许可下开源。核心贡献:(1)第一个黑盒、低成本的persona漂移检测方法;(2)提供无需LLM调用的记忆层;(3)实现防篡改审计日志。适合LLM agent开发者和安全研究人员阅读。

💡 推荐理由: 生产环境中的LLM agent常因人格漂移导致行为不可靠,而现有白盒方法依赖模型权重,无法用于闭源API。本方法提供了一种黑盒、低成本、无需调用LLM的检测方案,有助于提升agent的鲁棒性和可信度。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Haoran Yang, Jiaming Guo, Shuangning Yang, Guoli Zhao, Qingqi Liu, Chi Zhang, Zhenlu Tan, Lixiao Shan, Qihang Zhou, Mengting Zhou, Jianwei Tai, Xiaoqi Jia

本文提出 IoTBec,一个针对黑盒物联网设备的准确且高效的重复漏洞检测框架。物联网设备通常不提供源码,导致传统基于代码的漏洞检测方法失效。IoTBec 通过逆向分析固件、提取关键函数特征,并利用机器学习模型比较不同固件版本间的相似性,从而识别已知漏洞的再现。该方法能够在无需设备源码或详细文档的情况下,自动检测已公开漏洞是否影响新固件版本。实验表明,IoTBec 在多个真实物联网固件数据集上达到了高准确率(>95%)和低误报率,同时检测效率相比现有方案提升了一个数量级。框架的核心贡献在于:1)提出了基于函数语义的轻量级特征表示;2)设计了跨版本漏洞匹配算法;3)构建了可扩展的自动化分析流水线。该工作填补了黑盒场景下重复漏洞检测的空白,对物联网安全维护具有重要实践价值。

💡 推荐理由: 物联网设备更新缓慢,已知漏洞反复出现,但缺乏源码导致传统检测手段失效。IoTBec 使防御者能高效发现黑盒固件中的现存漏洞,降低供应链风险。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 5.5
Conf: 50%
👥 作者: Han Liu, Shanghao Shi, Yevgeniy Vorobeychik, Chongjie Zhang, Ning Zhang

本文系统研究了对抗扰动是否具有低秩结构。受Low-Rank Adaptation (LoRA)启发——LoRA通过低秩矩阵更新神经网络层显著提升了大型语言模型的训练效率——作者提出对抗样本的生成也是优化过程,因此自然产生疑问:对抗扰动是否也呈现低秩结构?通过理论分析和多种攻击方法、模型架构、数据集上的大量实验,本文证实对抗扰动确实具有内在低秩性质。基于这一发现,作者聚焦于利用低秩性质改进黑盒对抗攻击的效率与有效性,因为黑盒攻击通常面临查询次数过多的问题。方法分为两步:首先使用参考模型和辅助数据指导梯度投影到低维子空间;然后将黑盒攻击中的扰动搜索限制在该低秩子空间内,从而大幅提升攻击效率和效果。实验覆盖多种攻击方法、基准模型、数据集和威胁模型,结果表明所提出的低秩对抗攻击相比传统方法在全方面取得显著且一致的性能提升。该研究揭示了对抗扰动与模型更新之间的结构相似性,为设计更高效的对抗攻击与防御策略提供了新视角。

💡 推荐理由: 揭示对抗扰动的低秩结构,为黑盒攻击效率提升提供新思路,间接启示防御者关注低维扰动空间的检测与防御。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)