#adversarial-testing

共收录 5 条相关安全情报。

← 返回所有主题
👥 作者: Fares Trad, Simin Chen, Hung Viet Pham, Gias Uddin, Baishakhi Ray

本文关注一个日益现实的问题:基于大语言模型(LLM)的软件智能体正被用于自动化程序修复(APR),未来很可能在几乎没有人工干预的情况下自动修复缺陷。作者提出两个核心疑问:在无人监督的场景下,APR 智能体产出的代码是否同时具备功能正确性与安全性?如果攻击者向生产环境中的 APR 智能体提交看似普通、实则精心构造的缺陷描述(issue),诱导其生成「功能测试通过但并不安全」的补丁,会发生什么?为回答这些问题,作者开展了实证研究。首先构建了 SWEADV 基准:以 SWE-bench Verified 中的 150 个修复任务为基底,为每个任务生成 5 条对抗性 issue 描述,分别对应命令执行、反序列化、路径遍历、拒绝服务与弱哈希五类安全弱点,共 750 条样本。其次,作者用三种 LLM 后端(GPT-5-Mini、MiniMax-M2.5、DeepSeek-R)驱动 mini_swe APR 智能体,在 SWEADV 上做系统评测,发现平均有 51.7% 的案例中,对抗性 issue 描述既能成功完成修复、又同时引入了恶意行为。第三,作者进一步检验常规检测手段能否拦住这类恶意补丁:修复前用 LLM-as-judge 对对抗性 issue 描述做检测,平均准确率仅 62.3%;修复后对生成的补丁检测,静态分析工具的平均准确率只有 39.4%,LLM-as-judge 为 55.4%。据此,作者得出结论:当前自主 APR 智能体对对抗性攻击高度敏感,尚不具备生产环境部署的可信度,需要更稳健的检测与人工把关机制。

💡 推荐理由: 自动修复智能体一旦接入 CI/CD 流水线,攻击面就从「代码」扩展到「提交给智能体的缺陷描述」。本文证明这类输入可被操控制造安全漏洞,而现有静态分析与 LLM 评审的检出率不足 40%-62%,属于典型的自动化供应链风险。

🎯 建议动作: 研究跟进,并纳入内部评估

排序因子: 有可用补丁/修复方案 (+3) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Owen Cox, April Xu, Weiyu Xu

该论文研究在测试结果可能被不诚实测试者恶意扭曲的情况下,如何设计最优测试策略以恢复真实测试结果。现实中的考试、评估等场景常面临作弊或对抗性行为,随着AI技术发展,利用AI作弊的现象愈发普遍和严重,导致测试结果的可靠性受到威胁。作者将测试问题建模为对抗性场景,提出通过动态规划方法确定最优的重测策略:策略会从全体测试者中选取特定子集,采用不同安全等级或不同方式的测试手段进行重新测试,从而在存在污染数据的情况下仍能准确估计真实能力或质量指标。论文的核心贡献是给出了一个在对抗性环境下获取诚实测试结果的理论框架和算法,能够权衡测试成本与准确性。该研究属于博弈论与统计信号处理的交叉领域,对安全相关的评估、认证、红队测试等场景具有理论参考价值。适合从事AI安全评估、对抗鲁棒性研究、博弈论应用的研究人员阅读。

💡 推荐理由: 为对抗性测试提供理论最优策略,直接关系AI模型评估与人员认证的可靠性,安全团队可借鉴其思路改进内部评估流程。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Yanis Xabier Wilbrand Peña, Oliver Weißl, Andrea Stocco

该论文提出了一种名为GATAS的自动语音识别(ASR)系统黑盒测试方法。研究背景是,尽管基于transformer的ASR模型在关键应用中取得了高准确率,但仍容易受到对抗性攻击,尤其是在黑盒场景下,攻击需要保持感知自然性。现有方法通常直接扰动波形,容易产生不自然的噪声。GATAS创新地利用文本到语音(TTS)模型的音素级潜在空间来生成触发错误的输入,通过在自然语音流形内插值潜在表示来诱导转录错误。该方法将攻击形式化为一个多目标优化问题,平衡语义差异和感知质量。实验评估基于多个白盒和黑盒基线,结果显示GATAS在保持较低失真和更高感知质量的同时,实现了98%的攻击成功率,人类研究也证实了其自然性。即使没有梯度信息,GATAS仍能与白盒方法竞争,表明表示对齐和感知质量比访问模型内部更关键。该工作为ASR系统的鲁棒性测试提供了高效、真实的黑盒测试用例生成方法。

💡 推荐理由: 该研究揭示了ASR系统的潜在脆弱性,提出了一种既有效又自然的新型黑盒测试方法,对语音助手、听写软件等关键应用的安全测试具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Subhadip Mitra

当前针对大型语言模型(LLM)的对抗性测试方法存在覆盖不足的问题:人工红队测试难以规模化、LLM作为攻击者的方法容易出现模式崩溃(产生重复或相似攻击)、基于梯度的攻击则生成不可读的乱码。本文提出一种质量多样性(Quality-Diversity, QD)进化框架,在语义层面运作,演化出可解释的攻击策略而非直接操作词元序列。该方法使用MAP-Elites算法,在行为维度(策略类型、编码方法、提示长度)上维护一个多样化的攻击存档。实验覆盖GPT-4o-mini、Claude 3.5 Sonnet、Gemini 2.0 Flash以及一个开源编码模型(Devstral-small-2)。结果发现不同模型具有独特的脆弱性特征:GPT-4o-mini对假设性提示和多重回合框架结合ROT13编码的攻击最为脆弱(适应度0.8);Gemini对直接攻击搭配ROT13以及多重回合加Leetspeak敏感(0.8);而Claude在所有策略下都表现出一致的不确定响应(最大适应度0.4)。语义表示产生的攻击可解释,揭示了系统性的、模型特定的弱点,为改进LLM安全提供了可行见解,并建立了可复现的基线以评估未来前沿模型。代码和实验产物已开源。

💡 推荐理由: 自动化发现不同LLM模型特有的漏洞模式,比人工红队更高效,为安全团队提供可操作的攻击策略库,缩小安全测试覆盖盲区。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zhi Chen, Shehab Sarar Ahmed, Chenkai Wang, Brighten Godfrey, Gang Wang

拥塞控制器(CC)对网络性能至关重要,但其在恶劣条件下的鲁棒性尚未得到充分理解。近年来,基于学习的CC在受控环境中表现强劲,但它们在输入信号被破坏或环境条件系统性地变得具有挑战性时,与传统CC相比表现如何仍不清楚。本文提出CCLab,一个用于系统评估学习型和非学习型CC鲁棒性的对抗性测试框架。CCLab包含一个基于强化学习(RL)的对抗性代理,该代理与拥塞控制策略闭环运行,在输入信号(特征级)或外部网络条件(环境级)上产生有界扰动,同时通过显式约束保持真实性。利用该框架,我们在特征级和环境级对抗条件下比较了学习型CC与非学习型CC。结果表明,尽管两种类型的CC在对抗测试中性能均有所下降,但学习型CC总体上比传统人为设计的算法更鲁棒。最后,我们展示了对抗性轨迹可用于训练更鲁棒的CC,其在挑战性和正常条件下均优于现有学习型CC。该研究为网络拥塞控制的安全性评估提供了新方法,适合网络研究员和安全工程师关注。

💡 推荐理由: 拥塞控制器是网络基础设施的核心组件,其鲁棒性直接影响服务稳定性。CCLab提供了系统性对抗测试方法,帮助发现潜在攻击面,并为设计更鲁棒的CC提供训练素材。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)