#llm-as-judge

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Akihisha Fujiyama, Niwase Shamim

该论文研究自动化计算机安全测试中「确认(confirmation)」环节的可信性问题。当前 AI 辅助的安全测试工具需要自行判断一次攻击是否成功:由确定性规则通过直接观测确认的结论被当作事实上报,而由大模型判定为「可利用」的结论只被当作意见。作者的核发问是:被测系统能否伪造这种确认?在一个四阶段 AI 辅助流水线的离线安全测试环境中,15 个确认机制里有 9 个可被伪造,并且可伪造性可以被单一因素完全预测——该判定是否读取了攻击者可控的数据。作者把这一规律形式化为一个可审计的攻击面,并进行了前瞻性验证:在 16 个留出(held-out)机制上,任何攻击开始之前就固定下来的预测,完全正确地区分了可伪造与不可伪造的机制;在公开扫描器模板中的 12,203 个机制上,预测准确率达到 99.9%。实验还给出量化对比:确定性规则比 8 个开放权重 LLM 裁判更易被伪造,只要攻击者可控响应内容中约 2% 是伪造内容就能使规则失效,而 LLM 裁判对应的中位数为 50%。研究进一步发现,没有任何单一检查实现能够同时做到鲁棒且精确,而在规则与 AI 裁判之间做动态路由反而会把伪造成功率推高到 99%。缓解方向是把决定性证据迁移到攻击者无法写入的通道,这可将攻击成功率从 97% 降到 0%,同时用一个 escalate(升级复核)判定来部分恢复由此损失的检测敏感度;但该保护在被扫描主机本身就是攻击者时会失效。作者指出,这些结论对 AI 安全智能体以及那些以字符串匹配来判定「成功」的安全基准测试都有直接影响。

💡 推荐理由: 自动化安全测试与 AI 安全智能体的结论常被当作事实用于修复与评分;若「确认」环节读取了攻击者可控数据,被测方即可伪造漏洞存在或不存在,导致误报、漏报与基准失真。

🎯 建议动作: 研究跟进,并纳入内部自动化测试与 AI 安全智能体的确认流程评估

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)