#adversarial-evaluation

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Timo Schefold

该论文系统评估了大型语言模型在区块链取证场景中解读未验证智能合约字节码时的鲁棒性。作者构造了 13 个目的性设计的合约(其中 9 个为欺骗向量、4 个为功能匹配的对照组),并在 6 种提示策略下测试 22 个前沿模型,最终得到 8,528 次可分析的非拒答运行结果,且全部合约均具备 EVM 层面的真值标注。评测采用经过校准的 LLM-as-judge 流水线,并辅以两项与裁判无关的指标以及 50 条人工金标准标签进行支撑。核心发现是:对抗性欺骗使资金抽取(drain)行为的检出率相对功能等价的对照组下降 20.0 个百分点(95% 置信区间为 [17.2, 22.8])。其中结构性伪装——例如通过多跳调用链、XOR 掩码选择器以及从存储中加载的抽取参数——几乎对所有模型都保持有效。除漏检之外,作者还识别出“合理化”现象:模型能够正确描述隐藏的抽取机制,却接受合约的欺骗性叙述并将其判定为良性,从而输出形式上正确、结论却错误的“安全”证据。简单的防护性指令未带来整体收益,反而会在两个方向上破坏单个模型的稳定性。结构欺骗在 6 种被测提示策略下基本不敏感,更像是模型能力上限问题而非单纯的提示工程问题;仅来自两家厂商的 5 个模型检出率超过 50%。作者的结论是:在单轮、仅提供原始字节码的协议下,当前 LLM 不能作为可靠的独立取证工具;该结论并不延伸到多轮交互、工具增强、可获取源码或反编译参与的工作流,源码边界检查仅作为子集分析单独报告,而非主评测的一部分。

💡 推荐理由: 许多团队正把 LLM 引入链上取证与合约审计流程,本文用严格对照实验量化了其盲区:对抗性构造的字节码可让检出率下降约 20 个百分点,并出现“说对了机制却仍判安全”的合理化输出。这直接关系到自动化取证结论能否被单独采信。

🎯 建议动作: 研究跟进并纳入内部评估

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Yuekun Wang, Mingfei Cheng, Xiaofei Xie

该论文关注基于大语言模型(LLM)的代码审计器在 pull-request(PR)工作流中的可靠性问题。尽管这类审计器已被广泛集成,但其对跨仓库演进过程中分布式恶意更改的抵御能力仍缺乏系统研究。为此,作者提出了 PRWeaver 基准,包含从十个真实仓库中提取的 208 个经过执行验证的攻击实例,并为每个实例构造四种匹配的审查渲染方式,总计 832 个渲染。研究评估了三个 PR 审计代理与六个审计器-模型系统的组合。实验结果表明,将恶意更改拆分为独立提交仅能使检测率最多改变五个百分点,说明提交边界本身不是导致逃逸的关键因素;相比之下,在单个 PR 内部以 N=16 的粒度交错放置恶意代码可将检测率降低 5-13 个百分点,而通过连贯的载体融合(将良性变更与恶意载荷包装成一致的叙事)可进一步降低 10-18 个百分点。当审查窗口扩大到整个仓库历史(N=24)时,检测率降至 16-22%,远低于按 PR 独立审查时的 50-60%。这些发现表明,仅仅让审计器访问完整历史记录并不能有效防御隐蔽攻击;攻击者更可能在良性变更与恶意更改共同占据审计上下文时,或通过构造貌似合理的 PR 描述来掩盖异常 diff。该研究为 LLM 驱动的代码审计系统提供了首个系统性的对抗性评估框架,揭示了当前方法在长程、上下文融合攻击下的显著弱点。

💡 推荐理由: 该研究揭示了当前 LLM 代码审计器在面对精心构造的长期恶意 PR 时存在的严重检测缺陷,直接影响依赖此类工具进行代码审查的组织的安全防线。安全团队需意识到仅扩大上下文窗口或依赖历史信息不足以抵御隐蔽攻击。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)