#compliance-testing

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Polina Kozyreva, Endadul Hoque

该论文研究了如何利用大语言模型(LLM)辅助二进制协议实现的一致性测试,以PKCS#1 v1.5签名验证标准为例。PKCS#1 v1.5是一种广泛部署的TLV编码标准,其实现需要同时满足结构和语义约束。传统随机测试和简单变异难以探索协议的有意义行为,而专用一致性测试工具需要深厚的协议知识和大量手动工作。本文提出结合语法级变异与LLM代码合成的方法,评估其在规范一致性测试中的通用性。实验使用了Morpheus(形式化验证的测试预言)作为基准,对48个密码库实现进行测试。结果显示,该方法成功复现了Morpheus先前发现的13个非平凡规范违规类别中的10个,包括全部5个签名伪造类别,并发现1个之前未报告的不一致。然而,LLM幻觉是限制有效性的主要因素(82.5%的生成脚本存在幻觉),而非变异策略本身。论文识别出五种不同的幻觉类型,并发现其分布在不同变异类别中系统性地变化:结构变异的实现保真度为13.3%,而约束变异正确率为30.3%但被忽略率最高(8.1%)。这些发现揭示了操作可靠性(99.8%)与语义保真度(17.5%)之间的显著差距,为在规范驱动测试中何时可以信任基于LLM的代码合成提供了可行指导。

💡 推荐理由: 该研究首次定量评估了LLM在规范一致性测试中的实际能力与局限,揭示了操作可靠性与语义保真度之间的巨大鸿沟,对安全测试自动化工具的开发具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)