该论文提出了 GiANT 自动化框架,旨在解决智能合约审计数据集构建中的人工可扩展性瓶颈以及数据粒度和多样性不足的问题。GiANT 采用分治策略结合思维链技术,从 Code4rena 平台上的真实审计报告中提取结构化漏洞信息,并通过 LLM 作为裁判机制进行严格的质量保证。研究者在 388 份真实审计报告上运行 GiANT,生成了包含 7,711 个漏洞发现、覆盖五个严重级别的 GiAnt Corpus 数据集。手动评估显示信息提取可靠性极高,平均质量得分 4.76/5,评分者间一致性 κ=0.88。进一步,他们使用该数据集对四个最先进的 LLM 在漏洞检测、代码摘要、缓解建议和自动 Gas 优化任务上进行基准测试,建立了性能基线,为自动化智能合约审计的未来研究提供了宝贵的数据基础。
💡 推荐理由: 该工作提供了一个高质量、大规模、多粒度的智能合约审计数据集,有助于推动自动化审计工具和大型语言模型在区块链安全领域的研究与评估。
🎯 建议动作: 研究跟进,考虑将该数据集纳入智能合约安全工具的评估基准。