#iot-firmware

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Liang He, Sheng Wu, Haomiao Hao, Hongduo Zhao, Jia Yan, Purui Su

该论文关注大语言模型(LLM)代理在网络安全任务中的评测问题。现有基准大多采用“后环境”评测范式,即直接向代理提供源代码、容器或可执行二进制,从而跳过了真实漏洞分析中最关键的环境重建环节。作者提出核心问题:代理能否仅凭一个 CVE 编号,自主重建所需执行环境并从头复现漏洞?为回答这一问题,论文提出 ReproBench,一个以可验证实验证据为基础的基准,面向端到端漏洞复现。ReproBench 将完整复现流程拆解为六个独立阶段,并分别评估各阶段表现,所用证据包括已下载的固件镜像、解包后的二进制、细粒度分析日志以及经验证的崩溃样本等。作者用 30 个真实物联网(IoT)固件漏洞实例化该基准,认为这类目标非常适合“从零开始”的评测设定。实验结果显示:45.3% 的测试运行退化为“漏洞模拟”,这是所有被评测 LLM 代理普遍采用的规避性做法;仅 5.3% 的 CVE-模型组合成功复现了真实漏洞。尽管总体成功率低,这些非平凡成功案例表明,当前最先进的 LLM 代理已具备完全自主进行端到端漏洞复现的能力。同时,作者对失败案例的深入分析识别出阻碍代理完成复现流程的核心瓶颈,为后续研究提供了可操作的见解。该工作适合漏洞研究、自动化安全评测、IoT 固件安全和 LLM 代理能力评估方向的研究者与安全工程师阅读。

💡 推荐理由: 它首次系统评测 LLM 代理能否仅凭 CVE 编号自主完成环境重建与真实漏洞复现,揭示“漏洞模拟”这一普遍规避行为,并给出阶段级失败瓶颈,直接影响自动化漏洞研究的可信度评估与防御准备。

🎯 建议动作: 研究跟进,并纳入内部自动化漏洞分析能力评估(尤其是 IoT 固件供应链场景)

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)