本文提出了 SecRespond,据作者称这是首个用于评估大语言模型(LLM)智能体在后渗透(post-compromise)事件响应工作流中能力的基准测试。当前大多数网络安全基准测试聚焦于攻击发生前的“预渗透”场景,智能体被放置在一个干净且理想化的环境中,而真实世界中更常见的场景是主机已经被入侵,安全分析师必须基于磁盘快照、告警、漏洞扫描和基线条目来还原入侵路径、评估风险并制定修复方案。SecRespond 针对这一缺口,构建了包含 10 个网络靶场的任务集,每个靶场基于一个真实受损的云主机镜像,覆盖 4 种初始入口类型、21 个 ATT&CK 技术和 5 种操作系统。智能体需要根据主机安全产品提供的告警、漏洞扫描结果和基线检查结果,对磁盘快照进行取证分析,输出入侵取证报告、基线风险报告、漏洞风险报告以及修复计划。作者在 OpenCode agent harness 上评估了 23 个前沿 LLM(包括各类闭源和开源模型)。实验结果显示,当前智能体虽然能够可靠地发现告警直接暴露的问题,但在主动探查磁盘上未告警的“静默入侵”方面表现不佳,并且难以产出全面且经过验证的修复计划。没有任何一个模型能在任何一个靶场上同时实现完整的检测和修复。这表明在构建面向真实世界事件响应的智能体时,仍存在根本性瓶颈。该基准已开源,项目地址为 https://github.com/Alibaba-NLP/qqr/tree/main/data/secrespond。本文适合安全运营研究者、LLM 智能体开发者以及事件响应工具设计者阅读,以了解当前模型在后渗透场景下的能力边界和未来改进方向。
💡 推荐理由: 填补了 LLM 智能体安全评估在后渗透场景的空白,为蓝队评估自动化事件响应工具提供了首个可复现基准,揭示了现有模型在主动取证和修复规划上的短板。
🎯 建议动作: 研究跟进:关注该基准的后续扩展和模型改进方向,评估其对自身安全运营智能体研发的参考价值。