本文提出 DiagChain，一个面向大语言模型（LLM）智能体的诊断性基准测试，用于评估其在证据支撑下的攻击链重建能力。攻击链重建是网络安全中的关键任务，要求智能体从异构遥测数据中检索并解释证据，推断出有序的攻击者行为。现有基准大多只评估最终输出或聚合准确率，难以定位推理中间阶段出现的错误及其传播方式。DiagChain 的核心贡献包括：1）MAIN-69 场景集，包含 69 个跨多个操作系统、不同证据噪声等级和不同攻击链长度的场景，覆盖 849 个参考步骤；2）提出证据中心检索增强生成（ECRAG）方法，将证据检索与重建链的演化结构化表示相结合，使证据能够动态融入推理过程；3）引入五个互补的评估指标，分别对应重建流程的不同阶段，支持系统性故障诊断。作者基于 6 个 LLM 进行评测，结果显示即使最强的配置也仅在 MAIN-69 中 849 个参考步骤上达到 39.6% 的成功率。进一步分析表明，较小模型难以完成将检索到的证据纳入输出的基础任务，而较大模型虽能推进到后续步骤，但在证据的合理排序上成为主要瓶颈。这些结果验证了超越端到端准确率的诊断性评估的重要性，并为改进基于证据的网络安全智能体提供了可操作的见解。本文适合 LLM 安全研究员、网络安全自动化工具开发者以及关注 AI 智能体可靠性的蓝队人员阅读。

本文提出一种自动化框架，用于从网络安全威胁情报（CTI）报告中提取可到达的攻击链。现有CTI提取方法主要关注指标、实体或TTP标签，但未建模每个攻击步骤的执行条件和结果状态，因此无法支持状态匹配或多阶段攻击链的可达性分析。该框架将每个攻击步骤建模为一个攻击单元，包含前置条件、攻击行为和后置条件。采用多阶段流水线，结合大语言模型（LLM）来提取攻击行为骨架、恢复前置和后置条件、归一化为预定义谓词并修复断裂依赖；最终将攻击单元编译为Datalog风格的规则，用于攻击目标可达性推理。在包含334个人工验证注释步骤的20份CTI报告数据集上，该框架在恢复攻击行为方面比代表性CTI提取系统实现了更高的注释步骤覆盖率。此外，通过显式生成前置和后置条件，它产生的攻击单元比端到端LLM基线更完整、更一致。在提取的链上，Datalog推理在20份报告中的19份中到达了指定的攻击目标，而后向搜索在生成的规则下产生了34条攻击路径。源代码和实验工件已以匿名形式提供。