该论文研究一个面向 LLM 驱动攻击性安全代理（offensive-security agent）的工程问题：在代理流水线中加入"验证器—接受阶段"（verifier-and-acceptance stage），即由一个模型充当验证器给出判定、再由确定性代码强制执行该判定，是否会改变代理最终报告的漏洞发现。作者采用预注册（pre-registered）的实验范式，分三步开展：第一步是 15 次运行的探索性试点；第二步是预注册的 20 次运行确认性消融实验（confirmatory ablation）；第三步是预注册的 2×2 因子研究，在两个刻意配置为易受攻击的实验室靶标上共进行 40 次运行。 确认性实验的核心结果是：将验证器—接受阶段移除后，"报告前抑制"（pre-report suppression）现象消失，每次运行的中位发现数从 2 降至 0，单侧精确检验 p = 0.00003；同时，在模型盲审（model-blinded）条件下最终"发货"的精度从 0.471 降至 0.353，p = 0.0087。但对一份冻结但不完整的 ground-truth 列表的召回率没有显著差异（双侧 p = 0.158），且研究未建立等效性，作者也强调该召回端点证据不充分。 因子研究进一步做归因分解：抑制作用主要来自模型验证器本身（Holm 校正后 p = 0.004）；仅靠确定性接受规则并未抑制任何误报；两者之间未检测到交互作用（p = 0.72）。完整设计保留了 93.8% 的经模型裁定的真实候选，但未达到预先注册的非劣效性标准——单侧 95% 置信下界为 0.875，低于 0.90 的门槛，因此不能宣称"不劣于"无验证器配置。 在安全与审计方面，作者在两个研究中部署了带埋点的金丝雀（instrumented canary），在 60/60 次运行中记录到零次接触，偶发的外部接触单独披露。对保留的盲审数据包的人工独立裁定仍在进行中，因此精度与灵敏度端点目前只是支持性证据而非最终结论。作者还主动披露了六处审计追踪失败，其中一处发生在评估工具自身。论文的结论刻意收窄：验证器改变的是"系统最终交付什么"，确定性代码提供的是强制执行与可审计性；该结果并未证明其优于其他代理，也未证明可推广到实验室靶标之外。 论文适合关注 LLM 代理安全评估方法学、代理流水线治理与可审计性设计的研究者与安全工程师阅读，尤其适合负责设计"模型输出—代码执行"门控与审计链路的团队。

该论文聚焦大语言模型微调阶段的后门数据投毒评估方法学。传统后门研究通常固定投毒样本数量，再从候选数据池中随机抽取投毒集合，并据此估计模型的最坏情况脆弱性。作者指出这种做法会严重低估真实风险：在三个基于 LLaMA-3-8B 的后门实验设置中，当模型、干净数据与投毒样本数量全部保持不变，仅改变"选中哪些样本构成投毒集合"这一个变量时，攻击成功率即可在 3% 到 80% 之间大幅波动。换言之，随机采样只探测到了风险空间的一小部分。为刻画这一问题，作者把投毒集合的选择形式化为"受 oracle 预算约束的集合优化"：每次"微调 + 评测"调用代价高昂，因此必须在有限次真实评测下，从海量候选集合中找出最危险的那一批。为此提出 SAILS（Set-level Audit-Informed Iterative Learned Selection，集合级、由审计信息驱动的迭代学习式选择）：先用几百次微调-评测运行训练一个"集合打分器"，用它为数百万个候选投毒集合排序，再只对排名靠前的小规模候选名单进行真实审计验证，从而在预算内逼近最坏情况。实验表明，SAILS 在留出集合上的攻击成功率平均比最强的影响力（influence）基线高出约 30 个百分点；该方法还能从较小规模微调迁移到完整规模微调，并可扩展到代码生成、智能体（agentic）以及仅提供 API 的后门场景。整体研究视角属于"对抗性评估方法学"，即通过构造更强的攻击者模型来暴露当前后门评测与防御体系的盲区，而非提出新的实际攻击载荷或绕过技术。

本文针对网络物理系统（CPS）异常检测器的评估方法提出批评与改进。当前领域普遍使用精确率、召回率或 F1 分数在单一工作点（operating point）上比较不同架构的检测器，例如深度神经网络、不变式模板等。作者指出，这些指标混淆了两个独立环节：一是检测器对物理过程的表示能力（residual 生成），二是报警阈值设定的好坏。为此，本文提出将 CPS 异常检测器视为两阶段流水线：第一阶段将观测映射为残差（residual），第二阶段将残差映射为报警。作者主张直接评估第一阶段，使用归一化残差能量（normalized residual energy），该指标与训练正常参考分布的 Kullback-Leibler 散度具有精确数学联系，且不依赖特定报警规则。该评估可独立衡量攻击分离度、训练-测试差距下的稳定性，以及检测器对物理过程的编码紧凑性。作者在不做任何逐检测器调参的情况下，对五种检测器（GDN, FuSAGNet, TranAD, NSIBF, GeCo）在三个 CPS 基准（SWaT, WADI, HAI）上进行了评估。结果显示，尽管这些检测器在 SWaT 上的 ROC-AUC 值相近，但在共同误报率下性能相差超过一个数量级；且排名随测试床变化——TranAD 在 HAI 上第一但在 SWaT 上垫底，NSIBF 在 WADI 上第一但在 HAI 上垫底。在 WADI 上，局部攻击可以逃避跨通道汇总证据的检测器，这解释了 NSIBF 为何优于在其他基准上表现良好的方法。研究表明，检测失败可能源于不同原因：表示能力弱、阈值校准差、或攻击本身物理影响很小。不依赖决策规则的分析有助于区分这些原因。

该论文针对近年来网络入侵检测研究中越来越多地采用循环网络和Transformer等时序架构的趋势，提出质疑：这些模型是否真的利用了时序信息？作者以CIC-IDS2017数据集为基准，将其重构为时序入侵检测任务，通过构建有序流序列，在随机划分、两种无泄漏划分以及填充方案消融实验下，对九种经典和深度学习架构进行了系统评测。核心发现是：对于Transformer，填充约定（padding convention）比架构本身对性能的影响更大。在真正的序列（非填充）窗口上，Transformer取得了实验中最高的宏F1分数（0.89）；但在零填充+掩码评估下，其宏F1显著下降0.24，而LSTM、GRU和1D-CNN保持稳定。在无泄漏分组评估下，随机森林是最稳健的模型（宏F1提升0.009），而Transformer的误报率从0.04%增长到2.7%，增加了67倍，这一现象在常规评估协议下完全不可见。研究表明，评估方法——特别是填充约定和划分协议——对报告性能的影响大于架构选择。广泛使用的随机划分加重复末次填充可能高估模型稳健性多达0.24宏F1。作者提倡未来入侵检测研究采用无泄漏划分、明确披露填充方案以及序列感知基准测试。

这篇论文提出了一种针对大型语言模型（LLM）的提示注入（prompt-injection）和越狱（jailbreak）检测器的基准评估方法学，旨在解决现有评估中两个系统性弱点：每个数据集单独调整阈值以及未公开的操作点。作者设计了一个评估框架，在16个公开基准数据集（共12111个样本）上，使用5折交叉验证对检测器进行评分。主要流程采用按行分层的StratifiedKFold；同时并行运行基于复合键（父提示ID加MinHash+LSH近重复聚类，Jaccard相似度≥0.8）的StratifiedGroupKFold，作为泄漏诊断。全局操作点根据保留折选择（在假阳性率≤1%约束下最大化F1分数），并统一应用于所有数据集，从而确保每个数据集的结果反映单一收敛阈值而非每个基准的独立优化。泛化能力通过一系列诊断测试进行检验：留一数据集交叉验证、随机标签对照、对抗验证、置换特征重要性、长度偏倚相关性、分类器头部一致性、跨源近重复检测、阈值可迁移性、训练集与留出折一致性以及释义不变性探测。大多数诊断设有定量通过阈值，其余则明确失败模式。对于外部比较，检测器的阈值会根据竞争对手公布的假阳性率重新调整，以保证在匹配的操作点上进行比较。该工作为LLM安全评估提供了更严谨、可复现的基准，适合安全研究人员、评估工程师及从事LLM安全部署的从业者阅读。