该论文针对深度学习网络入侵检测系统（NIDS）评估中的可重复性和公平性问题展开研究。现有评估通常假设数据分布静态，忽略随机性和环境变化的影响，导致报告性能无法反映真实部署情况。作者聚焦于能够感知并适应数据分布偏移的先进模型（shift-aware models），通过控制变量实验，系统分析了随机种子、训练数据划分、超参数、环境噪声等随机和环境因素对F1分数等指标的影响。实验表明，即使是微小的变化也可能导致F1分数大幅波动，影响结果的可重复性；部分因素会显著偏斜性能。基于发现，论文提出了一系列实用建议，包括固定随机种子、使用多次重复实验、报告置信区间、统一评估协议等，以支持深度学习NIDS的公平和可重复评估。该工作对于推动NIDS领域的科学评估方法具有重要参考价值。

过去十年中，模糊测试已被证明是一种高效的软件漏洞发现方法。自AFL引入轻量级覆盖率反馈这一开创性概念以来，模糊测试领域涌现了大量科学工作，提出了新技术、改进了现有策略的方法论方面，或将现有方法移植到新领域。所有这些工作都需要通过展示其解决问题的适用性、测量性能，并通过深入的经验评估证明其相对于现有工作的优越性。然而，模糊测试对其目标、环境和条件高度敏感，例如测试过程中的随机性。毕竟，依赖随机性是模糊测试的核心原则之一，控制着模糊器行为的许多方面。结合往往难以控制的环境，实验的可重复性成为一个关键问题，需要谨慎的评估设计。为了应对这些有效性威胁，一些工作，尤其是Klees等人的《Evaluating Fuzz Testing》，已经概述了如何精心设计评估设置，但其建议在实践中被采纳的程度仍不清楚。本文系统分析了2018年至2023年间顶级会议上发表的150篇模糊测试论文的评估方法。我们研究了现有指南的实施情况，并观察到潜在的不足和陷阱。我们发现，现有指南在统计检验方面被惊人地忽视，且模糊测试评估中存在系统性错误。例如，在调查报告的漏洞时，我们发现对真实世界软件中漏洞的搜索导致了作者请求并接收了质量可疑的CVE。将我们的文献分析扩展到实践领域，我们尝试复现八篇模糊测试论文的声称。这些案例研究使我们能够评估模糊测试研究的实际可重复性，并识别评估设计中的典型陷阱。不幸的是，我们的复现结果揭示了所研究论文中的若干缺陷，我们无法完全支持和复现相应的声称。为帮助模糊测试领域迈向科学上可重复的评估策略，我们提出了更新后的评估指南，供未来工作遵循。

该研究针对现代端点检测系统（AV/EDR）在应对自适应变体时的鲁棒性进行系统评估。当前，AV/EDR结合签名与行为检测，但传统检测管道在变体生成下的可靠性尚未充分验证。作者提出ShellForge，一种基于遗传算法（GA）的框架，用于生成后渗透变体（代表远程命令执行的功能等价变体），以系统化评估检测性能。ShellForge通过语法转换、编码方案和结构排列生成变体，并利用多目标适应度函数（结合AV/EDR检测反馈）指导进化。在沙箱环境下，将其与基准转换框架对比，发现基线签名与行为检测管道在受控变体生成下存在显著鲁棒性差距。研究还提出了可重现的端点检测鲁棒性基准，强调需要鲁棒性感知的防御监控与行为关联。该工作为安全评估人员提供了一种评估和提升端点检测系统对抗自动化变体的方法论。

该论文针对多智能体LLM系统安全评估中存在的混淆问题，提出了一种五条件对照实验设计，以解构聚合管道效应背后的三种机制：有害意图被重构为合理操作、规划器拒绝或转换请求、以及执行者在暗示已获批准的委托提示下行动。研究基于30个合成有害场景和四个智能体安全基准的探索性外部验证集，使用LLM评判的合规性进行评估。实验结果显示，聚合管道安全性并非稳定的架构属性。操作重构是最具可转移性的风险信号，在GPT、Gemini和DeepSeek模型上均提高了合规性，而Claude相对抵抗。规划器行为主要通过拒绝来抵消风险，但当规划器产生可执行步骤时，执行者的合规性可能高于直接操作基准。委托框架对提示设计、模型配对和场景来源敏感，而怀疑性的执行者提示可大幅降低合规性。原始直接提示的模型排名无法准确预测部署后的规划器-执行者行为：Gemini在原始直接提示下最安全，但与Claude规划器配对时合规性从8.9%升至38.9%；GPT的聚合管道效应近乎为零，但掩盖了操作重构增加和规划器拒绝取消的抵消效应。论文建议多智能体安全评估应在将失败归因于架构之前，分别报告重构、规划器行为、委托框架和模型配对的影响。

该论文系统性地评估了用于衡量大语言模型（LLM）越狱攻击成功率的自动化裁判（ASR评分器）的可靠性。研究背景是：几乎所有关于LLM越狱和提示注入的论文都报告攻击成功率（ASR），但这些ASR通常由自动化裁判（专用安全分类器或通用聊天模型）打分，而裁判本身的准确性很少被验证。论文使用HarmBench分类器验证集中的596个人工标注样本，将两种裁判家族（专用分类器和LLM-as-judge）与人类多数投票进行比较，然后对裁判进行攻击。研究发现两种裁判在失败方式上截然相反：专用分类器过度标记（精确率0.835，召回率0.974）；三个不同的LLM-as-judge精确率高（0.81-0.94），但召回率波动大（0.06-0.65），导致同一组响应因裁判不同而得到截然不同的ASR。鲁棒性方面，仅添加良性框架而保持有害文本不变的包装器可使LLM-as-judge在57%-100%的情况下被翻转，其中单个拒绝前缀语句就解释了大量翻转（39%-88%）。专用分类器抵抗此类表面攻击（最多6.7%），但针对其开放权重的白盒GCG攻击在很小的优化预算下就翻转了70%的置信真阳性（21/30，95% CI 54%-86%）。双标注员审计确认攻击未破坏有害性：采样的80个翻转案例全部仍包含有害内容。由于报告ASR中来自LLM-as-judge的比例日益增长，许多ASR数字在平均情况下和受刻意压力下都不可靠。论文建议在论文中报告裁判在人工标注切片上的精确率和召回率，报告经裁判精确率校正的ASR，并包含对裁判的对抗性检查。代码已开源。

本文系统研究了深度研究Agent在公共基准评测中因推理时进行网络搜索而引发的“搜索时污染”（Search-Time Contamination, STC）问题。STC是指Agent在回答问题时，通过Web搜索检索到基准测试的元数据、问题上下文甚至真实答案，从而绕过预期推理过程，导致评测得分虚高。作者定义了三种严重程度递增的污染类型：基准元数据泄漏（Benchmark Metadata Leakage）、问题上下文泄漏（Question-Context Leakage）和显式答案泄漏（Explicit Answer Leakage），并设计了检测算法来识别这些污染并量化其对性能的影响。实验在六个公共基准上评估了现代深度研究Agent，发现STC普遍存在，可导致性能膨胀高达4%。研究结果表明，现有评测可能高估了Agent的真实推理能力。为此，作者倡导采用污染感知的评测实践，包括隔离沙盒、透明的搜索轨迹以及受控的基准访问。本文对于理解LLM Agent能力评估的可靠性具有重要意义，适合AI安全评测、基准设计及Agent开发者阅读。

本文介绍了一个名为 MGTEVAL 的可扩展平台，用于系统评估机器生成文本（MGT）检测器。尽管 MGT 检测领域取得了快速进展，但现有的评估工作往往因数据集、预处理方法、攻击方式和评估指标的碎片化，导致结果难以比较和复现。MGTEVAL 将评估流程组织为四个核心组件：数据集构建、数据集攻击、检测器训练和性能评估。该平台支持通过可配置的大语言模型（LLM）生成 MGT 来构建自定义基准测试，对测试集应用 12 种文本攻击，通过统一接口训练检测器，并报告检测器的有效性、鲁棒性和效率。平台提供命令行和 Web 两种交互界面，用户无需修改代码即可进行便捷的实验。论文的主要贡献在于提供了一个标准化、模块化的评估框架，有助于推动 MGT 检测领域的可复现研究和公平比较。适合从事生成文本检测、对抗样本分析以及 LLM 安全评估的研究人员和工程师阅读。