提示注入(prompt injection)检测器目前普遍以分布内测试集上的聚合 F1 作为主要评价指标,这种做法掩盖了模型在分布偏移下的真实行为,尤其是决策边界的良性一侧:误报会直接产生运维成本(告警疲劳、正常业务被拦截),却往往没有被单独测量。为此作者提出 PIDS-Bench,一个冻结的、多维度的评测基准,在固定阈值下同时衡量攻击检出与良性误报行为,覆盖四类输入:分布内样本、'hard-benign'(结构上模仿注入但无恶意意图的提示)、经过混淆处理的注入攻击,以及领域与结构层面的分布偏移。评测对象共 7 个检测器,包括学习型基线、外部提示注入分类器以及更宽泛的安全对齐类对比器,并加入一个基于规则的方法作为性能下界参考。结果显示,多轴评测揭示出聚合 F1 完全掩盖的失效模式:某个在留出集上 F1 超过 0.98 的检测器,对来自公开语料、仅限定为安全相邻内容的良性子集仍有约三分之一的误分类。在完整阈值扫描与 5 个随机训练种子下,没有任何内部检测器能同时满足 F1≥0.95 且 hard-benign FPR≤0.10。按提示来源拆解后发现:困难负样本增强几乎消除了人工策展压力输入上的过度防御(over-defense),但在外部来源提示上基本无效,作者将这一现象称为'来源敏感的过度防御'(provenance-sensitive over-defense);该不对称在两种微调架构上均成立,且不随增强池扩大而减弱,外部来源的误报率仍远高于 0.10 的目标线。作者明确指出,与外部来源分布相匹配的增强能否弥合这一差距尚未经过验证,仅靠阈值校准与策展式增强并不足够。该工作适合红队/蓝队、LLM 网关与内容安全评测人员阅读。

本文对网络安全领域的大语言模型（LLM）基准测试的可靠性进行了系统性审计，指出基准分数并非固定不变，而是高度依赖于评估管道的具体配置。作者将八个网络安全基准测试视为测量管道，并选取了十个模型（包括商业专有模型、开放权重模型和网络安全专用模型）进行实验。通过分析，他们识别出15种系统性故障模式，并证明仅改变单个管道选择（如提示格式、解析方式、评分标准等）就可能导致模型分数变化超过80个百分点，同时显著改变模型排名。在跨基准层面，两个语义相似的任务对由于评估约定不一致，会对相同模型产生不同的排名结果。当使用一个统一标准、保持任务语义不变的评估框架时，十个模型中有九个在至少一个基准上的排名变动超过三位。研究表明，网络安全LLM基准分数具有管道依赖性，现有的基准测试结果可能无法可靠反映模型的真实能力。作者提出，应将管道感知的审计作为模型评估的核心要求，以提升基准测试的科学性和可比性。本文适合关注LLM评估方法论、网络安全AI应用及基准测试可靠性的研究人员和安全从业者阅读。

大型语言模型（LLM）的自动化红队攻击与蓝队防御技术正在快速发展，但现有的攻击者和防御者通常被孤立地构建和测试，导致评测分数难以反映真实对抗能力。为解决这一问题，本文提出了 ACEA（Adversarial Co-Evolution Arena，对抗性共进竞技场），一个将可插拔的红队适配器和蓝队适配器连接到共享目标 LLM 的平台，并通过 LLM 裁判对双方进行攻击率和防御率的评分。ACEA 的贡献包含四个部分：第一，一个可插拔、模型无关的竞技场。任何红队或蓝队项目只需通过最小化 HTTP 协议（称为 ASAP 标准适配协议）即可接入，且不限制编程语言；只要暴露该协议即可成为完整参与者。第二，一套为对抗轮次设计的评估方法。通过用规范秘密（canonical secrets）对目标进行种子注入，可获得可验证的 ground truth，从而区分真实泄露与模型幻觉。同时，即使防御成功，攻击样本仍会被发送到目标，以独立衡量攻击的原始威力（raw potency），不受是否被拦截的影响。这些机制共同构成了每一轮攻击强度与防御效果的分解指标。第三，实时的游戏式可视化界面及详细的战后报告，能够定位每一次失败的具体原因，使评估成为改进红队或蓝队项目的可操作信号。第四，一个可选的上下文改进循环，将每轮结果转化为下一轮的建议提示（advisory hints）。适配器无需保持状态即可跨轮次适应，只需读取这些提示即可。文章详细描述了 ACEA 的设计，以及红蓝双方在对抗中如何进行头对头评分。该研究适用于 LLM 安全评估人员、红队攻防研究者及安全工具开发者，旨在提供更可信、可分解的对抗评测框架。

变异模糊测试（mutation-based fuzzing）是软件安全中广泛使用的漏洞发现技术，但由于其随机性，对它的结果进行严格评估和复现存在困难。现有工作通常通过经验性测量来刻画这种随机性，但缺乏理论上的收敛性与样本复杂度保证，导致评估不可靠。该论文针对上述两个问题进行了深入研究。第一，提出一种鲁棒性评估方法：运行多次独立的模糊测试活动（campaign），在考虑计算量（测试长度）差异后，度量bug触发率的变异情况。作者从理论上证明了，在M次长度为T的独立测试中，有限试验（即M有限）导致的误差以标准M^-1/2速率衰减；而有限测试长度（T有限）引入的误差，在bug触发时间相关性逐阶衰减时具有有界性。这一理论结果首次为模糊测试的统计评估提供了可计算的收敛保障和样本复杂度指导。第二，提出一种名为“splitting”（分裂）的黑盒增强技术：当模糊器触发一个bug时，复制其当前队列状态，并让多个分支从该状态继续运行，从而将更多计算资源导向已发现的薄弱区域。作者证明，无论分裂树具体如何实现，任何分支路径相比单一连续路径都不会减少触发bug事件的原始数量；而且，当那些被更多分支访问的状态在未来更容易触发更多bug时，预期检测效率会获得提升。在一个简化模型中，当模糊器花费在bug区域的时间比例p小于sqrt(2)-1时，splitting能够降低单位计算量的方差。实验部分，作者在Magma基准的40个地真值（ground-truth）单元上进行验证，在计算量匹配的前提下，splitting在38个单元中比基线在相同CPU时间内找到更多真实bug（中位数提升52%，其中38个中34个具有统计显著性），且从未发现少于基线的不同bug。特别地，它使CVE-2019-19926从未被检测（0/20次独立试验）变为稳定检测（20/20次，Fisher精确检验p<10^-4），另有6项检测改进涉及相关CVE。在FuzzBench基准上，splitting在70个对比组中的53个中找到更多独特bug，并在66/70个组中降低了跨campaign的结果变异，中位数变异降低约10倍。所有分裂分支均计入相同计算预算，总开销仅约0.14%。因此，该工作为模糊测试的可信评估与实用增强提供了一套完整的理论与工程方案。

该论文围绕表格数据合成技术展开系统评估。数据合成被视为在保护数据隐私的前提下利用数据的重要手段，近年来涌现出大量表格数据合成器（synthesizers），其中部分满足差分隐私（Differential Privacy）约束，另一些则仅基于启发式方式提供隐私保护。然而，由于现有评估指标本身存在缺陷，加之新开发的合成器（如基于扩散模型和大型语言模型的方法）缺乏与最先进统计合成器的直接对比，导致研究界对这些合成器的实际优缺点缺乏全面深入的理解。论文旨在通过系统化的评估框架，对多种合成器进行公平、全面的横向比较，揭示其在数据效用、隐私保护能力及可用性等方面的表现。研究可能涵盖对评估指标本身的反思，提出更合理的评估维度，并为合成器的选择提供科学依据。该工作对于隐私保护机器学习、数据发布等应用场景具有重要的参考价值，有助于研究者与从业者摆脱对单一指标或单一算法家族的盲目依赖，从实证角度理解不同技术路线（统计方法、扩散模型、大语言模型）在表格数据合成中的真正潜力与边界。由于当前仅有论文摘要，没有公开详细实验设置与结果，因此本摘要基于摘要信息进行概括，具体结论需参考完整论文。

本文针对智能体（Agent）评估中的证据充分性与覆盖范围问题，提出了一套名为 ClaimReceipt 的声明相对收据规范与选择性验证器。研究背景是：在智能体评测中，存在两种不同的证据问题：一是已报告声明能否从保留证据中重新计算得出（充分性）；二是保留的记录是否覆盖了承诺的实验集合（覆盖性）。普通的通用日志和哈希链接记录无法可靠地回答这两个问题。ClaimReceipt 的核心方法是：将类型化的事务证据绑定到一份签名的实验清单上，并为每条声明返回 PASS、INVALID 或 INCONCLUSIVE 三种结果。作者在实现前冻结了规范（SHA-256 哈希为 18d109...b81），以确保规范不被实现细节污染。实验使用 1,392 条历史买方—卖方记录进行验证：CR-2 验证器重现了全部五个手工标注的审计结论，精确重放了 600 条确定性记录和 792 条后生成记录，在测试的消融实验下使全部 13 个声明字段组都保持非冗余，并且对 11/11 个语义故障返回预期结果，同时 0/8 误报。随后，作者进行了前瞻性的 CR-3 时期实验：在推理前承诺 30 项任务，终端收据被签名并链接，私人证据为审计方加密。完整证据得到覆盖性和账目 PASS；扣押一个终端收据返回 INCONCLUSIVE_COVERAGE；而扣押所有私人打开则保留覆盖性和协议验证，但使经济声明变得不确定——这些结果与预注册的预测完全吻合。收据插桩仅增加模型推理时间的 0.021% 和每事务 9.9 KB 的存储开销。规范可读性探针表明，冻结的规范对独立读者而言仍非完全无歧义。结论是，声明验证不仅需要声明充分的证据，还需要一个已承诺的宇宙，使遗漏变得可见。本文适合智能体评测设计者、AI 安全审计人员、以及关注可验证 AI 系统（特别是基于证据的审计机制）的研究者阅读。

该论文提出了一种名为 Reveree 的诊断框架，用于深入评估大型语言模型（LLM）代理在逆向工程（RE）任务中的表现。当前社区通常使用 CTF（Capture-the-Flag）逆向工程挑战作为衡量标准，但仅凭是否拿到 flag（解题率）这一单一指标，无法揭示代理在逆向工程流程中具体在哪个环节失败，也无法判断其成功是源于对二进制的真实分析，还是对已有公开解决方案的记忆。Reveree 框架从三个层级对 LLM 代理的轨迹进行评分：解题率、通过八阶段 RE 流程的里程碑进展、以及动作行为画像。其中，理解阶段的得分由经人类专家验证的、对结果不知情的 LLM 裁判进行评定，其余阶段通过确定性方法验证。作者使用 Reveree 在 88 个 picoCTF 和 NYU-CTF 挑战中评估了九个前沿模型和四种提示策略。实验发现：基础模型对性能的主导作用强于提示策略，而提示策略的影响是次要且依赖模型的；令人意外的是，更大、更新或更昂贵的模型并不一定更强；失败主要集中在 RE 流程的理解阶段，额外的预算、持久性或推理努力并不能挽救多少失败，这表明失败源于能力上限而非资源不足；关于记忆问题，虽然模型能从挑战描述中复现 picoCTF 的 flag，但 NYU-CTF 中几乎没有可测的记忆，且大多数成功在表面扰动下仍然成立，说明真实分析与记忆是共存的。论文公开了 Reveree 工具，可为理解和改进 LLM 代理的逆向工程能力提供细粒度诊断。该研究工作对安全自动化、恶意软件分析和漏洞发现具有参考价值。主要适合研究 LLM 代理安全能力、逆向工程自动化以及评估方法的科研人员和工程师阅读。

本文针对大语言模型服务中维护防护机制的效果评估问题展开研究。当前业界通常以拒绝率、攻击成功率或违规率等指标来衡量防护本身的有效性，但这些指标仅反映防护在预定义测试请求集合上的表现，不能说明在实际部署环境中，面对持续适应攻击方式的对手，服务仍可能提供多少“有助害任务”的功能。论文提出以系统部署安全性为统一的评估判据，将“防护是否降低了部署后的残余危害”作为比较不同防护族的基准。为此，作者指出在证据要求上存在明显的不对称性：只要能够观察到一次通过部署系统的成功攻击，就足以证明残余危害存在，而此类攻击在编码记录中很容易出现；但若要证明残余危害极小，仅依赖防护自身的评分记录是不够的，必须提供防护运行后系统其他部分仍然允许发生的行为的证据。作者对相关文献中的声明进行深度编码和分析，发现只有少数声明符合这种系统级证据标准，其中仅有一个声明能够给出有界的残余风险边界。基于此，论文批评了单纯追逐更高本地分数的做法，认为没有部署级有效性的验证，则任何“防护生效”的结论都只是局限于特定测试集的有界陈述。研究贡献主要包括：提出以部署安全为共同分母的防护评估视角、揭示评估证据的不对称结构、匡正了当前关于“分数提升 = 系统更安全”的默认假设，并使未来研究聚焦于真实系统层面的修复与验证。该工作适合LLM安全研究员、安全测试工程师、模型治理人员阅读。

本文研究 LLM Agent 长期记忆机制中良性效用与记忆投毒风险之间的阶段性权衡。作者指出，现有评测通常在固定配置下孤立地衡量记忆效用或攻击风险，难以揭示不同记忆阶段（写入、管理、检索）的设计选择如何重塑效用-风险权衡。为此，他们提出了可控评测框架 MemGauge，该框架在干净的对照条件下分别独立调节写入准入、管理策略和检索暴露三个环节，以便在相同的受控环境中比较不同记忆操作的副作用。通过对 11 个 LLM 和两个长期记忆基准进行受控评测，作者发现了三种不同的风险演化画像：写入阶段呈现类似阈值的风险突变，管理阶段呈现依赖策略的局部解耦，检索阶段则出现效用与风险的耦合增长。此外，他们将同样的阶段级测量方法应用于四个现有记忆系统，观察到的诊断关联与上述画像在定性上一致。结果表明，针对性的投毒风险在不同记忆操作之间存在差异，这为后续做阶段感知的记忆评估与控制奠定了基础。本文适合 LLM Agent 安全研究者、记忆系统设计者及需要评估长时记忆风险的安全工程师阅读。

本文针对差分隐私（DP）图像合成领域日益凸显的评估协议不一致、甚至存在缺陷的问题，提出了一个统一基准平台 DPImageBench。研究背景是：DP 图像合成旨在生成既能保留敏感图像数据集统计特性、又能保护单张图像隐私的人工图像，但不同研究在方法比较和评估流程上往往采用各不相同的协议，导致研究结论难以横向对比，也阻碍了该领域的进一步发展。核心贡献包括三方面：第一，方法层面，论文系统研究了十二种主流 DP 图像合成方法，并基于模型架构、预训练策略和隐私机制三个维度进行了分类刻画；第二，评估层面，整合了九个数据集和七个评估指标，全面衡量各方法效用，并揭示了一个关键问题——许多现有工作根据在敏感测试集上准确率最高来选择下游分类器，这种做法不仅违反差分隐私的约束，还会高估合成图像的实际效用，DPImageBench 对此进行了纠正；第三，平台层面，尽管各方法和评估协议差异较大，DPImageBench 提供了一个标准化接口，将现有和未来的实现统一到同一框架之下。基于该基准，论文取得了若干重要发现，例如：与传统认知（在公共图像数据集上预训练通常有益）相反，预训练数据与敏感图像之间的分布相似性对合成图像性能影响显著，且预训练并不总是带来效果提升。论文已提供源代码，适合差分隐私、生成模型、隐私保护机器学习等领域的研究人员阅读。

该论文提出FIDES，一个用于评估LLM生成交易策略一致性的测量协议。LLM在回答交易策略请求时，通常会同时返回自然语言理由、可执行代码以及回测业绩三个产物，但少有研究验证三者是否一致。FIDES将这三个产物视为三个需要相互印证的视图，而非单一可评分的交付物。具体流程是：通过双重交付，在一次模型调用中同时获取自然语言策略及其声称的明确优势，以及一个自包含的strategy(df)函数；随后在沙箱环境中对滞后一期的样本外数据进行回测，并计算三个一致性差距：say-to-do（语言声明与代码行为）、do-to-real（代码执行与实际回测结果）、say-to-result（语言声明与最终结果）。实验在2023年至2024年样本外期间，使用8只流动性美国ETF、4种模型外加两阶段提示（共40个策略）进行。主要发现有三点：第一，一致性并不预测盈利能力——40个策略中只有2个跑赢买入持有，且简单的sma(50,200)规则在平均夏普比率上优于所有模型生成策略；第二，自我评估严重失准——40个策略中有32个声称跑赢买入持有，而实际仅1个做到；第三，将语言-代码评判器替换为第二模型时，超过一半项目的say-to-do结果发生翻转。此外，向代码中注入Close.shift(-1)（未来信息）使do-to-real平均下降0.33，但运行时未来信息探针在干净和注入代码上均未触发。作者强调FIDES是用于测量忠实度的协议，而非关于市场表现的断言。

本文针对当前大型语言模型（LLM）安全评测中存在的维度割裂问题展开研究。作者指出，现有评测框架通常独立评估安全性、安全性和隐私性，无法捕捉跨维度的失效模式。例如，一个模型可能在安全对齐指标上达到99.3%，却拒绝三分之一的良性查询；或者在所有能力指标上提升的同时隐私得分下降21分。为此，论文提出了aiXamine——一个统一的黑盒评测平台，将LLM的可信度视为安全性、安全性和隐私三个相互依赖的属性进行联合评估。aiXamine通过自动化红队流水线，编排了覆盖9个服务的46项测试，生成从提示级诊断到跨服务权衡分析的分层风险画像，能够在相同条件下对专有模型和开源模型进行可复现的比较。作者对超过120个LLM进行了总计超过5000次测试运行，开展了迄今最大规模的联合安全、安全与隐私研究，并揭示了三个在单一轴评测中不可见的跨维度现象：第一，安全强制存在‘安全税’，更强的对齐会系统性加剧过度拒绝，迫使提供商在保护与效用之间权衡；第二，隐私与其他可信度维度近似正交，标准对齐无法覆盖；第三，作者正式刻画了‘蒸馏诱导的鲁棒性崩溃’：没有在策略校正的离策略蒸馏会导致熵崩溃，在相同基础架构上将鲁棒性从56.9灾难性地降至2.6。这些发现，加上规模收益递减和依赖类别的安全行为，表明可信度本质上是多维度的：一个轴上的进步并不保证其他轴上的进步，甚至可能主动削弱其他轴，而当前的对齐方法却将其作为单一目标处理。该研究为LLM评测领域提供了新视角和实用工具，适合LLM安全研究者、红队工程师和部署决策者阅读。

该论文针对音频深度伪造检测这一日益严峻的安全问题，首次开展了大规模的人类识别能力评估研究。随着语音合成与声音克隆技术的快速发展，深度伪造音频已被用于电信诈骗、虚假信息传播等恶意场景，传统自动检测模型虽然取得一定进展，但人类作为最终决策者的听觉判断能力却缺乏系统性验证。研究团队设计了涵盖多种伪造方式、说话人、语言、音频时长和真实度差异的测试集，招募大量参与者进行听辨实验，比较了不同背景人群（如普通用户、技术从业者、专家等）的识别准确率、响应时间和置信度。实验结果表明，人类对高质量音频深度伪造的识别率并不理想，尤其在短音频和跨语言场景下错误率显著上升；同时，参与者的自信程度与真实表现之间存在明显偏差。论文进一步分析了人类检测与自动检测性能的互补性，指出单纯依赖人类或机器均存在局限，并提出了将人类感知特征融入自动检测系统的潜在方向。该研究为音频取证、内容审核和反欺诈领域提供了重要的实证数据和设计参考，对于评估现有防御体系的有效性以及制定人机协同检测策略具有直接价值。适合数字取证专家、反欺诈安全工程师以及语音认证系统设计者阅读。

本文针对基于机器学习的物联网设备识别模型在实际部署中性能下降的问题展开系统性评估。作者指出，现有方案大多假设物联网环境是静态的，未能考虑真实网络中设备工作模式多样、随时间演化以及网络流量时空变化等因素，导致模型在现实中准确率显著降低。为了量化这些影响，研究团队构建了包含多种代表性特征的精选数据集，设计了涵盖工作模式、时空变化、流量采样等关键维度的评估属性集，并对当前主流识别方案进行了跨场景测试。进一步地，文章利用机器学习可解释性技术（如特征重要性分析）定位性能退化的根本原因，揭示了哪些特征能够在长期变化中持续稳定地标识设备。实验证据表明，仅依赖静态特征或单一模式训练的模型容易失效，而某些稳健特征（如协议行为模式）更具持久辨识力。最后，作者为网络运营商提供了实践层面的改进建议，包括如何调整特征选择、更新策略与采样方式，以提升真实运营环境下的设备识别鲁棒性。该研究为物联网安全监控、资产管理及异常检测提供了重要的实证参考，适合网络安全管理者和设备识别系统设计者阅读。

本文提出 ATOBench，一个面向自主渗透测试代理的评估框架，核心目标是让代理在面对欺骗性目标响应时的验证过程变得可观测。研究背景是：自主渗透测试代理依赖目标系统的响应来指导后续动作和生成最终报告，如果目标响应被欺骗（例如植入错误证据），攻击轨迹和验证过程都会被误导。然而，仅看最终报告无法了解代理如何解释冲突证据、如何调整策略、为何决定停止、以及如何将观察转化为漏洞声明。ATOBench 通过在运行时注入注册的响应变换，并将每个变换后的回合与同一环境下的原生回合配对，在首个受影响响应处对齐，然后利用源链接重构追踪后续动作、证据恢复、停止决策和报告支撑。框架定义了三个冻结的观察契约，分别覆盖利用证明（exploit proof）、资源所有权（resource ownership）和可复用工件（reusable artifacts）。作者在 450 个回合上评估了五条模型路线，发现增加的活动量可能掩盖断裂的验证链，而成功的恢复依赖于找到可用证据并在报告中保留这些证据。ATOBench 将欺骗性目标观察转化为可复现的探针，用于研究自主渗透测试中的证据处理机制，从过程层面扩展了对进攻性渗透测试代理的评估，揭示了不可信观察如何影响动作、验证和报告。适合关注 LLM 驱动的安全代理评估、红队自动化以及智能体鲁棒性的研究者阅读。

本文研究了长期运行的智能体（agent）在上下文压缩（context compaction）过程中，安全护栏（safety guardrail）如何因单一周期的自我摘要（self-summarization）而失效。长期智能体通常需要周期性地压缩上下文，将原始对话记录替换为模型生成的摘要。近期研究（Governance Decay，Chen 2026）表明，在压缩过程中丢弃持续性的安全约束会导致多种模型出现行为违规。本文则聚焦于更细粒度的问题：在单一压缩周期内，一条安全规则是如何被丢失的，以及这对检测与评估有何意义。核心发现是：存在性检查（presence check）并不等同于安全性检查（safety check）。当压缩过程并未彻底丢弃一条规则时，常常会留下一个“看起来像规则但行为上不像规则”的退化残留（degraded residue）。在行为回放（behavioral replay）测试中，这种残留会导致模型执行被禁止行为的频率远高于完整焊接（intact welded）的规则；在两种回放模型下，全场景差异分别达到+34分和+57分（均为正向）。类别级（category-level）的存活表现类似于残留，甚至完整的规则有时也无法触发（fail to fire），因此仅检查文本存在的审计会产生虚假的安全感。进一步的分析表明，规则形式（rule-form）的条目比显著性匹配的事实（prominence-matched facts）被保留的频率高得多——这正是为什么基于存在性的检查会让人觉得足够，尽管“存活”并不等于“受到保护”。文本丢失的模式是依场景而定的：在单一规则下表现为“焊接或丢弃”（weld-or-drop），在更紧的预算下则表现为退化的谓词丢失（predicate-loss residues）；本研究未观察到假设中的文本切断（textual severing）模式。这种丢失在运行时是静默的，只有通过与保留的外部地面真值（如约束注册表）进行比较才能发现，而这种比较只能揭示文本缺失，无法判断存活的规则是否仍能触发。本文还记录了评估陷阱：若仅依赖LLM裁判的标签，会得出相反的结论。所有实验结果均针对单个压缩周期。

该论文揭示了一个被忽视的评估方法论缺陷：黑盒多模态护栏（guardrail）的安全指标往往被错误地归因于护栏本身，而实际上目标模型自身的对齐机制也参与了拒绝行为。研究者指出，防御管线中两个组件都能产生拒绝（护栏和模型自身对齐），但当前评估将两者混合计数，导致护栏的实际贡献被高估或低估。关键变量有两个：载荷通过哪个通道（如文本或图像像素）传递，以及测试框架在护栏内部读取的是何种文本（攻击者实际发送的编码提示、原始未编码请求或无关文本）。通过在两个开源目标模型上对文本护栏进行实验，发现：当载荷被渲染为像素时，护栏完全不拦截，所有拒绝都来自模型自身；读取攻击者实际发送的编码提示时，护栏仅产生少数拒绝；读取攻击背后的未编码请求时，护栏几乎拦截一切，模型则几乎沉默。这种盲区并非不准确，而是恒定的决策模式。进一步实验表明，若将未编码请求作为护栏输入，会大幅虚增护栏的防护效果，且该效应在不同防御策略（护栏门控、字幕复核、多数投票）中表现不同。隔离分析显示，这种虚增并非源于检测能力提升——负责危害判断的阶段毫无贡献，而负责重新生成答案的阶段承担了全部效果。更棘手的是，参考实现从单一提示字段构建所有阶段，无法区分攻击者输入与基准记录，导致忠实部署会无意中引入该偏差。论文还修订了作者自己此前发表的部分数据。

本文针对人类导向的二进制逆向工程（HOBRE）评估难题展开系统性研究。HOBRE 旨在将反编译伪代码转换为更易读、更符合人类认知的表示形式，以降低逆向分析人员的认知负担。然而，如何可靠地评估 HOBRE 输出一直是核心挑战：人工评估成本高昂且难以规模化；现有自动化指标要么依赖可执行测试用例和运行时环境（真实世界二进制往往无法提供），要么需要高质量源代码作为参考（通常不可得），且无法捕捉语义等价但词汇多样的输出。鉴于大语言模型作为裁判（LLM-as-a-Judge）范式天然适合此类开放式评估任务，但此前缺乏系统验证。论文首次对 LLM-as-a-Judge 范式在 HOBRE 三个代表性任务（函数名恢复、二进制代码摘要、反编译优化）上进行了系统研究。作者构建了 BinJudgeBench——首个基于多维人工判断的、专家标注的、无参考评估基准。实验表明，LLM-as-a-Judge 与人工判断的平均相关性达到 63.20%，显著优于传统自动化指标（35.04%）。进一步分析不同基座 LLM、提示策略和解码温度等裁判配置后发现，不存在“一刀切”的配置，最优设置因任务和样本而异。为此，作者提出 BinJudge，通过轻量级路由机制为每个任务和样本自适应选择最优裁判配置。实验结果显示，BinJudge 将评估与人工专家的相关性提升 4.5%–24.7%，同时将 API 成本降低至静态最佳配置的 0.06 倍–0.84 倍，为 HOBRE 提供了一种可扩展、成本效益高且保真度高的自动化评估方案。论文还探讨了不同配置选择对评估结果的影响，为 LLM 评估领域提供了新的洞见。适合 NLP/软件工程/逆向工程评估相关研究者阅读。

该论文系统研究了基准测试与评估协议如何影响基于溯源（provenance）的入侵检测系统（PIDS）的性能结论。作者指出，许多 PIDS 在论文中宣称高检测性能，但这些结论往往对所选数据集和评估方式极为敏感。为了揭示这一依赖关系，他们在满足审计、标签和校准要求的公开数据集上重新评估了若干代表性 PIDS，重点使用了经过审计的 DARPA TC E3 数据集。他们设计了一套统一的评估协议，包括时间上分离的测试周期、仅基于验证集进行模型检查点选择和阈值校准，并以此考察了哪些架构层面上的主张能得到实证支持。研究发现，告警成功与调查效用可能严重不一致：一些系统虽然能发出攻击告警，却无法提供足够的过程上下文来支撑取证调查。更关键的是，在四个主要数据集中的三个上，一个仅用训练集可执行文件名和路径构建的简单允许列表，就在关键运行点指标上达到甚至超过了所选学习基线，这说明这些模型测得的大部分性能反映的是词汇新颖性，而非更丰富的溯源建模能力。为了解释为何只有一部分数据集能体现架构差异，作者通过特征完整性和字段熵度量了语义信号质量，分析表明，部分 E3 数据集虽然能区分告警行为，但难以可靠区分不同模型架构；而 Theia 数据集兼具最强的语义信号质量和参考模型在排序及节点级恢复上的最明显提升。由此得出结论，在解释 PIDS 的架构声明时，必须同时考虑产生该结果的基准特性和评估协议。该研究为安全评估方法学提供了重要参考，提醒实践者谨慎对待孤立指标，重视评估协议的影响。

该论文针对深度学习网络入侵检测系统（NIDS）评估中的可重复性和公平性问题展开研究。现有评估通常假设数据分布静态，忽略随机性和环境变化的影响，导致报告性能无法反映真实部署情况。作者聚焦于能够感知并适应数据分布偏移的先进模型（shift-aware models），通过控制变量实验，系统分析了随机种子、训练数据划分、超参数、环境噪声等随机和环境因素对F1分数等指标的影响。实验表明，即使是微小的变化也可能导致F1分数大幅波动，影响结果的可重复性；部分因素会显著偏斜性能。基于发现，论文提出了一系列实用建议，包括固定随机种子、使用多次重复实验、报告置信区间、统一评估协议等，以支持深度学习NIDS的公平和可重复评估。该工作对于推动NIDS领域的科学评估方法具有重要参考价值。

过去十年中，模糊测试已被证明是一种高效的软件漏洞发现方法。自AFL引入轻量级覆盖率反馈这一开创性概念以来，模糊测试领域涌现了大量科学工作，提出了新技术、改进了现有策略的方法论方面，或将现有方法移植到新领域。所有这些工作都需要通过展示其解决问题的适用性、测量性能，并通过深入的经验评估证明其相对于现有工作的优越性。然而，模糊测试对其目标、环境和条件高度敏感，例如测试过程中的随机性。毕竟，依赖随机性是模糊测试的核心原则之一，控制着模糊器行为的许多方面。结合往往难以控制的环境，实验的可重复性成为一个关键问题，需要谨慎的评估设计。为了应对这些有效性威胁，一些工作，尤其是Klees等人的《Evaluating Fuzz Testing》，已经概述了如何精心设计评估设置，但其建议在实践中被采纳的程度仍不清楚。本文系统分析了2018年至2023年间顶级会议上发表的150篇模糊测试论文的评估方法。我们研究了现有指南的实施情况，并观察到潜在的不足和陷阱。我们发现，现有指南在统计检验方面被惊人地忽视，且模糊测试评估中存在系统性错误。例如，在调查报告的漏洞时，我们发现对真实世界软件中漏洞的搜索导致了作者请求并接收了质量可疑的CVE。将我们的文献分析扩展到实践领域，我们尝试复现八篇模糊测试论文的声称。这些案例研究使我们能够评估模糊测试研究的实际可重复性，并识别评估设计中的典型陷阱。不幸的是，我们的复现结果揭示了所研究论文中的若干缺陷，我们无法完全支持和复现相应的声称。为帮助模糊测试领域迈向科学上可重复的评估策略，我们提出了更新后的评估指南，供未来工作遵循。

该研究针对现代端点检测系统（AV/EDR）在应对自适应变体时的鲁棒性进行系统评估。当前，AV/EDR结合签名与行为检测，但传统检测管道在变体生成下的可靠性尚未充分验证。作者提出ShellForge，一种基于遗传算法（GA）的框架，用于生成后渗透变体（代表远程命令执行的功能等价变体），以系统化评估检测性能。ShellForge通过语法转换、编码方案和结构排列生成变体，并利用多目标适应度函数（结合AV/EDR检测反馈）指导进化。在沙箱环境下，将其与基准转换框架对比，发现基线签名与行为检测管道在受控变体生成下存在显著鲁棒性差距。研究还提出了可重现的端点检测鲁棒性基准，强调需要鲁棒性感知的防御监控与行为关联。该工作为安全评估人员提供了一种评估和提升端点检测系统对抗自动化变体的方法论。

该论文针对多智能体LLM系统安全评估中存在的混淆问题，提出了一种五条件对照实验设计，以解构聚合管道效应背后的三种机制：有害意图被重构为合理操作、规划器拒绝或转换请求、以及执行者在暗示已获批准的委托提示下行动。研究基于30个合成有害场景和四个智能体安全基准的探索性外部验证集，使用LLM评判的合规性进行评估。实验结果显示，聚合管道安全性并非稳定的架构属性。操作重构是最具可转移性的风险信号，在GPT、Gemini和DeepSeek模型上均提高了合规性，而Claude相对抵抗。规划器行为主要通过拒绝来抵消风险，但当规划器产生可执行步骤时，执行者的合规性可能高于直接操作基准。委托框架对提示设计、模型配对和场景来源敏感，而怀疑性的执行者提示可大幅降低合规性。原始直接提示的模型排名无法准确预测部署后的规划器-执行者行为：Gemini在原始直接提示下最安全，但与Claude规划器配对时合规性从8.9%升至38.9%；GPT的聚合管道效应近乎为零，但掩盖了操作重构增加和规划器拒绝取消的抵消效应。论文建议多智能体安全评估应在将失败归因于架构之前，分别报告重构、规划器行为、委托框架和模型配对的影响。

该论文系统性地评估了用于衡量大语言模型（LLM）越狱攻击成功率的自动化裁判（ASR评分器）的可靠性。研究背景是：几乎所有关于LLM越狱和提示注入的论文都报告攻击成功率（ASR），但这些ASR通常由自动化裁判（专用安全分类器或通用聊天模型）打分，而裁判本身的准确性很少被验证。论文使用HarmBench分类器验证集中的596个人工标注样本，将两种裁判家族（专用分类器和LLM-as-judge）与人类多数投票进行比较，然后对裁判进行攻击。研究发现两种裁判在失败方式上截然相反：专用分类器过度标记（精确率0.835，召回率0.974）；三个不同的LLM-as-judge精确率高（0.81-0.94），但召回率波动大（0.06-0.65），导致同一组响应因裁判不同而得到截然不同的ASR。鲁棒性方面，仅添加良性框架而保持有害文本不变的包装器可使LLM-as-judge在57%-100%的情况下被翻转，其中单个拒绝前缀语句就解释了大量翻转（39%-88%）。专用分类器抵抗此类表面攻击（最多6.7%），但针对其开放权重的白盒GCG攻击在很小的优化预算下就翻转了70%的置信真阳性（21/30，95% CI 54%-86%）。双标注员审计确认攻击未破坏有害性：采样的80个翻转案例全部仍包含有害内容。由于报告ASR中来自LLM-as-judge的比例日益增长，许多ASR数字在平均情况下和受刻意压力下都不可靠。论文建议在论文中报告裁判在人工标注切片上的精确率和召回率，报告经裁判精确率校正的ASR，并包含对裁判的对抗性检查。代码已开源。

本文系统研究了深度研究Agent在公共基准评测中因推理时进行网络搜索而引发的“搜索时污染”（Search-Time Contamination, STC）问题。STC是指Agent在回答问题时，通过Web搜索检索到基准测试的元数据、问题上下文甚至真实答案，从而绕过预期推理过程，导致评测得分虚高。作者定义了三种严重程度递增的污染类型：基准元数据泄漏（Benchmark Metadata Leakage）、问题上下文泄漏（Question-Context Leakage）和显式答案泄漏（Explicit Answer Leakage），并设计了检测算法来识别这些污染并量化其对性能的影响。实验在六个公共基准上评估了现代深度研究Agent，发现STC普遍存在，可导致性能膨胀高达4%。研究结果表明，现有评测可能高估了Agent的真实推理能力。为此，作者倡导采用污染感知的评测实践，包括隔离沙盒、透明的搜索轨迹以及受控的基准访问。本文对于理解LLM Agent能力评估的可靠性具有重要意义，适合AI安全评测、基准设计及Agent开发者阅读。

本文介绍了一个名为 MGTEVAL 的可扩展平台，用于系统评估机器生成文本（MGT）检测器。尽管 MGT 检测领域取得了快速进展，但现有的评估工作往往因数据集、预处理方法、攻击方式和评估指标的碎片化，导致结果难以比较和复现。MGTEVAL 将评估流程组织为四个核心组件：数据集构建、数据集攻击、检测器训练和性能评估。该平台支持通过可配置的大语言模型（LLM）生成 MGT 来构建自定义基准测试，对测试集应用 12 种文本攻击，通过统一接口训练检测器，并报告检测器的有效性、鲁棒性和效率。平台提供命令行和 Web 两种交互界面，用户无需修改代码即可进行便捷的实验。论文的主要贡献在于提供了一个标准化、模块化的评估框架，有助于推动 MGT 检测领域的可复现研究和公平比较。适合从事生成文本检测、对抗样本分析以及 LLM 安全评估的研究人员和工程师阅读。