该论文提出 Encarsia，一种通过自动注入缺陷（bug injection）来评估 CPU 模糊测试器（fuzzer）有效性的框架。研究背景：随着 CPU 设计复杂度增加，硬件漏洞层出不穷，模糊测试成为发现 CPU 漏洞的主流手段，但不同 fuzzer 的覆盖能力和检出率缺乏系统比较。核心问题：现有评估依赖真实漏洞集，样本有限且难以复现；人工注入缺陷的方式开销大、可重复性差。方法：Encarsia 自动向 RTL（寄存器传输级）设计（如 Rocket Chip、BOOM）中插入预定义类型的错误（包括控制流、数据流、时序等类别），生成带标注的基准测试集。然后运行多个 CPU fuzzer（如 DifuzzRTL、RTLCheck、Solt 等人工作），统计缺陷被触发的比率。实验证明，Encarsia 能够公平评估不同 fuzzer 针对不同类型缺陷的检测能力，并揭示其各自盲区。主要贡献：1）定义了 CPU 缺陷分类体系；2）开发了自动插入工具；3）提供了标准评估数据集；4）给出了多个流行 fuzzer 的详细对比结果，为后续改进指明方向。

本文针对当前对抗鲁棒性评估方法的局限性，提出了一种新的评估框架。现有方法通常使用预定义的攻击集成（如AutoAttack）在单一扰动预算ε和少量范数下进行评估，存在三个根本问题：1) 模型间的鲁棒性-扰动曲线可能相交或以不同速率衰减，导致单ε排名不稳定；2) 无法证明评估结果的最优性，存在未知的对抗样本漏洞；3) 固定攻击配置无法系统控制攻击强度与评估成本之间的权衡。为解决这些问题，作者提出了一个基于最小范数攻击池的评估框架，涵盖ℓ0、ℓ1、ℓ2和ℓ∞四种攻击范数，并构建鲁棒性-扰动曲线。定义“攻击前沿”为攻击池对模型产生的最差鲁棒性估计，并将评估形式化为前沿逼近问题，通过选择最小范数攻击子集（即优化后的攻击集成）在可控的查询预算下逼近前沿，预算越大估计越紧。此外，定义“防御前沿”为每个扰动大小下模型集合的最优鲁棒性，并提出“防御最优性指数”（Defense Optimality Index）来对防御进行排序，无需选择单一ε。在CIFAR-10和ImageNet上的实验表明，所提攻击集成在固定和可控查询成本下，在大多数防御上匹配或超过AutoAttack。该工作为安全从业者提供了基于曲线和查询控制的替代性评估方法。

本文提出 JailMeter，一个基于证据的越狱攻击评估框架，旨在解决当前大语言模型越狱攻击评估中标准不一致、方法不统一导致攻击成功率估计不可靠的问题。受信息瓶颈理论启发，JailMeter 采用双反馈优化机制，首先过滤模型响应中的越狱噪声，同时保留与原始恶意问题相关的内容，生成简洁的证据用于严格评估：只有当响应捕获了恶意意图并提供了完整答案时，才判定攻击成功，即模型安全对齐被实质性绕过。作者在包含 330 个人工标注、非拒绝越狱实例的挑战性基准 JailMeter-Eva 上进行评估，JailMeter 达到了 97.27% 的准确率，显著优于现有评估方法。为支持大规模评估，作者还通过知识蒸馏将 JailMeter 压缩为小语言模型 JailMeter_SLM，在保持可比可靠性的同时大幅降低计算成本。代码和数据集已开源。该工作为越狱攻击评估提供了更科学的度量标准，有助于安全对齐研究的推进。

移动目标防御（MTD）作为一种主动网络防御范式，通过动态网络重构技术（如软件定义网络（SDN）启用的路径随机化）增加攻击者的不确定性。然而，现有评估因攻击者假设、攻击场景和评估指标不一致而碎片化，限制了可重复性和面向部署的比较。本文提出MTD-Playground，一个攻击者感知的评估框架，用于在真实企业级多阶段攻击场景下对SDN启用的路径随机化（PR）MTD技术进行基准测试。除了孤立的性能和安全性指标外，MTD-Playground引入了一种复合评估方法，用于分析部署有效性、突变间隔权衡以及防御者-攻击者操作平衡。以周期性路径随机化作为代表性PR-MTD策略，实验表明：激进的突变间隔将攻击成功率降低至4-20%，同时将攻击完成时间延长至160-311秒（在不同攻击场景下）。此外，PR-MTD将吞吐量提升高达30.9%，并减少内部路径延迟而不中断服务。复合分析进一步显示，较短的突变间隔始终达到最高的部署有效性和正的防御者优势。这些结果表明，基于SDN的PR-MTD能有效破坏多阶段攻击进程，同时在企业环境中保持实际可部署性。该研究为MTD评估提供了标准化方法，有助于推动该领域的可重复研究和部署决策。

论文《AdvScene: Rethinking Adversarial Patch Evaluation Through Scene Robustness》重新审视了对抗补丁（adversarial patch）的评估方法。对抗补丁是附着在真实物体上的物理图案，旨在误导AI视觉系统（如目标检测器）。现有评估主要基于固定图像基准或可控仿真器，但前者缺乏场景多样性，后者无法反映真实场景的复杂性。作者提出“场景鲁棒性”（scene robustness）概念，指补丁部署后在真实环境中随视角、距离和场景条件变化仍保持有效的能力。为此，他们设计了AdvScene框架，一种基于场景重建的评估方法。核心挑战在于：攻击通常仅在单一锚定视角下定义，而评估需要跨视角保真地表示补丁。作者将其形式化为约束提升问题，提出“对抗补丁到场景嵌入”（APSE）方法，通过解决跨视角歧义、保留攻击关键外观、施加局部性、目标表面附着和跨视角一致性约束，实现补丁在场景中的准确嵌入。使用真实世界物理数据验证，并对现有对抗补丁进行全面评估。结果表明，AdvScene揭示了攻击有效性随场景变化的显著差异，而现有图像中心或仿真基评估无法捕获这些差异。本文适合AI安全研究人员、对抗性攻击防御开发者及计算机视觉鲁棒性研究者阅读。

该论文提出了 Honeyval，一个针对基于大型语言模型（LLM）的 HTTP 蜜罐的全面评估框架。蜜罐是一种模拟真实系统组件的诱饵，用于防御网络攻击。近年来，LLM 越来越多地被用作蜜罐的模拟后端，使防御者能够构建高交互蜜罐，同时降低系统安全风险。然而，LLM 驱动的蜜罐开发缺乏统一的评估框架。现有评估方法通常包括在固定命令上测量响应相似性、手动测试或实际部署，但这些方法难以扩展、不可重复、无法代表实际攻击，也无法适应不同的攻击者和蜜罐配置。Honeyval 通过以下方式克服了这些局限性：将蜜罐基于 16 个后端应用程序，使用 AI 黑客代理作为攻击者，采用两个控制任务来监控代理和蜜罐在不同定制下的能力，并为攻击者定义清晰可验证的利用目标。利用 Honeyval，作者对近期成本高效的 LLM 作为 HTTP 蜜罐进行了广泛评估。实验显示，LLM 驱动的蜜罐能够显著延长与攻击者的交互时间，远远超过基于规则的基线蜜罐，并且即使使用前沿模型也很难被检测到，同时平均保持了对抗主动攻击者的成本优势。此外，作者还实验了不同的反制蜜罐配置，观察到了独特的权衡，例如更长的交互时间以增加被检测的风险。该工作为 LLM 蜜罐的开发和标准化评估提供了重要基础。

增强现实（AR）头戴设备持续感知周围环境，捕获附近的旁观者，从而引发隐私风险。视觉旁观者隐私增强技术（PET）通过检测自我中心场景视图中的旁观者并应用隐私转换（如模糊化）来缓解这一风险。然而，传统的PET评估依赖于人工、开销高且设备特定，导致跨设备复现困难。本文提出EvaluatAR，一个跨设备评估框架，用于PET评估早期阶段的快速原型化。该框架通过记录-重放工作流标准化PET的输入（传感器数据和视觉刺激）和输出，实现对实验条件的可控制复制。作者在HoloLens 2、Magic Leap 2和Meta Quest 3三个设备上，针对隐式（连续、上下文驱动）和显式（意图驱动）两种PET类型进行了三个案例研究：（1）跨设备重放PET输入，揭示设备特定的隐私-性能权衡；（2）同一框架工作流在隐式和显式PET设计类别间的泛化能力；（3）重放隐私相关的边缘案例以诊断失败并验证PET修改，结果优于现有基线。这些结果证明EvaluatAR支持快速迭代的PET开发，推进了旁观者PET的可复现跨设备评估，在AR普适化关键时刻具有重要意义。