How Benchmarks and Evaluation Protocols Shape Conclusions in Provenance-Based Intrusion Detection
该论文系统研究了基准测试与评估协议如何影响基于溯源（provenance）的入侵检测系统（PIDS）的性能结论。作者指出，许多 PIDS 在论文中宣称高检测性能，但这些结论往往对所选数据集和评估方式极为敏感。为了揭示这一依赖关系，他们在满足
#benchmark
共收录 180 条相关情报。
← 返回所有主题Security-First Evaluation of Text-to-Terraform: Benchmarking LLMs and SLMs for Secure IaC Generation
该论文研究了大型语言模型（LLM）和小型语言模型（SLM）在生成基础设施即代码（IaC）时的安全性问题，特别是针对AWS Terraform配置。云配置错误是安全事件的主要根源，但业界对LLM/SLM能否生成符合安全规范的IaC缺乏系统性评
Permission Denied: Policy-Graded Evaluation of Coding Agents in Hardened Environments
本文研究编码代理（coding agents）在受企业安全策略约束环境下的性能表现。现实场景中，编码代理通常运行在具有受限凭据、限制出站流量、只读文件系统和非 root 执行等安全控制的组织中，但现有基准测试（如 Terminal-Benc
A Unified Benchmark for Privacy-preserving Vector Search
向量搜索是语义搜索、推荐系统和检索增强生成（RAG）的核心技术。然而，默认情况下，提供查询服务的服务器既能看到用户的查询嵌入，也能看到匹配的语料库，这对查询用户和语料库所有者都构成隐私泄露。已有多种加密方案（如 SAP、EMVP、BNTM、
CallScreenBench: Benchmarking On-Device Models as Phone Secretaries
该论文提出 CallScreenBench，一个用于评估端侧（On-Device）语言模型充当“电话秘书”能力的基准测试。研究背景是：随着可量化到数比特的小型语言模型在手机上运行，由其代表用户自动处理来电成为可能。与大多数基准测试中的智能体
On fair and realistic performance evaluations for graph-based lateral movement detectors
该论文关注图基横向移动检测器在性能评估中的公平性和现实性问题。近年来，随着多个基准数据集的公开，横向移动检测研究取得了显著进展，但不同文献在如何使用这些基准数据集上存在明显差异，尤其是数据预处理步骤和横向移动相关事件的标注方式。作者调查了两
MemSecBench: Tracking Agent Memory Poisoning from Persistence to Consequence and Repair
本文针对大语言模型驱动的智能体（Agent）中记忆系统存在的安全风险，提出了一款新型任务驱动型基准 MemSecBench。在现有 Agent 应用中，记忆系统使智能体能够存储并复用过往交互信息，但这也为攻击者创造了机会：精心构造的恶意指令
HoF-Bench: Rediscovering Real AI-Discovered CVEs Without Frontier Models
本文介绍 HoF-Bench，一个由真实 AI 发现的 CVE 组成的基准测试集，旨在评估基于大语言模型（LLM）的漏洞分析器。背景：已有 LLM 分析器（如 AISLE 的 analyzer）在成熟开源项目中发现了超过 280 个真实 C
Open Security Benchmark: Towards Autonomous Enterprise Cyber Defense
该论文聚焦于企业自主网络防御中的关键挑战：如何信任由智能体（Agentic AI）完成的安全态势感知、评估与决策。作者指出，当前企业安全环境是私有的、跨厂商且高度关联的，没有一个公开、可查询的共享环境能用于端到端评估此类智能体，这构成了“环
ToxScreen: Detecting Whether an LLM Has Been Poisoned
该论文针对大语言模型（LLM）在关键领域部署时面临的数据投毒后门攻击问题展开研究。攻击者可能通过污染训练数据植入后门触发器，使得模型在推理阶段遇到特定输入时被隐蔽地操控行为。作者聚焦于防御者在现实约束下的触发器恢复能力：仅拥有模型的白盒权重
SecRespond: Benchmarking AI Agents for Real-World Post-Compromise Incident Response
本文提出了 SecRespond，据作者称这是首个用于评估大语言模型（LLM）智能体在后渗透（post-compromise）事件响应工作流中能力的基准测试。当前大多数网络安全基准测试聚焦于攻击发生前的“预渗透”场景，智能体被放置在一个干净
A Controlled Candidate-Set Benchmark for Offline Satellite-Security Plan Decomposition
本论文针对卫星安全领域中的安全规划分解问题，提出了一种受控候选集基准测试方法。在某些安全开发场景中，需要本地模型将高层目标转化为有序且可检查的行动计划。作者设计了一个低秩分解适配器，并发布了一个无泄漏的语料库，包含24个手工编写的卫星安全案
StealthBench: Measuring Operational Stealth in Autonomous Offensive-Security Agents
本文提出 StealthBench，一个专门用于衡量自主攻击性安全代理在操作安全（OPSEC）方面隐蔽性的基准测试框架。研究背景是：高级安全研究人员和APT组织在执行任务时能够不被察觉，而日益自主化的攻击性安全代理继承了这些任务，但其是否继
IH-Benchmark: A Conflict-Centered Benchmark for Instruction-Hierarchy Robustness in LLM Applications
随着大语言模型（LLM）被集成到各类应用中，模型在收到来自不同优先级（系统提示、用户输入、工具输出）的冲突指令时，其实际遵循行为成为影响可靠部署的关键问题。现有评测基准往往只覆盖单一层级冲突（如系统与用户的直接冲突），或仅改造公开数据集，缺
SecDrift: Measuring Sector-Conditioned Security Drift in AI-Generated Code
该论文提出了SecDrift基准测试，用于测量大语言模型（LLM）在生成代码时，针对不同行业领域的提示（如关键基础设施）相对于中性基线所产生的安全性漂移。作者从CISA定义的8个关键基础设施行业和9个CWE漏洞类别出发，对7个LLM（其中6
When LLM Defenses Backfire: Characterizing Safety, Performance, and Cost Trade-offs
本文系统性地研究了大型语言模型（LLM）的越狱防御措施在安全性、性能和成本之间的权衡。作者指出，防御措施在提升安全性的同时，可能引入二次代价，例如降低模型实用性、对良性输入过度拒绝以及增加推理开销。与以往将防御视为单一类别不同，本文根据操作
EXE-Bench: Ranking the Tradeoffs of AI-based Windows Malware Detectors for Real-World Usability
该论文指出现有基于AI的Windows恶意软件检测器缺乏系统性的评估方法，导致无法确定哪种模型适合实际部署。现有评估存在四个主要缺陷：1）训练和测试数据不统一；2）未考虑时间维度，无法检验模型随时间推移的性能衰减；3）缺少对抗攻击下的安全性
ContainmentBench: Trace-Based Evaluation of Post-Injection Containment in Tool-Using LLM Agents
本文提出ContainmentBench，一个基于轨迹的基准测试，用于评估使用工具的LLM代理在遭受提示注入后的遏制能力。现有的评估通常只关注端点安全（如是否达成攻击目标或策略违规），但相同端点结果可能掩盖不同的暴露后轨迹和授权效用损失。C
ReCon: A Resource-Constrained Benchmark for LLM-Based Cybersecurity Compliance Across Ingestion and Retrieval Pipelines
本文提出 ReCon，一个专为基于大语言模型（LLM）的网络安全合规检查设计的资源受限基准测试。随着网络威胁日益严峻，政府和企业的信息安全与网络安全实施受到严格监管，治理失败被认为是导致网络安全态势弱化的主要原因之一。信息安全治理的关键组成
CryptanalysisBench: Can LLMs do Cryptanalysis?
该论文提出了CryptanalysisBench，一个用于评估大型语言模型（LLM）进行密码分析能力的基准测试。密码分析旨在寻找密码方案的攻击方法，涉及数学推理和网络安全，而LLM在这两个领域发展迅速。基准包含191个任务，覆盖六类密码原语