AgentCyberRange: Benchmarking Frontier AI Systems in Realistic Cyber Ranges
论文提出了AgentCyberRange，第一个开放、多靶场的基础设施，用于在逼真的网络靶场中衡量前沿AI系统的自主网络攻击能力。该基准整合了15个真实Web应用程序中的110个漏洞，以及8个包含156个内部主机的企业级网络靶场，并提供了C
#benchmark
共收录 180 条相关情报。
← 返回所有主题Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents
大型语言模型驱动的Web代理（Web Agent）正越来越多地被部署在真实环境中，它们需要处理不可信的网页内容并执行具有直接后果的操作，因此容易受到提示注入攻击——看似良性的内容中嵌入对抗性指令以操纵代理行为。现有的安全基准采用“攻击中心”
MPC-Patch-Bench: Security-Aware LLM Code Patch for Multi-Party Computation
本文提出了 MPC-Patch-Bench，这是首个针对安全多方计算（MPC）软件的仓库级基准，用于评估大语言模型（LLM）的代码修复能力。当前缺乏此类基准，直接移植通用基准（如 SWE-bench）存在三大结构性缺陷：（1）MPC仓库中通
DPI Solutions in Practice: Benchmark and Comparison.
本文对四种主流开源深度包检测（DPI）解决方案——nDPI、Libprotoident、Tstat和Zeek——进行了全面的基准测试与比较。研究背景在于，DPI对于网络流量协议识别至关重要，广泛用于网络监控与安全应用。然而，由于缺乏统一的标
Benchmarking and Exploring the Capabilities of LLMs for Attack Investigations
本文提出了 AuditBench，一个新的基准数据集，用于评估大型语言模型（LLM）在安全相关系统审计日志调查中的能力。该基准涵盖超过50种不同的安全调查场景，包括恶意和良性活动，数据来源于Linux和Windows机器的系统审计日志。作者
MGTBench: Benchmarking Machine-Generated Text Detection.
本文提出了 MGTBench，一个用于评估机器生成文本 (MGT) 检测方法的统一基准测试框架。随着以 ChatGPT 为代表的大型语言模型 (LLM) 在文本分类、情感分析、翻译、问答等 NLP 任务中展现出强大能力，机器生成文本的检测变
Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops
该论文研究了终端智能体基准测试（如KernelBench、Terminal Bench）中奖励黑客攻击的问题。作者审计了5个终端智能体基准测试的1968个任务，发现其中323个（16%）可以被前沿模型仅通过任务描述就成功攻破，导致排行榜排名
MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills
AI 编码代理（如 Claude Code、Gemini CLI）通过第三方技能包扩展功能，这些技能包同时包含自然语言指令、可执行脚本和工具权限，构成了代码与指令混合的供应链依赖。现有检测工具从未在同时涵盖代码和指令的恶意技能 ground
What Your Posts Reveal: A Benchmark and Agentic Framework for User-Level Privacy Leakage on Social Media
该论文聚焦于社交媒体平台上用户级隐私泄露问题。现有研究缺乏统一的基准来评估多模态（文本、图像、元数据）隐私泄露，且衡量指标多为二元准确率，无法捕捉暴露严重程度。为此，作者基于Rednote和Instagram的私有参考语料库提炼泄露模式，构
GenTI: Benchmarking LLMs for Autonomous IDPS Rule Generation for Unseen Attacks
本文提出 GenTI（Generative Thread Intelligence）框架，旨在解决基于规则的入侵检测与防御系统（IDPS）在面对未知攻击时适应性不足的问题。传统的 IDPS 依赖人工编写的签名规则，难以应对新兴和零日威胁，且
Search-Time Contamination in Deep Research Agents: Measuring Performance Inflation in Public Benchmark Evaluation
本文系统研究了深度研究Agent在公共基准评测中因推理时进行网络搜索而引发的“搜索时污染”（Search-Time Contamination, STC）问题。STC是指Agent在回答问题时，通过Web搜索检索到基准测试的元数据、问题上下
CyberGym-E2E: Scalable Real-World Benchmark for AI Agents' End-to-End Cybersecurity Capabilities
该论文提出了 CyberGym-E2E，一个大规模、真实的端到端网络安全基准测试，旨在全面评估 AI 代理在软件漏洞发现、PoC 生成和补丁生成整个生命周期中的能力。现有 AI 安全评估在规模或范围上存在局限，未能捕捉真实世界漏洞发现和修复
Domain-Conditioned Safety in Frontier Computer-Using Agents: A 793-Episode Browser Benchmark, a Coding-Domain Cross-Reference, and a Reproducibility Audit of Recent Red-Teaming
本文针对近期计算机使用代理（CUA）领域的红队测试论文进行了可复现性审计。许多论文报告了提示注入攻击成功率（ASR）高达42-98%，但这些数字集中在已退役模型和每篇论文中最脆弱的模型上。作者提出了CUA-HandCrafted基准测试，包
SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents
本文提出SeClaw框架，旨在解决自主LLM智能体在状态化环境中面临的安全评估挑战。当前智能体可访问工具、文件、内存和外部服务，执行复杂工作流，但也引入新的安全风险。现有评估基准依赖人工构造任务，威胁覆盖有限，且仅关注最终结果而忽视导致不安
ContinuousBench: Can Differentially Private Synthetic Text Improve Capabilities?
差分隐私（DP）文本合成技术旨在通过生成合成数据来解锁敏感语料库，使其可用于模型训练，同时保护隐私。然而，现有评估基准存在重大局限性：它们使用的任务通常即使不经过训练也能近乎解决，因此强基准性能并不能证明DP合成数据能够替代原始数据访问。为
SABER: Benchmarking Operational Safety of LLM Coding Agents in Stateful Project Workspaces
随着大语言模型（LLM）越来越多地被用作编码代理（coding agents），安全问题从单个响应的安全性转移到操作序列的连续性。现有的安全基准主要评估模型是否拒绝不安全提示，而忽略了在状态化项目工作空间（stateful project
Benchmarking Security Risk Detection and Verification in Open Agentic Skill Ecosystems
本文针对开放智能体平台中社区贡献的技能（skills）带来的供应链安全风险，提出了一个两阶段安全审查基准——SkillVetBench。第一阶段对每个技能的自然语言规范进行语义审查，检测隐藏的恶意意图；第二阶段在沙箱中执行标记的技能以观察运
GEO-Bench: Benchmarking Ranking Manipulation in Generative Engine Optimization
大语言模型（LLM）越来越多地用于对用户查询的产品、文档和推荐进行排名，这使得操纵这些排名成为影响公平性和信息完整性的一个日益严重的问题。生成式引擎优化（GEO）领域的研究已经提出了许多操纵方法，但每种方法都在自己的数据集上使用自己的指标进
SCDBench: A Benchmark for LLM-Based Smart Contract Decompilers
智能合约反编译旨在从字节码恢复高级语言源代码，但现有评估方法存在数据集狭窄、指标不一致、语义一致性检查有限等问题。随着大型语言模型（LLMs）开始生成看似合理但语义可能偏离原始合约的Solidity代码，这一问题变得日益重要。本文提出SCD
Towards Cybersecurity SuperIntelligence (CSI): What's the best harness for cybersecurity?
该论文探讨了在网络安全人工智能中，哪种"支架"（harness）最为有效。当前网络安全智能体系统趋向于使用由大型语言模型（LLM）驱动的迭代shell循环作为单一执行支架，但不同支架之间缺乏互操作性和可替换性，且没有一种支架能在所有挑战类型