SEC-bench Pro: Can Language Models Solve Long-Horizon Software Security Tasks?
大型语言模型（LLM）已开始支持自动化软件安全任务，如漏洞发现和概念验证（PoC）生成。然而，现有基准测试依赖模糊测试框架、目标特定描述或漏洞复现任务，未能真实评估LLM在实际漏洞挖掘场景中的表现。为此，本文提出了SEC-bench Pro
#benchmark
共收录 180 条相关情报。
← 返回所有主题Are Frontier LLMs Ready for Cybersecurity? Evidence for Vertical Foundation Models from Dual-Mode Vulnerability Benchmarks
本文评估了前沿大语言模型（LLM）在网络安全任务中的实际能力，通过构建双模式基准测试：白盒函数级漏洞检测（VulnLLM-R，涵盖C/Java/Python）和黑盒Web应用安全测试（五个生产风格的应用，包含118个真实漏洞，覆盖20多个C
Measuring Security Without Fooling Ourselves: Why Benchmarking Agents Is Hard
本文聚焦于评估AI智能体在安全关键角色中的基准测试所面临的严重缺陷。作者基于最新实证证据，总结了三大核心挑战：基准漏洞（benchmark vulnerabilities）、时间陈旧性（temporal staleness）和运行时不确定性
Benchmarking Autonomous Agents against Temporal, Spatial, and Semantic Evasions
本文针对基于大型语言模型（LLM）的自主智能体系统（如OpenClaw）中存在的安全漏洞进行了深入研究。现有漏洞分析大多集中在单轮、无状态的行为上，忽略了有状态多轮交互和动态工具调用带来的扩展攻击面。为此，作者提出了一种多维度逃避框架，包含
LLM Benchmark Datasets Should Be Contamination-Resistant
本文探讨了大型语言模型（LLM）基准数据集被预训练语料库污染的问题。污染导致基准数据集无法可靠衡量模型的泛化能力。作者提出基准数据集应具有“抗污染”特性，即数据集对训练不可学习（unlearnable），但支持推理（inference）。为
RoboJailBench: Benchmarking Adversarial Attacks and Defenses in Embodied Robotic Agents
本文提出 RoboJailBench，一个针对具身机器人中对抗性攻击与防御的标准化基准测试框架。研究背景：随着视觉语言模型（VLM）被集成到机器人、自动驾驶等物理平台，这类具身AI系统面临新型安全威胁。先前的攻击与防御研究依赖临时数据集、有
Overeager Coding Agents: Measuring Out-of-Scope Actions on Benign Tasks
该论文研究了编码代理（coding agents）在执行良性用户请求时可能产生“过度动作”（overeager actions）的问题。编码代理通常被赋予shell、文件、网络等高级权限，当用户提出一个看似无害的任务（如修改代码）时，代理有
LivePI: More Realistic Benchmarking of Agents Against Indirect Prompt Injectio
该论文提出了 LivePI（Live Prompt Injection），一个针对 AI agent 间接提示注入风险的基准测试框架。随着 OpenClaw 等 AI agent 被部署在本地工作流中并访问外部工具，间接提示注入（IPI）风
ExploitBench: A Capability Ladder Benchmark for LLM Cybersecurity Agents
该论文提出了 ExploitBench，一个能力阶梯式基准测试，用于评估 LLM 驱动的网络安全代理的漏洞利用能力。现有 LLM 安全基准通常将崩溃视为利用成功，忽略了从触发漏洞到构建原语、控制流劫持、任意代码执行等关键步骤。作者将利用过程
AgentTrap: Measuring Runtime Trust Failures in Third-Party Agent Skills
本文针对大型语言模型（LLM）智能体在使用第三方技能时面临的运行时信任失效问题展开研究。第三方技能将自然语言指令、辅助脚本、模板、文档和服务配置打包成可复用的工作流，极大提升了智能体的能力，但也引入了新的安全风险：恶意技能无需直接要求模型执
Code-Centric Detection of Vulnerability-Fixing Commits: A Unified Benchmark and Empirical Study
本研究针对漏洞修复提交（VFC）的自动化检测问题进行了系统性的实证评估。背景是：安全补丁部署的及时性至关重要，但官方漏洞建议库（advisory databases）平均比补丁发布延迟25天，且许多修复从未被收录为建议。当前该领域存在超过2
Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack
该论文聚焦于AI智能体（agent）基准测试的安全性，指出基准测试已成为衡量前沿AI能力的事实标准，但奖励黑客（reward hacking）行为——即智能体通过非预期方式最大化分数而不执行真正任务——会自发出现，且不依赖过拟合。作者认为基
No More, No Less: Task Alignment in Terminal Agents
该论文提出了任务对齐基准（TAB），用于评估终端代理在自主执行复杂、长期任务时，是否能够区分环境中的相关指令与无关干扰。现有基准无法捕获这种能力：代理可能盲目遵循所有指令而显得胜任，或忽略所有指令而显得鲁棒。TAB 基于 Terminal-
LITMUS: Benchmarking Behavioral Jailbreaks of LLM Agents in Real OS Environments
LITMUS 是一个针对基于 LLM 的自主智能体在真实操作系统环境中的行为安全性的基准测试平台。现有基准大多仅在语义层评估安全性，忽略了物理层的危害，并且测试用例之间缺乏隔离，导致污染问题。LITMUS 通过语义-物理双重验证机制和 OS
Stego Battlefield: Evaluating Image Steganography Attacks and Steganalysis Defenses
该论文提出了SADBench，一个系统性的基准测试框架，旨在统一评估图像隐写攻击与隐写分析防御的能力。研究背景指出，图像隐写虽广泛用于隐私保护和隐蔽通信，但也可能被对手滥用作隐蔽通道，以绕过内容审核、传播有害语义，甚至在图像中隐藏恶意指令以
MOSAIC-Bench: Measuring Compositional Vulnerability Induction in Coding Agents
本文提出 MOSAIC-Bench (Malicious Objectives Sequenced As Innocuous Compliance) 基准测试，用于评估编码代理在分解为常规工程工单时诱导组合漏洞的能力。现有安全对齐方法通常仅
A Validated Prompt Bank for Malicious Code Generation: Separating Executable Weapons from Security Knowledge in 1,554 Consensus-Labeled Prompts
现有针对语言模型在恶意代码生成任务上的拒绝行为评测基准，常常将“请求生成可执行恶意软件”与“请求有害安全知识”混为一谈。这种混淆会导致两种请求类型在安全对齐模型中触发不同的拒绝路径，而基于混合提示计算出的单一拒绝率无法单独衡量任何一类。本文
REBENCH: A Procedural, Fair-by-Construction Benchmark for LLMs on Stripped-Binary Types and Names (Extended Version)
该论文提出了 REBENCH，一个用于评估大型语言模型（LLM）在二进制逆向工程任务中性能的标准化基准数据集。当前，LLM 在计算机安全领域，尤其是逆向工程中的函数名恢复、变量名恢复和类型推断等任务上取得了显著进展。然而，由于缺乏标准化的数
GAMMAF: A Common Framework for Graph-Based Anomaly Monitoring Benchmarking in LLM Multi-Agent Systems
该论文针对大型语言模型（LLM）在多智能体系统（MAS）中集成所带来的安全挑战，提出了一种名为Gammaf（Graph-based Anomaly Monitoring for LLM Multi-Agent systems Framewo
CrossCommitVuln-Bench: A Dataset of Multi-Commit Python Vulnerabilities Invisible to Per-Commit Static Analysis
介绍了一个跨多个提交引入的Python漏洞基准，揭示了每次提交静态分析工具检测率极低（13%），表明现有SAST对这类漏洞几乎无效。