ECLIPSE: Self-Evolving Stealthy Prompt Injection Attack against Long-Horizon Agentic Systems
本文针对 LLM 智能体（如 Codex、Claude Code 等）在长周期任务中通过多步工具调用带来的新型提示注入风险，提出了一种自进化、隐蔽的提示注入框架 ECLIPSE。现有攻击要么把恶意目标放在一条显式指令中容易检测，要么将意图分
#benchmark
共收录 180 条相关情报。
← 返回所有主题DPImageBench: A Unified Benchmark for Differentially Private Image Synthesis.
本文针对差分隐私（DP）图像合成领域日益凸显的评估协议不一致、甚至存在缺陷的问题，提出了一个统一基准平台 DPImageBench。研究背景是：DP 图像合成旨在生成既能保留敏感图像数据集统计特性、又能保护单张图像隐私的人工图像，但不同研究
SpatialTrust: A Benchmark for Environmental Risk Recognition in Secure Authentication
该论文提出 SpatialTrust，一个面向安全认证场景中环境风险识别能力评估的多模态大语言模型（MLLM）问答基准。研究背景是：在安全认证过程中，用户周围环境可能泄露敏感信息或引入潜在安全风险（如屏幕内容被旁观者看到、摄像头拍到隐私区域
Benchmark Contamination: A Taxonomy Organized by Defeated Mitigation
该论文提出了一种以'被击败的缓解措施'为组织维度的基准污染（benchmark contamination）分类法，旨在解决当前排行榜分数中模型能力与数据泄漏在观测上难以区分的问题。作者指出现有污染分类法主要用于自动化检测，但未能回答发布者
LongPIBench: A Long-Context Benchmark for Prompt Injection
本文提出 LongPIBench，一个专门面向长上下文场景的提示注入攻击基准。当前已有的提示注入基准大多只覆盖短输入，无法反映真实应用中长上下文条件下的安全风险，导致对现有防御方案有效性的高估。为弥补这一空白，作者设计了覆盖四种真实应用场景
The Impact of Magma: A Ground-Truth Fuzzing Benchmark
Magma 是一个开源、基于地面真值（ground-truth）的模糊测试基准测试工具，旨在为模糊测试器的评估和比较提供统一的标准。该基准最初于 2021 年 ACM SIGMETRICS 会议上随研究论文发布，本文作为一篇短文，阐述了 M
GraftyVul: Synthesising Insecure Programs Through Real-World Vulnerability Grafting
本文提出了 GraftyVul，一个通过将真实世界漏洞“嫁接”到开源项目中来自动构造含漏洞程序的数据集生成系统。现有漏洞数据集通常难以同时满足多样性（语言和漏洞类型）、可复现性与可执行性以及真实性这三项要求：部分数据集使用人工构造或合成代码
Beyond F1: Evaluating Coverage and Failure Recovery in AI Model Security Scanners
近年来，机器学习工件的安全性日益受到关注，特别是Pickle和PyTorch等格式可能嵌入恶意代码，静态安全扫描器（如ModelScan、ModelAudit和Fickling）被用于检测这些工件中的可执行或危险内容。然而，传统的评估指标（
The Guard That Cried Wolf: How Scary Words Make Agent Guardrails Refuse Legitimate Actions
该论文聚焦于 LLM 代理系统中的护栏（guardrails）过度安全（over-safety）问题。护栏在 LLM 执行每个操作前进行批准或拒绝，然而它们有时会拒绝本应安全的授权操作，这种过度保守的行为会阻碍系统在真实场景中的部署。论文指
Unsaid, Unsafe? Implicit Security Obligations in LLM-Based RTL Code Generation
该论文针对大语言模型（LLM）生成的寄存器传输级（RTL）代码的安全性展开研究。与软件代码不同，RTL 代码一旦流片（tape-out）到硅片上便无法修补安全漏洞，因此其安全性至关重要。现有研究主要关注 LLM 生成软件代码的安全问题，而
IoMT-SecAlarmBench: A Counterfactual Benchmark for Integrity Attacks in IoMT
本文介绍了 IoMT-SecAlarmBench，一个面向医疗物联网（IoMT）完整性攻击的反事实基准测试。IoMT 将临床生理数据与网络系统信息结合，使得判断异常读数究竟代表真实生理事件、设备故障还是网络攻击变得极具挑战性。要回答这一问题
How Do LLM Agents Actually Get the Flag? Trace-Level Provenance for Agentic Offensive Security Evaluation
该论文针对当前基于CTF（夺旗）基准评估大语言模型（LLM）智能体攻防能力时存在的评估浅层化问题展开研究。现有评估通常仅依赖二值化的成功/失败判断或聚合分数，忽略了智能体从初始状态到达flag的完整轨迹，导致真实漏洞利用行为与直接暴露fla
From Verdict to Diagnosis: Attributable Security Review of Pull Requests
本文针对自动化代码审查工具在拉取请求（PR）安全把关中的评估缺陷展开了研究。作者指出，现有的评估指标只关注审查器是否“阻止”了恶意PR，却忽略了阻止的原因可能与该PR真正存在的漏洞无关。这种“审查结论”与“缺陷诊断”之间的不一致被称为Ver
MMJailBench: A Factorized Benchmark for Disentangling Multimodal Jailbreak Vulnerabilities
MMJailBench 是一个用于解耦多模态大语言模型（MLLM）越狱漏洞成因的因子化基准。现有越狱基准通常将有害意图、提示框架、视觉语义和指令载体混合在单个越狱样例中，导致无法准确定位漏洞的具体来源。MMJailBench 通过系统化地变
FuzzingBrain-Bench V1: Evaluating Open-Ended Bug Discovery by LLMs
大型语言模型（LLM）在软件漏洞发现中的应用日益受到关注，但现有评估基准通常要求模型生成针对预定义目标的 PoC 输入，这种方式可能忽略模型发现的、与预期目标不一致但确属有效的崩溃，从而低估模型真实能力。针对这一问题，本文提出了 Fuzzi
BeTaL-GBI: Admission-Aware Benchmark Tuning and Full-Stack Verification of Geometric Belief Interfaces
本文提出 BeTaL-GBI，一个面向“几何信念接口”（Geometric Belief Interfaces）的可信验证基座，核心目标是让企业级验证架构不仅能检查模型输出，还能暴露自身声明中的错误。作者首先指出先前版本 GBI-DCSE
BackDFL: A Unified Benchmark For Backdoor Attacks and Defenses In Decentralized Federated Learning
去中心化联邦学习（DFL）通过点对点模型交换替代中心化参数服务器，旨在实现无需信任的协作学习。然而，这种架构转变从根本上重塑了威胁模型：由于缺乏全局协调的聚合机制，DFL特别容易受到后门攻击的影响——恶意参与者可以在保持干净任务性能的同时植
MaliciousSkillBench: A Comprehensive Benchmark for Malicious Agent Skill Detection
该论文提出 MaliciousSkillBench，一个专门用于恶意 Agent Skill 检测的综合基准。Agent Skills 为大型语言模型代理提供可重用的指令包，并可能包含脚本、资源和服务配置，这为恶意行为创造了直接的分发渠道。
IriSig-Spoof: A Real-World Benchmark for Time-Robust Satellite RF Fingerprinting and Spoofing Detection
该论文针对低地球轨道（LEO）卫星互联网面临的安全威胁，特别是卫星冒充和信号欺骗问题，提出并构建了一个真实的基准数据集 IriSig-Spoof。LEO 卫星通信已成为关键基础设施，但其开放无线链路易受攻击。射频指纹（RFF）技术通过利用发
Benchmarking Automated Security Patch Backporting: How Far Are We?
该论文研究了自动化安全补丁回溯移植（backporting）这一关键问题。安全补丁回溯移植是指将针对新版本软件的安全修复代码移植到旧版本或不同分支，以缓解N-day漏洞。以往研究的工具在各自数据集上宣称成功率超过80%，但这些评估往往局限于