AgentLSD: Evaluating AI Security Agents Under Adversarial Task Contamination
该论文研究 AI 安全智能体在「对抗性任务污染」(adversarial task contamination) 下的表现。作者指出，用于安全任务的智能体会读取网页、源代码、日志、配置文件与命令输出，而这些环境本身可能被植入具有欺骗性的证据
#benchmark
共收录 180 条相关情报。
← 返回所有主题ASLEval: Measuring Privacy Exposure Displacement in LLM Agent Sessions
该论文关注工具调用型 LLM 智能体（tool-using LLM agent）的隐私评估方法学缺陷。现有评估通常只检查某个被指定的动作、最终回复或攻击者报告，这类局部代理（local proxy）在多步会话中容易漏掉发生在其他位置的未授权
Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale
随着语言模型代理越来越多地被用于处理完整软件仓库，现有网络安全评测多聚焦于代理能否检测、复现或修复漏洞，却很少衡量它们能否真正“定位”到相关代码。本文提出“漏洞定位（vulnerability localization）”这一任务：给定一个
PIDS-Bench: Evaluating Prompt-Injection Detectors Under Over-Defense, Obfuscation, and Distribution Shift
提示注入(prompt injection)检测器目前普遍以分布内测试集上的聚合 F1 作为主要评价指标,这种做法掩盖了模型在分布偏移下的真实行为,尤其是决策边界的良性一侧:误报会直接产生运维成本(告警疲劳、正常业务被拦截),却往往没有被单
CS-Guard: Benchmarking LLM Guardrails for Code Generation Security
该论文提出 CS-Guard——据作者所述是首个系统性评估「代码生成安全护栏（guardrail）」的基准测试框架。研究背景是：大语言模型已被滥用于生成恶意软件，但现有护栏在代码生成场景下的实际防护效果缺乏系统量化。CS-Guard 从两个
An Experimental Evaluation of Multimodal Prompt Injection Attacks on Agentic AI Frameworks
该论文研究面向智能体（Agentic）AI 框架的多模态提示注入攻击，并给出一套可复现的量化评测基准。背景是：当前智能体框架让大语言模型不仅能推理，还能制定计划、保存记忆并调用工具，进而触达真实文件系统、邮件与服务；同时多数智能体具备读图能
PrivEscalate: Measuring and Augmenting the Threat of LLM-Automated Linux Privilege Escalation
该论文关注一个被低估的攻防测量问题：随着 LLM 智能体被越来越多地用于自动化攻击链的后渗透环节，它们在复杂本地提权任务中的实际能力究竟如何，此前缺乏可执行验证下的大规模量化证据。作者指出，已有针对 Linux 提权任务的评测普遍存在样本量
Towards Standardized Evaluation of GPU Memory Safety with GMSBench
随着GPU在高性能计算与机器学习中的普及，GPU程序的内存安全性已成为保障可靠与安全执行的关键。然而，现有研究普遍缺乏一套全面且标准化的基准来评估GPU内存安全技术的有效性。针对这一空白，本文提出了GMSBench——一个面向GPU内存安全
Benchmark Scores Are Pipeline-Dependent: A Reliability Audit of Cybersecurity LLM Benchmarks
本文对网络安全领域的大语言模型（LLM）基准测试的可靠性进行了系统性审计，指出基准分数并非固定不变，而是高度依赖于评估管道的具体配置。作者将八个网络安全基准测试视为测量管道，并选取了十个模型（包括商业专有模型、开放权重模型和网络安全专用模型
VEX-Bench: Benchmarking LLM Agents for Assessing Exploitability of Software Supply Chain Vulnerabilities
软件供应链已成为日益暴露的攻击面，原因是其依赖关系复杂而脆弱。现有的防御工具（如 GitHub Dependabot）常常产生大量误报，因为它们的粗粒度匹配无法确定易受攻击的依赖项是否真正可利用。安全分析师通常需要花费大量时间逐案评估漏洞可
Benchmarking LLMs for Threat Level Determination
本文研究了大型语言模型（LLM）在网络威胁情报（CTI）运营任务中的可靠性，具体聚焦于“威胁等级判定”这一子任务。随着LLM的快速发展，其在安全运营中被视为潜在的自动化辅助工具，但其实际决策能力尚未得到充分验证。作者首先从公开的MISP O
CIPHER: Benchmarking Cross-record Inference over Privacy-Hardened Evidence Records
CIPHER 是一个面向隐私脱敏证据记录上的跨记录推理基准测试。在金融、医疗和执法等真实场景中，推理往往需要同时结合结构化属性（如表格字段）与自由文本叙述中的非结构化证据，而隐私保护措施（如脱敏、替换）会进一步增加推理难度。现有数据集大多只
MOLE: Detecting Insider Threats in AI Agents
该论文提出了 MOLE（Monitoring for Insider Threats in AI Agents），一个用于评估防御方能否在 AI Agent 操作的高权限账户中检测内部威胁的开源基准。研究背景是：模型未对齐、提示注入或操作者
SCRIPTIOC-BENCH: A Benchmark for Recognizing Actionable Threat Intelligence from Script-Based Malware using LLMs
论文提出 SCRIPTIOC-BENCH，一个用于衡量大语言模型（LLM）从基于脚本的恶意软件中静态提取可操作威胁情报（IOC）能力的基准。脚本型恶意软件（如 JavaScript、PowerShell、VBScript）仍然是常见的攻击手
TIER: Threat Implicitness Benchmark for Evaluating LLM Safety Behaviors
TIER（Threat Implicitness Benchmark）是一个针对大语言模型（LLM）行为安全评估的新型基准。当前主流的安全基准大多依赖二元指标（如拒绝或遵从），忽略了模型在面对不同威胁隐含程度的恶意提示时的行为差异。TIER
PatchBench: Evaluating AI Agents for Vulnerability Patching
本文针对基于大语言模型的AI智能体在自动化漏洞修复评估中存在的效度威胁问题开展研究。作者指出，现有评估方法通常仅通过让补丁接受原始PoC（概念验证）输入不再触发崩溃来判定补丁有效，但这种验证方式存在两个主要缺陷：一是智能体可能直接复现历史开
Counter-GEO-Bench: Evaluating Defenses Against Information-Distorting Generative Engine Optimization
生成式引擎优化（GEO）是一种通过操纵网页内容来提升其在生成式搜索引擎中可见度的技术，类似针对传统搜索引擎的SEO。然而，该技术可被攻击者滥用：他们制作看似普通但经过特殊优化的文档，当受攻击的大语言模型（LLM）在检索增强生成过程中获取并综
Who Judges the Judges? A Chinese Safety QA Benchmark for Evaluating LLM Responses and Safety Judges
本文提出了 C-SafeQA，一个面向中文场景、以策略为锚定的响应级安全评估基准。现有 LLM 安全基准大多只评估用户查询本身的风险，但实际问答结果是否违规取决于模型响应是否违反安全策略。作者认为在中文有害内容评估中，语言多样性和对抗性改写
MultiGait: A Multi-Sensor Multi-Perspective Multi-Session Biometric Inference Benchmark and its Dataset
MultiGait 论文针对智慧城市新兴传感器（热成像相机、深度相机、激光雷达等）缺乏合适数据集、难以系统评估其隐私风险的问题，构建了首个多传感器、多视角、多会话的步态数据集，并形成了一套身份推断基准。作者认为，在大量关于传感器隐私影响的未
Same Request, Different Boundary: Evaluating Cybersecurity Assistance across Conversational Contexts
本文针对大型语言模型（LLM）在网络安全领域的安全辅助边界问题展开研究。LLM 能够解决复杂问题，但在高风险领域的滥用可能造成严重后果，因此模型提供商通常会对潜在有害请求加以限制。然而，一刀切地拒绝所有网络安全请求会损害合法防御者的利益，因