The Same Zero: Why Identical ASR Can Imply Different Guarantees in LLM-Agent Security
该论文指出当前 LLM 智能体（LLM-Agent）安全领域已积累大量防御手段——提示词加固（prompt hardening）、内容过滤、权限闸门、沙箱等——但缺乏统一框架告诉部署者一项防御究竟提供了什么保证、这种保证来自何处。作者引入「
#security-evaluation
共收录 15 条相关情报。
← 返回所有主题ReproBench: Benchmarking LLM Agents on Reproducing Vulnerability From Scratch
该论文关注大语言模型（LLM）代理在网络安全任务中的评测问题。现有基准大多采用“后环境”评测范式，即直接向代理提供源代码、容器或可执行二进制，从而跳过了真实漏洞分析中最关键的环境重建环节。作者提出核心问题：代理能否仅凭一个 CVE 编号，自
Evaluating System One Models for Agent Security Decisions: Reliability, Calibration, and Selective Automation
该论文研究的是"基于模型的判别器"(model-based judges)能否可靠支撑智能体的自动化安全决策。背景是:LLM 智能体在运行中需要实时判断外部输入是否包含提示注入、是否带来交互风险、是否为有害请求。所谓 System One
Where Cyber Agents Struggle: Bottleneck Analysis of Multi-Stage LLM Agents
该论文针对多阶段 LLM 网络代理（multi-stage LLM-based cyber agents）的评测方法提出批评与改进：仅看任务成功率会掩盖代理的低效、依赖重试的适应性，以及对执行证据的错误解读。作者对一个“自主对抗代理”系统做
Towards Standardized Evaluation of GPU Memory Safety with GMSBench
随着GPU在高性能计算与机器学习中的普及，GPU程序的内存安全性已成为保障可靠与安全执行的关键。然而，现有研究普遍缺乏一套全面且标准化的基准来评估GPU内存安全技术的有效性。针对这一空白，本文提出了GMSBench——一个面向GPU内存安全
Evaluation of Adversarial Robustness in Arabic Language Models
这篇论文系统评估了五种最先进的阿拉伯语大语言模型在多种对抗攻击下的鲁棒性，并探索了基于对抗训练的防御方法。研究背景是：随着阿拉伯语模型能力的提升，它们面临的安全风险也随之增加，其中对抗攻击可以使模型产生错误预测，造成严重的安全和伦理问题。作
Towards an Automated Test of LLM Security Knowledge
本文提出一种部分自动化方法，用于评估大型语言模型（LLM）在特定安全领域中的知识水平。当前评估LLM安全知识的方法主要依赖人工构建挑战题集或任务基准，这些方式需要大量专业知识和手动工作。作者利用消费者保护机构（CPAs）发布的权威信息，通过
MAYA: Addressing Inconsistencies in Generative Password Guessing Through a Unified Benchmark.
本文针对生成式模型在密码猜测领域的应用所面临的评估不一致和方法论缺陷问题，提出了一个统一的、可定制的、即插即用的基准测试框架MAYA。该框架旨在系统地表征和评估针对拖网攻击（trawling attacks）的生成式密码猜测模型。研究团队重
SafeClawBench: Separating Semantic, Audit-Evidence, and Sandbox Harm in Tool-Using LLM Agents
本文提出 SafeClawBench，一个专门用于评估工具使用型大语言模型（LLM）代理安全性的分阶段基准测试。现有安全评估通常将所有失败模式合并为一个攻击成功率指标，难以区分模型仅是同意了攻击者意图，还是实际产生了可观察的损害。SafeC
AgentCanary: A Security Evaluation Framework for Autonomous AI Agents in Real Executable Environments
随着自主AI智能体从对话式交互转向任务执行，安全威胁也从文本欺骗升级为系统破坏。现有安全评估工作面临三大瓶颈：风险覆盖碎片化（缺乏系统性分类）、执行环境静态或低保真（无法模拟真实多步交互）、评估指标单一粗粒度（仅考虑最终结果忽略过程安全）。
Beyond Pass/Fail: Using Process Mining to Understand How LLMs Resist (and Fail) Red Team Attacks
这篇论文提出了一种新的方法来评估大型语言模型（LLM）在面对红队攻击时的鲁棒性。传统的评估方法通常只使用攻击成功率（ASR）这一单一指标，将多次攻击简化为一个二元结果，忽略了模型在攻击过程中如何逐步抵抗或屈服的结构化行为。作者创新性地将过程
The Surface You Test Is Not the Surface That Breaks
该论文研究了工具增强型大语言模型（LLM）代理在面临提示注入攻击时的安全性问题。现有评估通常仅关注单一攻击表面（如工具输出）并报告一个固定的攻击成功率（ASR），但作者指出工具描述（tool descriptions）是另一个被忽视的攻击表
An Empirical Evaluation of LLM-Generated Code Security Across Prompting Methods
本研究针对大型语言模型（LLM）在自动代码生成中存在的安全问题，进行了全面的实证评估。尽管LLM显著提升了软件开发效率，但其生成的代码常因忽略关键安全考量（如弱加密、输入验证不当）而存在漏洞。作者选取了五种LLM和四种编程语言（Java、C
From Controlled to the Wild: Evaluation of Pentesting Agents for the Real-World
本文提出了一种面向真实世界场景的AI渗透测试代理评估协议。现有基准测试（如夺旗、远程代码执行、漏洞复现、轨迹相似度等）通常在简化或狭窄环境中评估代理，无法充分体现真实渗透测试中的复杂性、开放性探索和战略决策需求。作者设计的新协议将评估从任务
Threat-Oriented Digital Twinning for Security Evaluation of Autonomous Platforms
该论文针对开放、非密的安全自主研究受限于无法接触实际作战平台、受争议通信基础设施和代表性对抗测试条件的问题，提出了一种面向威胁的数字孪生方法，用于对具备学习能力的自主平台进行网络安全评估。该方法被实例化为一套开源、模块化的数字孪生系统，模拟