Adaptive Adversaries: A Multi-Turn, Multi-LLM Benchmark for LLM Agent Security
该论文提出一个针对LLM代理（agent）安全性的多轮自适应对抗攻击基准。现有安全评估通常使用固定的攻击池，在单轮或多轮场景下评估防御者，但忽略了攻击者能够根据防御者响应动态调整策略的能力。为此，作者构建了一个包含21个场景的基准，每个场景
#benchmark
共收录 180 条相关情报。
← 返回所有主题Measuring and Evaluating the Performance of Generative AI Models for Scam Detection
本文研究生成式AI模型（尤其是大语言模型，LLM）在在线诈骗检测中的性能。尽管LLM已被集成到多种安全产品（如邮件网关、浏览器扩展、欺诈监控面板）中，但业界普遍认为它们广泛适用于诈骗检测，却缺乏系统的实证评估。作者收集并整理了一个包含多种格
MAYA: Addressing Inconsistencies in Generative Password Guessing Through a Unified Benchmark.
本文针对生成式模型在密码猜测领域的应用所面临的评估不一致和方法论缺陷问题，提出了一个统一的、可定制的、即插即用的基准测试框架MAYA。该框架旨在系统地表征和评估针对拖网攻击（trawling attacks）的生成式密码猜测模型。研究团队重
On the Detectability of ChatGPT Content: Benchmarking, Methodology, and Evaluation through the Lens of Academic Writing.
随着ChatGPT等大型语言模型（LLMs）在学术写作中的广泛应用，如何检测LLM生成的内容成为学术界关注的焦点。本文系统研究了ChatGPT生成内容在学术文献中的可检测性，特别是科学论文摘要。作者首先构建了GPABench2基准数据集，包
VanillaBench: The Hidden Accuracy Cost of Adversarial Robustness
过去十年中，对抗鲁棒性研究产生了数百种防御模型，但文献几乎普遍孤立地报告鲁棒性结果：仅展示鲁棒模型的标准（干净）准确率和对抗准确率，而很少量化与对应普通模型（vanilla model）的差距。本文提出 VanillaBench，一个系统化
Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing
本文针对自主渗透测试领域的研究现状进行了深入分析。近期，许多自主渗透测试论文报告了高分基准结果，但这些系统通常在前沿大语言模型（LLM）周围添加了多组件的安全框架（harness）。由于这些系统同时改变了架构和骨干模型，很难区分性能提升来自
SV-TrustEval-C: Evaluating Structure and Semantic Reasoning in Large Language Models for Source Code Vulnerability Analysis.
该论文提出了一个名为 SV-TRUSTEVAL-C 的基准测试，用于评估大语言模型（LLM）在 C 语言源代码漏洞分析中的结构推理和语义推理能力。结构推理评估模型在不同数据流和控制流复杂度下识别代码元素间关系的能力；语义推理则检验模型在代码
Minionese: Comprehensive Benchmark and Mechanistic Study of Multilingual LLM Safety
该论文提出了一个名为Minionese的多语言大语言模型安全对齐基准测试，覆盖18种语言、4个资源层级和4种扰动类型（标准翻译、代码切换、音译、翻译腔）。研究发现，不同扰动类型会产生不同的安全漏洞轮廓：音译漏洞受文字系统身份影响，代码切换在
Security--Fidelity Tradeoffs: The Hidden Cost of Prompt Injection Defense
该论文揭示了在防御大型语言模型（LLM）免受间接提示注入攻击时存在安全性与保真度之间的固有权衡。传统攻击成功率指标无法区分模型忽略注入、将注入作为数据处理以及正确执行注入这三种情况，因此无法衡量保真度。为此，作者提出了SecFid基准测试，
Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens
该论文针对类似 Claw 的 AI 智能体（如 OpenClaw）的安全问题进行了系统研究。这类智能体是始终在线的进程，持续拥有对凭证、文件、工具和外部服务的访问权限，并承担安装软件包、维护状态、调度子任务、管理 I/O 等系统级职责，因此
SoK: Data Reconstruction Attacks Against Machine Learning Models: Definition, Metrics, and Benchmark.
本文是一篇系统化知识梳理（SoK）论文，聚焦于针对机器学习模型的数据重建攻击。数据重建攻击旨在通过有限访问权限恢复目标模型的训练数据集，近年来受到广泛关注。然而，该领域缺乏统一的攻击定义和评价指标，阻碍了研究进展。作者针对视觉领域提出了统一
Exploiting Task-Level Vulnerabilities: An Automatic Jailbreak Attack and Defense Benchmarking for LLMs.
该论文针对大型语言模型（LLM）面临的任务级越狱攻击威胁，提出了一种自动化的基准测试框架。研究首先系统性地定义了任务级漏洞的概念，即攻击者通过构造特定任务输入诱使LLM执行非预期行为。作者设计了一种基于对抗性提示生成的自动化攻击方法，能够在
CrypFormBench: Benchmarking Formal Analysis Capability of Large Language Models for Cryptographic Schemes
该论文提出了CrypFormBench，一个用于评估大型语言模型（LLM）在密码方案形式化分析能力的综合性基准。手动形式化分析密码方案需要大量专业知识和劳动力，虽然已有模型检测工具（如Scyther、Tamarin）和计算安全工具（如Cry
HelpBench: Assessing the Ability of LLMs to Provide Privacy, Safety, and Security Advice
本文提出了HelpBench，一个用于评估大型语言模型（LLM）在数字隐私、安全和安全建议方面提供准确帮助能力的基准测试。研究团队从真实用户场景中精选了450个问题，涵盖账户恢复、双因素认证权衡、可疑邮件识别、设备追踪等典型情境。针对每个问
LLM agent safety, multi-turn red-teaming, jailbreak benchmarks, adversarial robustness, safety-critical systems
本文提出了NRT-Bench，一个用于多轮红队测试LLM代理在安全关键系统中鲁棒性的基准。研究背景是LLM代理越来越多地被提议作为安全关键系统的监督组件，但它们在持续自适应对抗压力下的鲁棒性尚未充分表征。作者将场景实例化为一个模拟的核电站控
FFinRED: An Expert-Guided Benchmark Generation and Evaluation Framework for Financial LLM Red-Teaming
该论文提出了FFinRED，一个专家引导的金融领域大语言模型（LLM）红队测试基准生成与评估框架。现有安全基准主要针对通用对抗性场景，缺乏金融特有的风险（如监管违规、欺诈助长、系统性信任侵蚀）。FFinRED通过与金融专家合作，采用新颖的两
SafeClawBench: Separating Semantic, Audit-Evidence, and Sandbox Harm in Tool-Using LLM Agents
本文提出 SafeClawBench，一个专门用于评估工具使用型大语言模型（LLM）代理安全性的分阶段基准测试。现有安全评估通常将所有失败模式合并为一个攻击成功率指标，难以区分模型仅是同意了攻击者意图，还是实际产生了可观察的损害。SafeC
SkillVetBench: LLM-as-Judge for Multi-Dimensional Security Risk Evaluation in Open-Source LLM Agent Skills
随着开源LLM（大语言模型）智能体生态系统的迅速发展，社区贡献的“技能”（即模块化工具定义，用于扩展智能体能力）的安全性普遍缺乏审查。现有安全扫描器仅在代码层运行，对于指令层和多智能体层面的风险——例如通过自然语言指令劫持智能体、通过编码侧
AttackonCTF: Defending Hardware Security Competition Benchmarks in the Age of LLMs
该论文研究了大型语言模型（LLM）对硬件安全竞赛基准（如HackTheSilicon）有效性的威胁。作者发现，LLM并非基于真正的安全推理进行漏洞检测，而是利用了一种类似diff的语法比较策略，在基准上实现了83%的检测率，这严重破坏了公平
Snyk VulnBench JS 1.0: Can LLMs Find the Same Bugs Twice?
本研究旨在评估大型语言模型（LLM）在重复性漏洞检测任务中的表现一致性。研究者使用 Snyk VulnBench JS 1.0 基准测试，对同一份 JavaScript 代码、相同的提示词和测试框架进行了 300 次重复扫描，重点分析 GP