MobileWorldSafety: Benchmarking GUI Agent Safety Against Environmental Injection Attacks in Android Apps
本文提出 MobileWorldSafety，一个专门用于评估 Android 图形用户界面（GUI）智能体在环境注入攻击下安全性的基准测试。随着大语言模型（LLM）驱动的 GUI 智能体从研究原型走向真实部署，它们需要处理大量不可信的外部
#benchmark
共收录 180 条相关情报。
← 返回所有主题HarnessRisk: A Lifecycle-Oriented Benchmark for Agent Harness Safety
本文提出HarnessRisk，一个面向大语言模型（LLM）代理工具（agent harness）安全性的生命周期导向基准。研究背景：LLM越来越多地通过代理工具部署，这些工具负责管理工具调用、扩展、持久状态、权限和外部动作。现有安全基准大
Fair ASR: Re-Evaluating Black-Box Jailbreaks under Shared Target-Call Budgets
本文提出了一项针对大语言模型（LLM）越狱攻击评估方法的关键改进。当前大多数越狱研究仅以攻击成功率（ASR）作为唯一指标，忽略了攻击预算对结果的影响，导致不同攻击方法之间的比较缺乏公平性。已有的计算感知评估试图将异构资源统一折算为FLOPs
Benchmarking the Benchmarks: Evaluating Automated Safety Benchmarks for Small Language Models
这篇 arXiv 论文系统性地评估了现有自动化安全基准在小型语言模型（SLM）上的适用性与可靠性。研究背景是：SLM 正越来越多地被部署在资源受限、对隐私敏感的场合（如边缘设备、本地推理），其安全性和偏见问题可能引发实际的安全与社会风险。然
Benchmarking Quantum Machine Learning for Power-System Attack Detection: Evaluation Choices Decide the Outcome Before the Models Do
本论文针对电力系统网络攻击检测中的机器学习模型鲁棒性问题，系统评估了量子机器学习（QML）方案与传统经典模型在对抗环境下的表现，并提出一个关键方法论论点：评估者自身的选择会先于模型决定基准测试的结论。研究在公开的密西西比州立大学/ORNL
A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation
原则性监管（如“公平、清晰、不误导”或“提供良好结果”）属于评判性标准，无法简化为二元谓词。随着大型语言模型（LLM）被越来越多地用作裁判，其实际评估质量变得至关重要。本文提出，任何此类裁判都必须从四个维度进行评测：准确性（accuracy
Understanding Backdoor Vulnerabilities in Vertical Federated Learning: The Gap Between Research and Practice
垂直联邦学习（VFL）允许多个组织在不共享原始数据的前提下，基于同一组样本的不同特征协作训练模型。与水平联邦学习不同，VFL 中存在典型的非对称信息结构：发起方掌握学习任务定义（如标签），而参与方仅持有局部特征，这种结构顺应了日益增长的隐私
VICBench: A Multi-Language Benchmark for Code Vulnerability Detection
在软件安全领域，准确评估漏洞检测工具的效果高度依赖于包含“漏洞诱导提交”（Vulnerability-Inducing Commits, VIC）的基准数据集——即首次将漏洞引入代码库的提交。VIC 对于确定受影响的软件版本范围、追踪漏洞演
Cross-Corpus Evaluation of Generalizable Vulnerability Detection in IoT Firmware
本文针对物联网固件漏洞检测中的跨语料库泛化问题展开研究。当前领域面临固件生态异构、平台资源受限以及现有基准测试局限性等挑战，许多数据集为合成数据或通用数据，缺乏人工验证和污染筛查，导致模型跨语料库泛化能力缺少可靠证据。为填补这一空白，作者提
The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark
这篇论文针对 AI 智能体在网络安全领域的逆向工程（RE）能力评估问题，提出了一个全新且严格的基准测试 SRE-Bench。研究背景是：AI 智能体在源代码可用时已展现出强大的安全分析能力，但实际中许多关键软件（如恶意软件、固件、专有应用）
Analysis of Federated Aggregation under Model Poisoning and Backdoor Attacks: A Reconstructed Cross-Dataset and Cross-Architecture Benchmark
本文是一篇关于联邦学习中聚合方法在模型投毒与后门攻击下鲁棒性的系统性比较研究。作者重建了一个包含500个单元格的评估矩阵，覆盖五种聚合方法（如Trimmed Mean、Krum等）、五个数据集、五种模型架构，以及四种记录条件：干净环境、符号
Benchmarking Cyberattack Detection in Electric Vehicle Charging Infrastructure with Benign User Updates
电动汽车充电基础设施正日益成为网络攻击的目标，而合法的用户行为——如在充电激活后修改请求的充电能量和离开时间——与充电操纵攻击在界面上高度相似，这给攻击检测带来了独特挑战。现有方法往往将任何请求修改视为异常，导致高误报率，无法区分恶意操纵与
ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents
本文提出并构建了 ActBench，一个面向人机协作智能体（cowork agents）行为安全性的自进化基准测试。与以往仅关注模型最终回答安全性的评估不同，ActBench 从执行轨迹（execution trajectories）层面评
Who Verifies the Benchmark? Decentralizing Trust in Large Language Model Evaluation
本文研究大语言模型（LLM）基准测试中的信任与验证问题。当前模型厂商常自行公布基准成绩，但缺乏透明可验证的机制，导致市场与用户难以分辨真实性能。2025年1月27日，DeepSeek R1 未经证实的性能宣称引发市场恐慌，导致英伟达市值单日
HarnessSafe: Evaluating Safety Across Persistent Carriers in Agent Harnesses
该论文提出一个名为 HarnessSafe 的基准测试，聚焦于现代智能体 harness（agent harness）中持久化载体（persistent carriers）带来的延迟安全风险。现代智能体系统为了跨任务和会话保持状态，会使用内
StepJack: Benchmarking Computer-Use Agent Safety Against Multi-Step Indirect Prompt Injection
该论文针对计算机使用智能体（CUA）面临的一种新型安全威胁——多步间接提示注入攻击进行了系统研究。传统间接提示注入将恶意指令直接嵌入网页等环境数据中，而本文提出的多步攻击将单一恶意目标自动分解为多个看似无害的子步骤，并分布到智能体导航路径上
When Agents Learn to Be You: Benchmarking Privacy Leakage, Impersonation Risk, and Defenses in Persona Skills
该论文聚焦于大语言模型智能体中“人格技能（Persona Skills）”这一新型个性化机制的安全风险。人格技能将个人交互历史压缩为可移植、可执行的工件，供下游智能体复用。论文指出，这一过程将分散的个人信号集中化，并通过复用放大其影响，使传
DiagChain: A Diagnostic Benchmark for Evaluating LLM Agents on Evidence-Grounded Attack Chain Reconstruction
本文提出 DiagChain，一个面向大语言模型（LLM）智能体的诊断性基准测试，用于评估其在证据支撑下的攻击链重建能力。攻击链重建是网络安全中的关键任务，要求智能体从异构遥测数据中检索并解释证据，推断出有序的攻击者行为。现有基准大多只评估
FakeI2V-Bench: Benchmarking the Applicability of Image-level Deepfake Detectors for Deepfake Video Detection
近年来，视频生成模型的快速进步显著加剧了深度伪造（deepfake）威胁，然而现有的深度伪造视频检测基准仍不成熟，特别是图像级检测器在视频域中的有效性尚未得到系统性评估。为了填补这一空白，本文提出了FakeI2V-Bench基准，专门用于在
AI Security Leaderboard: Methodology, Results and Minimal Standard
本文提出了 FAR.AI 人工智能安全基准（AI Security Leaderboard）的首个版本，并详细介绍了其方法论、结果与最低标准（Minimal Standard for Safeguards, Version 1.0）。研究背