Attack Success Rate Is Not a Number: On Measurement Validity in Agentic AI Security Evaluation
该论文聚焦 LLM 智能体(agent)安全评测中最常被当作头条指标的“攻击成功率”(ASR),指出 ASR 并非单一数值,而是由六个设计选择共同参数化的一族指标;这些选择在论文中往往不被说明,更从未在整个文献中被统一固定。作者用两项无需专
共收录 7 条相关情报。
← 返回所有主题该论文聚焦 LLM 智能体(agent)安全评测中最常被当作头条指标的“攻击成功率”(ASR),指出 ASR 并非单一数值,而是由六个设计选择共同参数化的一族指标;这些选择在论文中往往不被说明,更从未在整个文献中被统一固定。作者用两项无需专
该论文对多模态深度伪造检测基础模型 Neural Defend ARCAS 1B 开展系统性基准评测,核心问题是:AI 生成图像技术的演进速度快于针对特定基准的检测器评测节奏,因此单一数据集上的一个分数无法完整刻画模型的泛化能力。作者在不对
该论文针对后量子密码(PQC)迁移与嵌入式系统轻量化虚拟化两条技术趋势的交汇点展开系统性测量研究。背景是:一方面 NIST 标准化的 PQC 算法正逐步进入实际部署,另一方面嵌入式/IoT 设备开始广泛采用容器、unikernel 等轻量虚
该论文聚焦于微架构侧信道攻击领域长期存在的基准测试(benchmarking)方法学问题。近年来,微架构侧信道研究快速增长,但评估实践却缺乏严格性和一致性。早期攻击论文通常依赖间接代理指标(如隐蔽信道带宽、对朴素AES/RSA实现的密钥恢复
本文针对量子软件安全度量缺失的问题,提出了“量子软件安全品质因数(Security Figures of Merit, S-FoMs)”的初步框架。研究背景是:量子软件日益通过多租户和云端的量子即服务(QaaS)栈交付,近年研究已展示出跨流
现代车辆通信网络的日益互联使得保护车内通信网络成为关键挑战。入侵检测系统(IDS)作为检测控制器局域网(CAN)总线恶意活动的防御机制被广泛研究。然而,由于实验设置不一致和缺乏标准化基准测试框架,CAN IDS 方法的评估仍然困难。因此,报
本文提出了 ToolPrivacyBench,一个用于评估使用工具的 LLM 智能体(Agent)在目的绑定隐私保护方面的基准。现有评估主要关注任务完成度和 API 正确性(如函数调用基准)或最终响应中的隐私泄露(如隐私判断基准),但忽略了