What Does It Mean to Forget a Person? Individual-Level Unlearning in Vision-Language Models
这篇论文关注视觉-语言模型(VLM)中的隐私删除问题,指出现有研究与评测体系存在一个关键盲区。作者认为,从 VLM 中抹除某个具体个人的身份信息,远比抹除单条属性困难,因为个人数据并非以孤立字段形式存储,而是跨图像、文本等多种模态相互纠缠、
#benchmark
共收录 180 条相关情报。
← 返回所有主题Trust the Brand, Lose Control: How Identity Hijacks LLM Agent Orchestration
该论文研究 LLM 智能体编排（orchestration）中的身份可信问题。当前 LLM 智能体已能端到端执行任务并拥有修改真实系统的权限，还常会调度能力与成本各异的子智能体。以往工作把「选哪个子智能体」当作优化问题，但作者指出：编排器实
AgentXploit: Autonomous Repository-to-Runtime Red-Teaming for AI Agents
该论文研究 AI Agent 在授权白盒、部署前审计场景下的安全性评估问题。作者指出，现代 AI Agent 将大语言模型与可修改文件、调用 API、执行代码的外部数据和工具结合，安全失效可能来自两个层面：一是外部对抗性内容改变了 Agen
JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models
该论文研究的是「面向校准决策的强化学习」(RLCD, reinforcement learning for calibrated decisions) 模型的对抗鲁棒性问题，代表模型是 Jev。这类模型与常规生成式模型不同：它接收输入(称为
PrivDrift: Auditing User-Secret Leakage Under Topic Drift in Active LLM Conversations
该论文（PrivDrift）关注一个在真实 LLM 部署中日益普遍但缺乏系统评估的隐私问题：当用户在持续会话中主动披露敏感信息后，这些信息是否会在话题转移之后仍可被后续提示"重新提取"出来。作者指出，当前 LLM 越来越多地以持久化助手的形
Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures
该论文研究的是「对齐失败检测器」这一模型安全评估环节。作者指出,现有的对齐检测主要有两类：一是生成式评判器（generative judge），每评估一条标准就要消耗一次完整的解码过程，成本高；二是读取 token 概率的分类器（如 Lla
On the Effectiveness of Kernel-Level Evidence for Agent Security
该论文聚焦于 LLM Agent 安全监测中的一个关键盲区：当前绝大多数 Agent 安全基准与防护方案都建立在应用层遥测之上，即所暴露的工具清单（tool manifest）、用户提示词以及模型消息序列。作者指出，这种单层视角存在结构性缺
Ajar: Measuring Open Privilege in Agent Defenses
该论文研究语言模型代理(LM Agent)的权限边界测量问题。Agent 只能通过被赋予的工具行动，而它在完成任务时读取的数据可能改变它对工具的调用方式，这正是间接提示注入的成因。因此近年来出现了一批安全执行技术，部署在 Agent 与工具
ACTS: A multi-tier benchmark evaluating LLM cipher identification under controlled blind conditions
ACTS(Artifacts in Cipher Testing Suite)是一个可复现的多层基准套件, 用于在受控盲测条件下评估大语言模型对密码算法/密文类型的识别能力。其研究动机是回答一个关键问题: LLM 在密码分析类任务上的高分,
Evaluating Coding Agents on Kernel Exploit Generation
该论文提出 KEX-bench，一个用于评估编码智能体（coding agents）在真实操作系统内核上生成「利用原语（exploit primitives）」能力的基准。研究动机在于：当前编码智能体已经能在生产软件中发现真实漏洞，但「发现
MobileCybench: Evaluating Agent Vulnerability Discovery via Executable Probes
该论文面向当前 AI 智能体大规模自动化挖掘漏洞、但其报告数量已超过维护者人工审核能力的现实困境，提出了一套「探针（probe）」驱动的漏洞报告评估框架。作者指出，智能体提交的漏洞报告往往依赖特定应用自身的安全属性（security pro
Agents That Edit Documents: Measuring Agentic PDF Forgery Against a Non-Agentic Control
该论文研究自主型 AI 智能体（agent）被用于文档造假的现实风险，并为此构建了评测基准 AgentForge-Bench。研究背景是：过去一年里，能够独立完成多步计算机任务的智能体已成为常规工具，而这种自主性对抱持恶意目的的用户同样可用
Connecting the Dots in Agentic AI Security: A Cross-Dimensional Threat Taxonomy, Evaluation Maturity, and Open Challenges
该论文聚焦 agentic AI 带来的安全边界扩张问题。传统 LLM 安全主要关注生成内容本身，而具备自主性的智能体还要维护持久状态、执行自主动作、调用外部工具，并与人类及其他智能体交互，这使得威胁面从"输出内容"延伸到"状态—动作—工具
TRACTOR Benchmark for Evaluating C to Rust Translators
该论文介绍 DARPA「Translating All C to Rust (TRACTOR)」项目框架下的一套标准化评测基准。研究背景是:C 与 C++ 等内存不安全语言长期承载大量关键软件,缓冲区溢出、释放后使用等内存安全漏洞也随之成为
APort Vault: Benchmarking AI Agent Payment Authorization with the Open Agent Passport
该论文提出 APort Vault，一个面向工具使用型 AI 代理的支付授权基准。研究背景是：当 LLM 代理能够调用支付工具时，模型自身的策略遵循不足以保证资金只流向授权对象。作者在公开 CTF 活动中收集了人类编写的 4,371 条攻击
CESBench: Benchmarking Large Language Models on Cryptographic Engineering Security for IoT Devices
该论文针对物联网（IoT）设备密码工程安全领域缺少专用评测基准的空白，提出了 CESBench。研究背景在于：对 IoT 设备而言，仅有安全的密码算法远远不够——拥有物理接触能力的攻击者可以直接攻击实现本身（如侧信道、故障注入），而实现缺陷
NetInspector: Measuring and Improving LLM Capabilities for Reliable Intent-Based Networking Policy Generation
现代网络规模庞大且配置高度异构，依靠人工维护策略已越来越不可行。意图驱动网络（IBN）旨在把运维人员的高层目标自动翻译为底层设备配置，但现有 IBN 系统普遍依赖静态启发式规则和固定特征分类器，面对新服务定义、运维请求措辞演变等分布漂移时泛
ClashBench: Conflicts Leading Agents to Seize and Harm
随着智能体(Agent)系统被广泛部署，多个智能体会话越来越多地与用户既有的任务在同一环境中并行运行，彼此共享容量有限或状态互斥的资源（如端口、文件锁、显存、数据库连接、进程与服务等）。论文指出并形式化了一种此前未被系统研究的失效模式，作者
Trust, but Validate the Instrument: Auditing AI-Generated RTL Verification Plans on Authored Security-Regression Proxies
该论文研究 AI 生成 RTL 验证计划在硬件安全场景下的可信度问题。作者指出:大模型生成的验证计划即使通过了服务商(provider)的响应 schema 校验,也可能在进入可信执行环节时失败,即「schema 合规」不等于「执行有效」。
Closed-World Resolution Against Tool Hallucination in LLM Agents
该论文研究的是工具增强型 LLM Agent 中一个被现有方法系统性忽视的失效模式：模型会调用根本不存在的工具，并传入任何 schema 都未声明的参数（即工具幻觉）。作者指出这不是「工具选错」问题，也不是「权限过大」问题——现有防御分两类