Threat-Preserving Representation Sensitivity in Agent-Security Benchmarks
Security benchmarks for LLM-based agents often report the attack success rate (ASR) as a measure of model robustness and
#cs.AI
共收录 1652 条相关情报。
← 返回所有主题Reasoning Models Are Accurate but Unsound on Identification
A reasoning model asked whether a causal effect is recoverable from observational data can fail in two ways: it refuses
Certified Mechanistic Edits: Behavioral Guarantees for Skill Removal and Preservation
该论文关注神经网络“机制编辑”的可验证性，即通过消融、权重编辑或激活引导，从模型中移除某一有害能力（或技能），同时尽量保留其他有用能力。现有做法通常只靠测试集验证编辑效果，但有限测试无法覆盖连续、无穷的输入空间，因此无法保证在所有输入区域都
LiBRA: Detection-Aware Image Watermark Removal via Bidirectional Latent Optimization
数字水印是 AI 生成图像溯源与内容归属的重要技术手段, 其可信度取决于对「水印去除攻击」的抵抗能力。已有的一类攻击思路是逆向优化: 通过修改图像迫使水印解码器输出的比特序列偏离原始水印, 从而让检测失效。但该文指出这种「反转式」目标存在两
EvoRiskBench: An Evolving Benchmark for Runtime Security Risks in Workspace Agents
该论文针对「工作区智能体」（Workspace Agents）的运行期安全风险，提出了一个可持续演进的基准测试框架 EvoRiskBench。工作区智能体将大语言模型与执行框架（harness）结合，能够执行有状态、多步骤的任务，并访问或修
The Fragility of Trigger-Tag Mechanisms for Misuse Detection in Open-Weight LLMs
该论文关注开放权重语言模型的安全防护问题。由于开放权重模型可被任意下载、修改并部署在开发者控制范围之外，中心化强制保护措施的效果有限。近期研究提出 trigger-tag 机制：当模型在目标条件下被使用（如生成钓鱼内容）时，产生可检测信号。
Securing Computer-Use Agents Against Branch Steering Attacks
该论文研究的是计算机使用代理（Computer-Use Agents, CUA）在图形界面环境下面临的一类新型间接提示注入风险——分支引导攻击（branch steering attack），并提出相应的防御架构 COBRA。背景方面：现代
Beyond Predefined Sinks: Security-Aware Dependency Analysis for LLM Agents
该论文聚焦 LLM Agent 安全分析中的一个基础性难题：如何判定模型生成的决策是否会真正触达安全敏感能力。现有方法通常以「预定义的敏感操作（sink）」作为分析锚点，例如命令执行、文件系统读写、网络通信、浏览器控制以及外部工具调用等。但
Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM
本文研究稀疏混合专家(MoE)大模型的一个安全问题：在不重新训练的前提下，只要压制少量被路由选中的专家(experts)，模型的拒答行为就会明显减弱。因此“应当压制哪些专家”本身就是一个安全评估问题。业界常用的判据是专家的激活频率(acti
AgentTrap: Stateful Feedback Deception against Autonomous Penetration Testing Agents
本文聚焦于自主渗透测试智能体与蜜罐防御之间的攻防博弈。这类智能体能够根据目标返回结果持续调整多步攻击计划，具备较强的自适应与多轮探测能力；而传统蜜罐主要依赖静态诱饵和预定义响应，无法随智能体策略演化而调整，容易被识破、绕过或快速放弃，难以长
Pincer: Resource Authorization for Agents using a Digital Twin
该论文关注长周期自主编码智能体（coding agent）在安全授权方面的结构性缺陷。当前主流智能体（如 Claude、Codex）具备长时程自主执行、依赖通用 shell、并维护持久化记忆以自我改进等能力，这些能力在提升生产力的同时也扩大
Out of Sync, Out of Sight: Phantom State Attacks against IIoT Intrusion Detection
该论文研究的是机器学习型入侵检测系统（IDS）在工业物联网（IIoT）环境中的一个被长期忽视的假设：时间同步性。现有对抗性研究大多集中于扰动特征向量或原始流量，且通常依赖梯度信息、反复查询模型或事先拟合良性流量模型；另有一小类工作在不查询检
SideKernel: A Usable microVM Sandbox for AI Coding Agents on macOS
本文聚焦 AI 编程智能体（AI coding agents）在本地开发机上运行时的安全悖论：这类智能体在架构上属于不可信组件，却需要在其所运行的开发者机器上被赋予相当程度的自主执行权限。作者认为这一矛盾本质上是一个安全问题，而沙箱是提供隔
Mitigating Private Data Leakage in LLMs with Whiteout
该论文关注大型语言模型（LLM）训练数据中的隐私泄露问题。由于现代 LLM 的训练语料规模巨大且基本未经过滤，包含从几乎所有可访问网站抓取的内容以及大量用户输入，模型往往会记住并复现个人敏感信息（PSI），例如出生日期、电话号码和家庭住址。
Hop-Decayed Influence: New Vulnerabilities of Structural Auxiliary Indexing in GraphRAG Pipelines with LLM
该论文关注的是一种此前被忽视的攻击面：GraphRAG（图增强检索生成）流水线在离线索引阶段会生成大量「辅助结构」，包括语义摘要、层级边以及预计算的评分/排序结果，这些产物并不属于原始知识图谱的实例数据，却在查询时直接决定检索的优先级与召回
MIRROR: Multipath Quorum Integrity for LLM Multi-Agent Communication
该论文聚焦大型语言模型多智能体系统（LLM-MAS）中一个被忽视的攻击面：智能体之间的通信链路。作者提出「中间智能体攻击」（Agent-in-the-Middle, AiTM）——攻击者并不攻陷任何智能体本身，而是在消息传输过程中篡改内容，
KaliBench: A Fine-Grained Benchmark for Cybersecurity Tool Use on Kali Linux with Runtime-Free Verifiable Rewards
该论文针对一个被忽视的评测缺口：大语言模型正被越来越多地用于网络安全工作流，需要把分析师的意图翻译成对真实安全工具的调用，但现有评测要么停留在知识问答层面，要么只评估端到端 agent 任务完成情况，并未直接衡量模型为真实网络安全工具生成「
Homomorphic Advantage Operator: Stabilizing Reinforcement Learning Under Fully Homomorphic Encryption Constraints
该论文针对云端隐私保护机器学习在智能体场景中的落地难题展开研究。全同态加密（FHE）允许在密文上直接计算，是保护云端强化学习（RL）数据机密性的理想方案，但 FHE 只原生支持加法和乘法，所有非线性激活、裁剪、比较等操作都必须替换为多项式近
Can AI Oversight Be Zero Knowledge?
本文研究一个交叉性问题: 当 AI 系统基于机密数据产生输出时(论文举的两个例子是: 依据医疗记录给出适岗/履职能力评估, 以及依据分子的秘密结构预测候选药物的性质), 我们既希望验证这些输出是否计算正确, 又不希望泄露底层敏感数据。已有的
A Hybrid Approach to Malware Detection: Integrating Few-Shot Model-Agnostic Meta-Learning with Autoencoders
本文针对勒索软件检测在样本稀缺与新型变种场景下失效的问题，提出了一种混合深度学习框架，把自编码器特征提取器（Autoencoder Feature Extractor, AFE）与模型无关元学习分类器（Model-Agnostic Meta