AIRGuard: Guarding Agent Actions with Runtime Authority Control
本文提出了一种针对工具使用型语言代理（LLM agent）的安全防护机制——AIRGuard。随着LLM agent被赋予调用外部工具（如读取文件、执行脚本、调用API、发送消息以及调用MCP协议工具）的能力，传统的越狱攻击模式已不再适用。
#cs.AI
共收录 1684 条相关情报。
← 返回所有主题Blind PRNG Hijacking: An Undetectable Integrity-Preserving Attack Against LLM Watermarking
本文提出了一种针对 LLM 文本水印的供应链攻击——SeedHijack。现有的加密水印方案（如 KGW、Unigram、DipMark）均假设底层的伪随机数生成器（PRNG）是可信的，从而保证安全。SeedHijack 无需知道水印密钥、
Position: Retire the "Positive Backdoor" Label -- Secret Alignment Requires Strict and Systematic Evaluation
该立场论文指出，AI/ML 社区不应过度使用“正向后门”（positive backdoor）这一标签，而应将触发激活的隐藏行为视为“秘密对齐”（Secret Alignment）。在私有AI时代，开放权重的大语言模型和可获取的训练/推理栈
Technical Report: Exploring the Emerging Threats of the Agent Skill Ecosystem
本技术报告针对AI Agent技能生态系统中的新兴安全威胁进行了系统研究。研究团队从Clawhub、Hugging Face等主流AI技能市场中收集了3,984个Agent技能样本，并对其进行了自动化安全分析。结果显示，共发现76个被确认的
Quantum-Enhanced Adversarial Robustness in Artificial Intelligence
本文由Jaydip Sen撰写，发表于arXiv，属于cs.AI领域，主要探讨如何利用量子计算增强人工智能系统的对抗鲁棒性。文章首先回顾了人工智能在医疗、金融、自动驾驶等安全关键领域的成功应用，同时指出其深度神经网络容易受到对抗样本攻击的脆
Refusal Before Decoding: Detecting and Exploiting Refusal Signals in Intermediate LLM Activations
本文研究了大语言模型（LLM）在解码前中间激活层中拒绝行为（refusal）的可预测性。作者通过在每个Transformer块的残差流激活上训练线性探针（linear probes），发现拒绝行为在最终层之前即可被线性解码，表明安全相关行为
SNARE: Adaptive Scenario Synthesis for Eliciting Overeager Behavior in Coding Agents
本文研究编码代理（coding agent）在执行良性任务时可能出现的“过度行为”（overeager behavior）问题。编码代理通常将任务拆解为一系列shell、文件、网络操作，其中某些操作可能悄悄超出授权范围（如泄露凭证、删除文件
MIRAGE: Context-Aware Prompt Injection against Mobile GUI Agents via User-Generated Content
该论文提出了一种针对移动图形用户界面（GUI）代理的新型提示注入攻击方法，命名为MIRAGE（Mobile Injection of Realistic Adversarial GUI Examples）。移动GUI代理通常由视觉-语言模型
Mind the Gap: Mixtures of Gaussians in Approximate Differential Privacy
本文针对满足 (ε, δ)-差分隐私的标量实值查询函数，设计了一类加性噪声机制，特别关注中低隐私保护水平（即ε较大或δ较宽松）的场景。作者提出的“混合机制”（mixture mechanisms）通过混合多个高斯分布来构造噪声分布，这些高斯
SPARD: Defending Harmful Fine-Tuning Attack via Safety Projection with Relevance-Diversity Data Selection
论文 SPARD 针对大型语言模型在微调过程中安全对齐被破坏的问题，尤其是有害微调攻击（通过对抗性数据移除安全防护并引发不安全行为），提出了一种防御框架。该框架包含两个核心组件：1）安全投影交替优化（SPAG），在效用更新与显式安全投影之间
An Empirical Audit of k-NAF Budget Accounting for Anchored Decoding
本文对 Anchored Decoding 中使用的 k-NAF (k-ary Normalized Attention Flow) 预算核算机制进行了实证审计。研究采用两类实验：一是固定、类别分层的负载（约 8500 次随机执行，覆盖六种
When Think-with-Image Meets Safety: What Determines Multimodal Jailbreak Robustness?
本文研究了大型视觉语言模型（LVLM）中新兴的“伴随图像思考”（think-with-image）推理范式的安全性，特别是其对多模态越狱（jailbreak）鲁棒性的影响。现有系统已包含多种流程设计，如直接响应生成、纯文本前置回合、视觉状态
Symmetry Defeats Auditing
本文展示了一种针对内省适配器（Introspection Adapters）的攻击方法。内省适配器是一种用于审计大型语言模型内部状态的机制，旨在检测模型是否遵循安全约束。研究者发现，由于内省适配器依赖的对称性假设（例如，模型内部状态与审计信
Disentangling Adversarial Prompts: A Semantic-Graph Defense for Robust LLM Security
该论文针对大型语言模型（LLM）面临的对抗性提示攻击（如越狱、提示注入）提出了一种新颖的防御框架——对抗性提示解纠缠（APD）。研究背景指出，攻击者利用语义歧义绕过安全机制，导致有害输出，对安全关键型应用构成威胁。APD框架包含三个核心创新
Backdoor Attacks on Fault Detection and Localization in Cyber-Physical Systems
本文研究了针对信息物理系统（CPS）中基于机器学习的故障检测与定位机制的后门攻击。CPS（如智能电网、工业自动化）依赖传感器、计算和控制器实时检测电压波动等故障并执行负载均衡。近年来，深度学习模型被广泛用于异常检测，但它们易受对抗性攻击。后
On the Origin of Synthetic Information by Means of Steganographic Inheritance
该论文类比生物学中的物种起源，探讨了合成信息（如AI生成内容）的溯源问题。核心挑战在于：当代AI模型生成的“后代”数据可能在结构和信号层面与原始来源差异巨大，导致进化谱系难以追踪。受遗传学启发，作者提出一种基于隐写术的谱系追踪机制：在合成信
Risk Averse Alert Prioritization for IDS Using Subnormal Gaussian Fuzzy Models
现代入侵检测系统（IDS）每天产生数千条警报，但大量误报和低影响事件导致警报疲劳，严重制约安全运营效率。本文提出了一种基于亚正态高斯模糊数的警报优先级排序框架，旨在通过显式建模威胁严重性、检测置信度和组织风险态度三种不确定性来源，实现更鲁棒
Grounded Cache Routing for Retrieval-Augmented Generation: When Is It Safe to Reuse an Answer?
本文针对检索增强生成（RAG）系统中的缓存安全问题展开研究。现代RAG部署广泛使用缓存来降低token成本和时间至首token延迟（TTFT），其中前缀级KV复用已是标准做法，但输出级的语义答案缓存仍然脆弱：相似提示可能映射到不同正确答案，
HARP: Measuring Harm Amplification in Multi-Agent LLM Systems
本文提出了一种名为HARP（Harm Amplification through Role Perturbation）的方法，用于测量多智能体LLM系统中的危害放大效应。在多智能体系统中，工作流被分解为多个代理、工具、共享上下文、内存和决策
Grimlock: Guarding High-Agency Systems with eBPF and Attested Channels
本文提出 Grimlock，一种面向高自主性智能体系统的安全守卫框架。随着智能体系统越来越多地运行用户自编的编排代码，这些代码会调用工具、生成子任务并在多机器云环境间委托工作，这种高自主性带来了安全挑战：身份、授权、溯源和委托往往分散在应用