One Turn Too Late: Response-Aware Defense Against Hidden Malicious Intent in Multi-Turn Dialogue
本文针对多轮对话中隐藏恶意意图的威胁，提出了一种响应感知的防御方法。攻击者可将恶意目的分散到多个看似无害的对话轮次中，绕过现有安全对齐和外部护栏。作者检测出“最早使得累计交互足以产生危害的轮次”，即“危害使能关闭点”，以实现精确的轮次级别干
#cs.AI
共收录 1684 条相关情报。
← 返回所有主题Information Theoretic Adversarial Training of Large Language Models
本文提出一种基于信息论的对抗训练框架WARDEN，用于提升大型语言模型（LLM）对提示注入等对抗攻击的鲁棒性。当前LLM虽经过对齐与安全训练，仍易受新型攻击策略诱导产生有害行为。现有对抗训练方法计算成本高、难以扩展。最近出现的连续对抗训练方
How Far Are VLMs from Privacy Awareness in the Physical World? An Empirical Study
随着视觉-语言模型（VLM）被越来越多地部署为具身助手的自主认知核心，评估其在物理环境中的隐私意识变得至关重要。与数字聊天机器人不同，这些智能体在家庭、医院等私密空间运行，能够观察并操作包含隐私敏感信息与物品的物理实体。然而，现有基准仍局限
Securing the Agent: Vendor-Neutral, Multitenant Enterprise Retrieval and Tool Use
本文针对企业级AI系统中检索增强生成（RAG）和智能体AI系统的多租户安全隔离问题，提出了一种分层隔离架构。现有系统通常基于语义相似度、关键词匹配或混合方法按相关性对文档排序，而非按授权策略，导致不同租户的查询可能因得分最高而暴露其他租户的
SoK: Robustness in Large Language Models against Jailbreak Attacks
本文是一篇系统化知识综述（SoK），聚焦于大语言模型（LLM）针对越狱攻击的鲁棒性问题。越狱攻击通过精心构造的对抗提示，诱使模型生成有害、不道德或违反政策的输出，对高安全性应用中的信任、合规和安全构成实际威胁。现有评估实践通常仅依赖攻击成功
On the (In-)Security of the Shuffling Defense in the Transformer Secure Inference
本文针对Transformer模型安全推断中的shuffling防御机制展开研究。在安全推断场景中，客户端通过加密协议仅获知模型最终输出，而服务器无法得知客户端输入。然而，非线性层的安全计算因通信轮数和数据传输量巨大而成为效率瓶颈。为提升效
AgentTrust: Runtime Safety Evaluation and Interception for AI Agent Tool Use
现代AI代理通过工具调用（如文件操作、shell命令、HTTP请求和数据库查询）执行实际影响。单个不安全操作（如意外删除、凭证泄露或数据外泄）可能导致不可逆的损害。现有防御措施不完整：事后基准在执行后测量行为，静态护栏遗漏混淆和多步上下文，
From Beats to Breaches:How Offensive AI Infers Sensitive User Information from Playlists
该论文研究了攻击性AI在音乐流媒体平台上的应用，特别是通过用户公开的播放列表推断敏感个人身份信息（PII）。作者首先指出，随着AI的普及，攻击性AI（Offensive AI）已成为一种新兴威胁，能够在网络杀伤链的各个阶段被恶意利用。其中，
Sparse Tokens Suffice: Jailbreaking Audio Language Models via Token-Aware Gradient Optimization
本文针对音频语言模型（ALM）的越狱攻击展开研究。现有的越狱攻击通常在整个音频波形上密集地优化扰动，以诱使ALM生成不安全的内容。作者首先通过分析ALM中token对齐梯度的结构，发现梯度能量在音频token上高度不均匀，即只有少量toke
Pen-Strategist: A Reasoning Framework for Penetration Testing Strategy Formation and Analysis
本文提出 Pen-Strategist 框架，旨在解决现有基于 LLM 的自动化渗透测试框架在策略制定、领域推理和工具选择方面的局限性。该框架由两个核心组件组成：一个领域特定的推理模型和一个基于语义的 CNN 分类器。推理模型通过逻辑推理推
SWAN: Semantic Watermarking with Abstract Meaning Representation
SWAN（语义水印与抽象语义表示）是一种新颖的文本水印框架，它利用抽象语义表示（AMR）将水印签名直接嵌入句子的语义结构中。与现有方法在文本生成过程中通过调整令牌选择偏好来编码签名不同，SWAN将签名编码在语义表示层面，因此任何保留语义的释
Undetectable Backdoors in Model Parameters: Hiding Sparse Secrets in High Dimensions
该论文提出了一种名为 Sparse Backdoor 的供应链攻击，能够在预训练图像分类器（包括卷积网络和视觉Transformer）中植入一个理论上不可检测的后门。攻击方法是在每个全连接层的少量列上沿随机方向注入结构化稀疏扰动，从而将触发
Redefining AI Red Teaming in the Agentic Era: From Weeks to Hours
本文针对当前AI红队测试过程中存在的效率低下问题，提出了一种基于智能体的自动化红队框架。研究背景是：AI系统在医疗、金融、国防等关键领域广泛应用，但面临对抗性攻击威胁。现有红队方法依赖于手动操作和特定于库的工作流程，安全人员需花费数周时间手
MOSAIC-Bench: Measuring Compositional Vulnerability Induction in Coding Agents
本文提出 MOSAIC-Bench (Malicious Objectives Sequenced As Innocuous Compliance) 基准测试，用于评估编码代理在分解为常规工程工单时诱导组合漏洞的能力。现有安全对齐方法通常仅
Tailored Prompts, Targeted Protection: Vulnerability-Specific LLM Analysis for Smart Contracts
本文提出了一种基于大语言模型（LLM）的智能合约漏洞检测框架。智能合约因其不可篡改特性，易遭受多种安全漏洞攻击，导致重大经济损失。现有检测方法通常依赖人工制定的专家规则，缺乏对不同漏洞类型的灵活适应性。为此，作者构建并公开了一个大规模数据集
MEMSAD: Gradient-Coupled Anomaly Detection for Memory Poisoning in Retrieval-Augmented Agents
本文研究了当LLM代理配备持久化外部记忆（如检索增强生成RAG）时面临的安全威胁，并首次形式化描述了记忆投毒攻击。作者将攻击建模为Stackelberg博弈，并在三个攻击类别（逐步放宽访问权限假设）的统一评估框架下进行验证。首先，作者纠正了
Exposing LLM Safety Gaps Through Mathematical Encoding:New Attacks and Systematic Analysis
该论文揭示了大型语言模型（LLM）安全机制在数学编码攻击下的严重漏洞。当前LLM的防御主要依赖语义模式匹配，作者提出了一系列将有害提示编码为连贯数学问题的方法，包括集合论、形式逻辑和量子力学等数学形式体系。实验在8个目标模型和两个基准测试上
SkCC: Portable and Secure Skill Compilation for Cross-Framework LLM Agents
本文提出 SkCC，一个面向跨框架 LLM Agent 的技能编译框架。当前，LLM Agent 技能通常以 SKILL.md 规范封装，但不同 Agent 框架对提示格式的敏感性差异极大，导致性能波动高达 40%，而社区中超过三分之一的技
Cryptographic Registry Provenance: Structural Defense Against Dependency Confusion in AI Package Ecosystems
该论文针对AI包生态系统中日益严重的依赖混淆攻击，提出了一种基于密码学的分发溯源系统。依赖混淆攻击利用了软件分发过程中的结构性缺陷：一旦包被安装，没有任何密码学证据证明它来自哪个注册表。现有的防御措施均为配置驱动，且在配置错误时会静默失效。
MAGE: Safeguarding LLM Agents against Long-Horizon Threats via Shadow Memory
随着大语言模型驱动的智能体（LLM agents）被部署到复杂的现实世界任务中，它们面临一类日益增长的攻击：利用扩展的用户-智能体-环境交互，在单轮对话中难以实现的恶意目标。这类“长程威胁”对关键领域智能体的安全部署构成重大风险。本文提出M