Measuring Safety Alignment Effects in Autonomous Security Agents
该论文研究了安全对齐语言模型及其未审查或消融版本在作为自主安全代理运行时的行为差异。传统的单轮拒绝基准无法评估代理的实际情况，因为安全代理需要检查代码仓库、调用工具并在授权沙箱中生成漏洞证据。作者提出了一个基于追踪的基准测试，包含30个本地
#cs.AI
共收录 1684 条相关情报。
← 返回所有主题Exploring and Developing a Pre-Model Safeguard with Draft Models
本文针对大型语言模型（LLM）在面对 jailbreak 攻击时易产生不安全响应的问题，提出了一种基于预模型守卫的新型防御架构。现有防御方法分为两类：预模型守卫仅审计用户提示词，但容易漏检（假阴性率高）；后模型守卫同时审计提示词和模型响应，
Token by Token, Compromised: Backdoor Vulnerabilities in Unified Autoregressive Models
本文首次研究了统一自回归模型（UAM）中的后门攻击漏洞。UAM是一种Transformer模型，能够在单个自回归过程中同时生成文本和图像token。其共享参数和多模态词汇简化了训练流程并支持灵活的多模态生成，但也引入了新的安全风险。作者提出
Hallucination as Exploit: Evidence-Carrying Multimodal Agents
该论文提出了一种新型安全威胁：多模态智能体中的“幻觉即利用”（Hallucination as Exploit）。多模态智能体通过截图、文档、网页等视觉输入选择工具调用。当模型产生错误的视觉主张（如误认页面元素）并触发点击、邮件发送、数据提
Be Kind, Rewrite: Benign Projections via Rewriting Defend Against LLM Data Poisoning Attacks
大语言模型（LLM）极易受到后门攻击（BA），攻击者通过向训练样本中注入包含触发器的有害内容来植入后门。现有防御方法在广泛测试中效果不佳。本文探索利用LLM自身的重写能力作为主动防御手段，提出了一种名为“开放书签良性重写”（OBBR）的方法
Agent Security is a Systems Problem
该论文提出，智能体（agent）的安全性必须被当作一个系统问题来处理，而不仅仅依赖AI模型本身的鲁棒性。作者认为，驱动智能体的AI模型应当被视为不可信组件，安全不变性必须在系统层面强制实施。当前社区主流观点侧重于提升模型鲁棒性，但这远远不够
Surviving the Unseen: Predictive Defense for Novel Multi-Turn Multimodal Attacks
本文针对多模态大语言模型（MLLMs）在自主智能体工作流中面临的新型多轮多模态攻击的安全问题。传统静态防御机制受限于马尔可夫性质，逐轮独立评估输入，无法检测跨对话轨迹的累积恶意注入。为此，作者将安全验证形式化为动态生存预测与轨迹动力学问题，
Not What You Asked For: Typographic Attacks in Household Robot Manipulation
本文针对家用机器人操作中的排版攻击（typographic attack）进行了系统研究。开放词汇的具身AI代理（如基于CLIP的视觉语言模型）在物体感知和任务接地中越来越依赖视觉-语言模型，然而共享的嵌入空间引入了一种结构性脆弱性：物理场
Overeager Coding Agents: Measuring Out-of-Scope Actions on Benign Tasks
该论文研究了编码代理（coding agents）在执行良性用户请求时可能产生“过度动作”（overeager actions）的问题。编码代理通常被赋予shell、文件、网络等高级权限，当用户提出一个看似无害的任务（如修改代码）时，代理有
Prompt2Fingerprint: Plug-and-Play LLM Fingerprinting via Text-to-Weight Generation
该论文提出 Prompt2Fingerprint (P2F)，一种用于大型语言模型（LLM）指纹识别的即插即拔框架。随着LLM的广泛部署和再分发，模型来源追踪成为关键挑战。现有的主动指纹识别方法通过微调嵌入身份信号，虽然准确率高且鲁棒，但存
OEP: Poisoning Self-Evolving LLM Agents via Locally Correct but Non-Transferable Experiences
该论文研究了具有记忆增强和自我进化能力的大型语言模型（LLM）智能体的安全风险。现有针对智能体记忆的攻击通常需要高权限或包含明显恶意内容，容易被安全过滤器检测。作者提出了一种名为"Obsessive Experience Poisoning
It Takes Two: Complementary Self-Distillation for Contextual Integrity in LLMs
本文针对大语言模型（LLM）在作为个人代理处理敏感工作流时面临的上下文完整性（Contextual Integrity, CI）问题，提出了一种互补自蒸馏框架SELFCI。CI定义隐私不仅为隐藏信息，而是根据给定上下文的规范来管理信息流动。
Prompts Don't Protect: Architectural Enforcement via MCP Proxy for LLM Tool Access Control
本文研究了大型语言模型（LLM）作为自主代理时，其工具调用权限控制的安全缺陷。作者指出，当未授权工具出现在代理的上下文窗口中时，即使模型被明确指示禁止调用，在对抗性场景下仍可能被选中。现有基于提示（prompt）的约束方法效果有限，只能将未
An Empirical Study of Privacy Leakage Chains via Prompt Injection in Black-Box Chatbot Environments
本文针对基于大型语言模型（LLM）的聊天机器人代理，研究了一种通过间接提示注入实现隐私泄露的攻击链。研究背景是：LLM代理通过结合自然语言推理和外部工具（如网页浏览）来处理用户请求，这提升了可用性，但也带来了安全风险，因为不可信的外部内容可
Safety Geometry Collapse in Multimodal LLMs and Adaptive Drift Correction
多模态大语言模型（MLLM）在文本模态中学习到的安全能力往往无法泛化到语义等价的非文本输入（如图像、视频），导致持续的多模态安全差距。本文从表示几何的角度研究这一现象，通过分析文本对齐的拒绝方向（refusal direction）和模态引
LivePI: More Realistic Benchmarking of Agents Against Indirect Prompt Injectio
该论文提出了 LivePI（Live Prompt Injection），一个针对 AI agent 间接提示注入风险的基准测试框架。随着 OpenClaw 等 AI agent 被部署在本地工作流中并访问外部工具，间接提示注入（IPI）风
Babel: Jailbreaking Safety Attention via Obfuscation Distribution Optimized Sampling
本文发现大型语言模型（LLM）的安全对齐机制存在固有脆弱性：模型仅依赖少量稀疏分布的注意力头进行安全监控，导致大部分表示空间缺乏有效监管。作者通过数学建模形式化了文本混淆的有效边界，并利用该边界设计了一种高效的黑盒越狱攻击框架Babel。该
MoCo-EA: Exploiting Adversarial Mode Connectivity for Efficient Evolutionary Attacks
本文提出了一种基于模式连通性（Mode Connectivity）的高效进化攻击方法 MoCo-EA，旨在解决传统进化算法在生成对抗样本时因离散交叉操作破坏对抗属性而导致效率低下的问题。核心创新在于将传统进化算法中的交叉算子替换为基于贝塞尔
ESLD (External Surrogate Latent Defense): A Latent-Space Architecture for Faster, Stronger Prompt-Injection Defense
该论文针对现代AI助手面临的提示注入（prompt injection）威胁，提出了一种名为ESLD（External Surrogate Latent Defense）的潜在空间防御架构。在智能体（agent）场景中，语言模型需要从多个来
DMN: A Compositional Framework for Jailbreaking Multimodal LLMs with Multi-Image Inputs
多模态大语言模型（MLLMs）在接收多图像输入时存在安全隐患。现有越狱方法仅使用单张图像，限制了攻击空间：无法将有害请求分布到多张图像、携带丰富信息或利用额外视觉推理任务分散模型注意力。本文提出一种组合式越狱框架DMN，通过分布式指令（Di