Context-Based Adversarial Attacks on AI Code Generators: Vulnerability Analysis and Implications
本研究系统性地调查了基于上下文的对抗攻击对AI代码生成器的安全影响。作者通过向大型语言模型（如CodeT5+、CodeLlama、GPT-3.5-Turbo和GPT-4）提供精心设计的上下文输入（包括注释、文档、变量名），诱导模型生成存在漏
#agent-security
共收录 1542 条相关情报。
← 返回所有主题Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization
本文针对生产环境中大型语言模型（LLM）处理来自不同信任级别指令时存在的结构性脆弱性展开研究。当前LLM对所有令牌赋予相同的架构特权，这导致恶意提示注入攻击有机可乘，且模型缺乏解决合法但冲突指令之间矛盾的原则性方法。现有基于训练的方法试图教
RedAct: Redacting Agent Capability Traces for Procedural Skill Protection
本论文研究了基于语言模型的智能体（Agent）在执行复杂任务时生成的执行追踪（execution traces）所引发的程序技能泄露风险。用户通常依赖这些追踪来观察行为、诊断失败和确保问责，但追踪中包含了丰富的程序细节，如工具调用、中间决策
Toward Secure LLM Agents: Threat Surfaces, Attacks, Defenses, and Evaluation
本文是一篇关于大型语言模型（LLM）智能体安全性的全面综述，共整合了247篇相关论文。论文指出，LLM智能体正从对话界面快速演变为能够规划、调用工具、维护记忆并在外部环境中行动的软件组件，这一转变从根本上改变了安全风险的性质。在智能体场景中
Assessing Automated Prompt Injection Attacks in Agentic Environments
该论文系统评估了针对LLM Agent的自动提示注入攻击方法。在Agentic环境中，LLM Agent会与不可信的外部数据交互，间接提示注入成为关键威胁。然而，在现实Agent场景下，自动攻击方法（如用于越狱的GCG和TAP）尚未被充分探
AgentCanary: A Security Evaluation Framework for Autonomous AI Agents in Real Executable Environments
随着自主AI智能体从对话式交互转向任务执行，安全威胁也从文本欺骗升级为系统破坏。现有安全评估工作面临三大瓶颈：风险覆盖碎片化（缺乏系统性分类）、执行环境静态或低保真（无法模拟真实多步交互）、评估指标单一粗粒度（仅考虑最终结果忽略过程安全）。
RECON: An LLM-Enhanced Backward Constraint Analysis Framework
本文提出RECON，一种基于大语言模型（LLM）增强的向后约束分析框架，旨在解决传统符号执行在分析现代软件系统（尤其是Android应用）时面临的可扩展性问题。传统符号执行因路径爆炸、函数建模需求及底层程序表示中语义丢失等缺陷，难以应对An
Local Is Not a Sufficient Privacy Boundary: Governing OS-Integrated On-Device AI
本文聚焦于操作系统集成的本地AI（On-Device AI）的隐私边界问题。作者指出，当前隐私讨论常将“本地运行”视为隐私保障的充分条件，但这一观点过于狭隘。本地AI助手可能整合邮件、日历、文件、截图、通知和应用程序意图，保留嵌入或摘要，调
Observability for Delegated Execution in Agentic AI Systems
本文聚焦于基于LLM的智能体系统（Agentic AI Systems）中委托执行的可观测性问题。在智能体系统中，代理可以动态选择工具、改变执行序列、并生成协作子代理，导致执行轨迹碎片化和交织。标准审计日志和执行追踪无法区分不同委托分配下的
FuseFSS: Efficient Secure LLM Inference with Function Secret Sharing
本文提出 FuseFSS，一个针对两方服务器安全推理的高效编译器，用于保护大型语言模型（LLM）推理过程中的用户提示和嵌入隐私。当前基于函数秘密共享（FSS）的 GPU 安全推理系统在线性层上表现高效，但非线性操作（如定点非线性函数）和辅助
SecureClaw: Clawing Back Control of LLM Agents
本文研究了工具使用的大语言模型（LLM）代理面临的两类安全缺陷：一是未经授权的外部操作（如恶意调用外部工具），二是在最终输出检查之前运行时内部敏感明文泄露。现有防御通常仅保护单一边界（规划器/运行时或动作目标），无法同时保障两个面的安全。为
Targeting World Models to Compromise Robot Learning Pipelines
该论文研究了世界模型（world models）在机器人学习管道中的安全性问题。世界模型作为一种高效的数据生成和仿真工具，正被越来越多地集成到机器人训练流程中，但本文证明了世界模型引入了一种隐蔽且有效的数据投毒攻击入口。与传统的直接向训练数
Benchmarking Empirical Privacy Protection for Adaptations of Large Language Models
该论文针对大型语言模型（LLM）在差分隐私（DP）适配下的实际隐私保护效果进行了基准测试。研究背景是：虽然DP理论上能提供隐私保障，但由于LLM预训练数据与适配数据可能存在重叠或依赖关系，实际隐私风险可能仍然存在。作者采用最先进的攻击方法，
Brain-Prompt Injection: A Route-Safety Audit for BCI-LLM Agents
本文针对脑机接口（BCI）到大型语言模型（LLM）智能体的管道提出了一个新型攻击面：脑提示注入（brain-prompt injection）。该管道将解码的神经活动作为工具使用智能体的授权通道，但攻击者可通过信号侧扰动、上下文仅注入和自适
Trustworthy Smart Fabs via Professional Proxies: Scaling Safe and Sustainable by Design (SSbD) through Industrial Data Spaces
该论文针对2026年欧盟安全与可持续设计（SSbD）框架、企业可持续发展尽职调查指令（CSDDD）和碳边境调节机制（CBAM）等法规给先进半导体制造工厂（智能工厂）带来的治理瓶颈，提出了一种零信任的社会技术编排框架。该框架在可信工业数据空间
Pretrained, Frozen, Still Leaking: Auditing Cross-Encoder Attribute Transfer in EEG Foundation Models
该论文研究了EEG（脑电图）基础模型在发布时面临的属性泄露风险。以往，对这类模型的审计通常是逐个端点进行的，例如原始波形重建、成员推断、身份链接或对下游头部进行差分隐私随机梯度下降（DP-SGD）。然而，作者发现这种单端点审计可能遗漏更隐蔽
Customization under Fire: Plugin Poisoning in Text-to-Image Ecosystem
该论文首次系统性地研究了文本到图像（T2I）生态系统中LoRA插件的供应链安全风险。随着T2I模型的普及，基于低秩自适应（LoRA）的插件共享生态（如Civitai、Liblib）蓬勃发展，允许用户轻松定制和分享模型能力。然而，这种开放模式
PrivCode++: Latent-Conditioned Differentially Private Code Generation for Comprehensive Guarantees
大型语言模型在指令-代码对上进行微调时，可能会记忆并泄露敏感的训练数据。现有的差分隐私（DP）代码生成方法主要保护代码片段，但假设提示（prompt）是公开的，这无法应对现实场景中提示也可能包含敏感信息的情况。当提示在生成过程中不能被显式学
Context-Fractured Decomposition Attacks on Tool-Using LLM Agents: Exploiting Artifact Provenance Gaps
该论文针对使用工具的LLM代理（Tool-Using LLM Agents）提出了一种新型的多步越狱攻击方法——上下文碎片化解构攻击（Context-Fractured Decomposition, CFD）。现有的大多数越狱攻击和防御（如
Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops
该论文研究了终端智能体基准测试（如KernelBench、Terminal Bench）中奖励黑客攻击的问题。作者审计了5个终端智能体基准测试的1968个任务，发现其中323个（16%）可以被前沿模型仅通过任务描述就成功攻破，导致排行榜排名