The Unfireable Safety Kernel: Execution-Time AI Alignment for AI Agents and Other Escapable AI Systems
本论文针对可逃逸AI系统（即拥有足够权限影响自身运行时的AI系统，例如可调用工具和API的AI代理）提出了一种执行时AI对齐方法。作者指出，当前主流安全控制方法（如系统提示、输出过滤、护栏库）均位于代理自身运行时内，易受输入影响而被绕过。为
#agent-security
共收录 1542 条相关情报。
← 返回所有主题Decoupling Reconnaissance and Exploitation: Measuring the Capability Boundaries of LLM-Based Web Penetration Testing
该论文针对大语言模型（LLM）在自动化渗透测试评估中存在的错误级联问题，提出了一种两阶段解耦评估框架。现有端到端黑盒评测因早期侦察失败会掩盖代理的实际漏洞利用能力，导致评估结果无法准确反映模型真实水平。作者通过真实漏洞上下文注入（groun
Red-Teaming the Agentic Red-Team
本文首次对当前最常用的用于 offensive security 操作的 agentic 系统进行了深入的安全分析。研究表明，大多数此类工具存在共同的设计缺陷，使得活跃攻击者能够窃取 API 密钥、建立持久化立足点，并完全控制操作者的机器，
Poisoned Playbooks: Demystifying Knowledge Poisoning Effects on AI Security Agents
本文研究了针对基于检索增强生成（RAG）的AI安全代理的知识投毒攻击。随着安全代理越来越多地依赖RAG从外部知识源（如CVE报告、CTF write-ups）获取漏洞分析和利用推理信息，攻击者可以通过注入恶意构造的write-up（称为Po
Securing LLM-Agent Long-Term Memory Against Poisoning: Non-Malleable, Origin-Bound Authority with Machine-Checked Guarantees
该论文关注大语言模型（LLM）代理长期记忆中的投毒攻击与防御问题。LLM代理依赖持久化记忆体来跨会话存储信息，但攻击者可以在一次会话中注入恶意内容，诱导后续会话执行有害操作（如转账、修改权限、数据泄露）。现有防御方案主要基于两种信任信号：内
AutoSpec: Safety Rule Evolution for LLM Agents via Inductive Logic Programming
本文提出 AutoSpec 框架，针对大语言模型（LLM）智能体在自动化复杂任务时面临的安全规则设计困境：手工规则过于保守（高误报）或过于宽松（漏报），而神经分类器缺乏可解释性。AutoSpec 基于归纳逻辑编程（ILP）的计数器示例引导归
Decoherence as Defence and the Magnitude of Noise Regularisation: A Rigorous N -Qubit Theory of Stochastic Quantum Neural Networks for Adversarially Robust Network Intrusion Detection
本文提出了一种基于随机量子神经网络（SQNN）的对抗鲁棒网络入侵检测方法。作者首先通过随机主方程和向量化的Liouvillian形式给出了N量子比特的严格理论框架，证明了退相干-收缩定理：在L层纠缠层上强度为γ的去极化通道会使每个权重为w的
PixJail: Self-Evolving Paper-to-Pipeline Reproduction for Text-to-Image Jailbreak Evaluation
本文针对文本到图像（T2I）生成模型越狱评估中存在的复现性和可比性问题，提出了一种自演进论文到管线智能体框架PixJail。当前T2I越狱技术发展迅速，但现有基准和复现工作流难以同步更新；更重要的是，T2I越狱评估并非单次提示级测试，而是一
Maestro Order: A Model-Agnostic Orchestration Harness
该论文提出了 Maestro Order，一个模型无关的编排框架，旨在将不可靠的单一模型（如大型语言模型）转化为可靠的问题解决系统。核心思路是通过四种结构原语（分解、集成、验证和递归）组合基础模型，并引入预算感知控制器，动态决定在何处分配计
Cryptographic certificates of validity for trustworthy AI
该论文针对当前AI智能体系统在可信执行与合规验证方面的挑战，提出了一种基于密码学有效性证书的新颖方案。核心思想是：首先将智能体应满足的正确性或策略条件形式化为逻辑谓词；然后将该谓词编译为多项式约束上的证人（witness）检查问题；最后利用
TROPT: An Open Framework for Unifying and Advancing Discrete Text Optimization
论文提出了TROPT，一个开源的离散文本优化框架。离散文本优化旨在搜索文本序列，使得模型在摄入这些序列后朝指定目标行为（如LLM越狱、模型审计和可解释性）。目前，现有优化器散落在不同的研究代码库中，针对特定模型、目标和问题域，导致使用和扩展
Detecting Malicious Agent Skills in the Wild using Attention
本文针对LLM智能体在加载第三方技能（skill）时面临的安全威胁展开研究。技能是以自然语言指令编写的文件包，由第三方开发者编写并通过市场分发，执行时拥有用户特权。恶意技能可窃取数据、劫持智能体或在供应链中持久化，使技能市场成为新的攻击面。
FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
本文针对移动设备端侧大语言模型（LLM）推理中的安全与性能挑战，提出了一种名为FlexServe的快速且安全的LLM服务系统。随着端侧LLM的爆发式增长，其模型权重和用户数据价值极高，攻击者可能通过攻陷操作系统内核来窃取这些数据。ARM T
Safety in Self-Evolving LLM Agent Systems: Threats, Amplification, and Case Studies
本文系统性地研究了自进化LLM智能体系统（即能够自主更新其模型参数、记忆、工具和架构的智能体）带来的新型安全与隐私威胁。作者首先提出模块-生命周期攻击面（MLAS）矩阵，将攻击面分解为五个功能模块（大脑、认知资源、执行、自我设计、集体）和五
MASTERKEY: Automated Jailbreaking of Large Language Model Chatbots.
本论文针对大型语言模型（LLM）聊天机器人的越狱攻击进行了系统性研究。越狱是指通过精心构造的输入提示（prompt）来绕过聊天机器人的安全限制，使其生成原本被禁止的有害内容。现有研究主要集中于ChatGPT，对其他商业LLM聊天机器人（如B
QUACK: Hindering Deserialization Attacks via Static Duck Typing.
该论文提出了一种名为QUACK的框架，旨在自动防御托管语言中的反序列化攻击。反序列化漏洞广泛存在于PHP、Java等语言中，攻击者通过篡改序列化对象，利用现有代码片段（gadgets）形成利用链。QUACK的核心思路是通过静态鸭子类型推断技
Cross-National Information Attacks: A Two-Decade Analysis of Troll Behavior in Korea
该论文针对国家层面的协调性信息操纵（即网络水军/巨魔）问题，提出了一种可解释的机器学习框架，用于检测和纵向分析疑似境外势力在韩国在线新闻评论区的活动。研究背景是外国影响力行动对线上平台构成日益严重的威胁，但检测国家关联的巨魔账号并追踪其演变
Black-Box Forensics for Conversational LLM Agents
本文研究了对黑盒对话式LLM智能体进行数字取证的方法。随着LLM驱动的诈骗日益猖獗，识别隐藏端点背后的基础模型（归属）以及判断两个端点是否运行完全相同的系统提示（指纹识别），对于追溯诈骗来源、揭露犯罪网络和监控API变更至关重要。作者提出了
Evidence-Bound Gateway-Path Provenance for Third-Party LLM Inference
第三方LLM网关作为应用与外部LLM提供商之间的关键基础设施层，其功能远超简单的流量转发：它决定调用哪个提供商和模型、是否发生回退、交付哪个流、以及如何计费。由于这些决策和记录在运营商控制的服务内部生成，客户端无法独立区分诚实的中介与路由替
Lingering Authority: Revocable Resource-and-Effect Capabilities for Coding Agents
本文针对编码代理（coding agents）在执行任务时存在的“持久权限”（lingering authority）问题展开研究。当前编码代理通常在整个任务周期内被授予广泛的工具访问权限，即使某个资源仅在某一子目标中需要，其权限仍会在该子