Early Detection of Distributed Backdoors in Multi-Agent LLM Systems: A Characterization Study
本文研究多智能体LLM系统中分布式后门攻击的早期检测问题。攻击者通过一个中毒工具将加密后的恶意负载片段隐藏在观测结果中，这些片段被分发到多个智能体，运行结束后由外部过程重组并执行。由于每个智能体单独持有片段不完整，逐步骤的安全检查可能无法识
#cs.AI
共收录 1665 条相关情报。
← 返回所有主题DeepFaith: Evidence-Grounded LLMs for Faithful Incident Reporting in Multi-Stage APT Defense
高级持续性威胁（APT）因其多阶段和隐蔽性而难以检测和解释。现有的自主防御系统利用溯源图和学习模型进行检测和缓解，但其输出主要是机器导向的，分析师难以理解。大型语言模型（LLM）为报告生成提供了有前景的接口，但常常产生幻觉或缺乏证据支持的内
Agentic Cloud Decoys: A Deception-Driven Framework for Autonomous Intrusion Investigation
该论文提出了一种名为 Cloud Decoy AI Agent 的欺骗驱动框架，旨在解决云环境入侵调查中日志量庞大、攻击者操作与正常管理难以区分的问题。框架将高保真云蜜罐（Decoy）与自主语言模型代理（Agent）相结合，能够自动将可疑活
TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation
检索增强生成（RAG）通过引入外部知识库，使大语言模型能够基于检索到的文档生成答案，从而减少幻觉并适应快速变化的信息。然而，RAG 系统面临知识投毒攻击：攻击者只需上传少量对抗性文档，就能操纵模型输出错误答案。PoisonedRAG 研究显
The Illusion of Secure LLM Code: Closing the Security Gap via Iterative Reprompting
本文评估了大型语言模型（LLM）在自动生成安全认证代码方面的能力。研究选取了五种主流AI编码助手，通过双模态评估框架（静态代码分析结合动态渗透测试）并参照NIST SP 800-63B指南，分析了四种提示策略（基础、安全、NIST引导、迭代
DualityCert: Verifier-Gated Language-Model Repair of Broken Duality Claims in Quantum Field Theory
该论文提出 DualityCert，一个专为四维 N=1 quiver 规范理论中 Seiberg 对偶性声明设计的符号验证器。验证器检查 't Hooft 异常匹配、超势 R-荷一致性、中心荷匹配以及一个有界的手征环代理。通过验证的声明获
Are You Still the Agent I Authorized? Earned Authority under a Fixed Ceiling for Evolving Agents
该论文研究了长期运行的AI代理在部署后通过保留经验、获取技能和工具、修改工作流、委托任务以及在任务阶段间移动等方式不断演化所带来的授权问题。随着代理演化，代理本身或执行授权的上下文可能不再匹配用户最初评估的对象，从而导致授权连续性缺失。现有
Mission-Level Runtime Assurance for LLM-Assisted ISR Swarms over a Verification-Aware Fabric
该论文针对LLM辅助自主机器人蜂群在执行协作情报、监视与侦察（ISR）任务时面临的组合保证失败问题，提出了一种三层（平台/小队/任务）组合运行时验证框架。首先，论文指出现有的单平台防护机制无法检测跨平台违规行为，例如多个平台各自执行合规动作
Do LLMs Know Their Vulnerable Scenarios?
该论文研究了大型语言模型（LLM）在特定场景下绕过安全对齐（safety alignment）的漏洞。尽管经过安全微调的LLM被训练成拒绝有害请求，但将相同请求嵌入特定场景（如角色扮演、上下文包装）时，其防护机制可能被绕过。现有红队方法通过
ATLAS: Automated Approximation of Transformers for Efficient Homomorphic Inference in One Hour
全同态加密（FHE）为隐私推理提供了强加密保障，但在FHE下部署Transformer模型仍然代价高昂。关键瓶颈在于softmax、归一化和激活等非线性运算必须替换为与CKKS方案兼容的多项式近似，而近似消耗的乘法深度主导了推理成本。现有框
On AI Safety and Security Technical Debt in Engineering AI-Enabled Systems
该论文针对人工智能（AI）系统中因复杂性、快速演化及动态数据管道所引入的新型工程负债——AI技术债务（AITD）进行了系统性综述。研究基于AI信任、风险与安全管理（AI TRiSM）原则，将技术债务重新解释为与可信性相关的维度，聚焦于AI安
False Prophets: On the Security of World Models in Agentic Systems
该论文聚焦于智能体系统中世界模型（world model）的安全性问题。世界模型是一种专门训练的环境模拟器，旨在帮助基于大语言模型的自主智能体预测其动作的后果，从而提升多步任务执行的准确性。然而，作者发现世界模型可能被攻击者操纵，导致智能体
Poster: Rethinking Security in LLM Code Generation through Real-World Risk Scenarios
本论文聚焦于大型语言模型（LLM）在代码生成中的安全性问题，指出现有基准测试往往依赖明确指定的安全需求，无法覆盖真实开发中提示词模糊或不完整的场景。作者从开发者视角出发，识别出三类典型风险场景：模糊需求（Ambiguous Requirem
Traceable LLM Reasoning for Fake-Order Fraud Detection
本文针对大型线上到线下（O2O）服务平台中虚假订单检测的挑战，提出了一种基于大语言模型（LLM）的可追溯推理强化学习框架DeepScrub。现有方法通常依赖专家设计特征、做出黑盒决策且可解释性有限。DeepScrub包含三项创新：首先，语义
Share No More Than the Request Requires: Federated Disclosure for Perspective-Aware AI
本文针对现代AI系统在用户数据收集、集中控制和隐私侵犯方面的社会风险（如大规模监控、权力过度集中、用户自主权丧失），提出了一种面向隐私保护的联邦披露框架。作者认为用户需要一种主权系统来安全地拥有、治理和披露个人上下文数据，同时满足跨监管领域
SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI
SAGE 是一篇关于高影响力生成式 AI 安全治理的研究论文。作者指出，当前对 AI 滥用的防护多集中在 prompt 过滤层面，但真正的风险来自全生命周期控制缺失。为此，SAGE 提出了一种安全优先、授权分离的架构，在考虑效用、延迟或商业
What Can Be Enforced? A Theory of Certified Runtime Safety for Tool-Using Agents
该论文研究使用工具（tool-using）的智能体在运行时安全领域的可执行性（enforceability）理论。现有运行时防护栏（runtime guardrails）在不可逆的工具调用前进行干预，但它们的保证取决于可表示的策略状态、裁判
Dynamic Capability Scoping for Enterprise AI Agents: A Synthetic Dataset and Three-Source Permission Architecture
企业级AI代理通常被授予静态凭证集，以便在配置时拥有完成任务所需的所有工具。这种持久的过度权限扩大了攻击面。本文提出，能力范围界定必须遵循动态最小权限原则，并将其作为检测机制之前的预防机制。一个在代理上下文中不存在的凭证，无论代理的推理或规
Agent Security Needs Redefinition through a Holistic Framework
本文对当前基于内容（action content）定义代理安全的范式提出了尖锐批评。作者指出，仅凭指令或动作的字面内容来判断是否恶意，在本质上是一种系统性错误，因为相同的内容在不同上下文中可能具有完全不同的含义。例如，“删除用户数据”这一命
Practical Graph Optimisation and AI-Driven Models for Active Directory Security Hardening
本文研究了Microsoft Active Directory (AD) 安全加固中的实践挑战。AD作为企业核心管理服务，常成为攻击目标。现有攻击图谱加固方案存在三大局限：1）假设图谱静态，而实际AD环境高度动态；2）仅关注撤销漏洞（边移除