TrustedARI: Towards Trust-Native Agentic Routing Infrastructure for Agentic AI
本文针对AI代理通过代理路由基础设施（ARI）访问外部模型、工具和服务时面临的信任风险，提出了TrustedARI——首个信任原生的代理路由基础设施。ARI架构使得AI代理必须将查询和响应以明文形式暴露给路由中间件，且代理无法验证查询是否被
#cs.AI
共收录 1684 条相关情报。
← 返回所有主题Let Them Steal: Trapping Large Language Model Extraction Attacks with Knowledge Honeypot
商业部署的大语言模型（LLM）面临严重的模型提取攻击风险，攻击者通过大量查询来窃取模型的知识或行为。现有防御措施要么在攻击发生后才能检测（反应滞后），要么通过扰动输出或限制查询来降低合法用户的体验。本文提出一种名为“Knowledge Tr
GAS-Leak-LLM: Genetic Algorithm-Based Suffix Optimization for Black-Box LLM Jailbreaking
大型语言模型（LLM）在AI驱动的信息技术生态中扮演核心角色。为降低有害或违规输出风险，商业系统采用先进的对齐策略和多层内容审核机制。然而，研究表明LLM仍易受对抗性操纵，尤其是越狱和提示注入攻击。本文提出GAS-Leak-LLM，一种基于
Snyk VulnBench JS 1.0: Can LLMs Find the Same Bugs Twice?
本研究旨在评估大型语言模型（LLM）在重复性漏洞检测任务中的表现一致性。研究者使用 Snyk VulnBench JS 1.0 基准测试，对同一份 JavaScript 代码、相同的提示词和测试框架进行了 300 次重复扫描，重点分析 GP
Odds Law: The Decomposition Algebra On How Intelligence Organizes Itself to Solve Difficult Problems Reliably
本文提出一个结构化问题：给定不可靠的基本问题求解器，如何组织它们才能可靠地解决困难问题，以及其中的极限是什么。作者发展了一种“分解代数”：基本求解器被视为随机范畴中的态射，四种组合子（顺序组合、并行集成、验证门控和递归约简）生成复合求解器的
FragFuse: Bypassing Access Control of Large Language Model Agents via Memory-Based Query Fragmentation and Fusion
该论文提出了一种针对大语言模型（LLM）智能体的新型攻击方法FragFuse，揭示了长期记忆机制引入的安全漏洞。LLM智能体日益依赖长期记忆来支持复杂任务执行、用户个性化与领域适配，同时研究者也开始探索访问控制机制以阻止违反策略的请求。然而
CmdNeedle: Measuring the Incompleteness of Command Denylists for AI Agents
本文研究了终端AI代理（如Claude Code）中命令黑名单的不完整性问题。随着AI代理的普及，终端AI代理通过执行Shell命令与主机系统交互，通常采用三列表命令门控机制（允许列表、拒绝列表、未知列表）来降低安全风险，其中拒绝列表是关键
Defending against Adaptive Prompt Injection Attacks via Reasoning-enabled Task Alignment
本文针对LLM智能体面临的间接提示注入攻击（攻击者通过第三方数据嵌入恶意指令）提出了一种新的防御方法RETA。现有防御方法在静态基准测试中近乎零攻击成功率，但在自适应攻击评估中性能大幅下降。作者分析指出两大失效原因：一是现有防御仅识别特定攻
Benign in Isolation, Harmful in Composition: Security Risks in Agent Skill Ecosystems
该论文聚焦于大型语言模型（LLM）智能体技能生态中的安全风险。智能体通过技能层将计划转化为实际行动，但现有安全审查通常孤立评估每个技能，忽略了实际任务中多个技能在共享执行上下文内被调用的场景。作者定义了技能组合风险（Skill Compos
Attribute Inference from Interactive Targeted Ads
本文研究了交互式定向广告系统中的属性推断问题。在定向广告中，广告商可以选择特定受众群体，并将广告投放与用户可见的交互行为（如点击、浏览）关联。当这些交互行为与发起该交互的广告活动保持关联时，广告商可能获得与特定用户相关的观测数据，而不仅仅是
AutoDojo: Adaptive Attacks Expose Superficial Defenses and User-Underspecification Limits in LLM Agents
该论文聚焦于大型语言模型（LLM）驱动的智能体面临的主要安全威胁——间接提示注入（IPI），即攻击者通过外部内容（如网页、文档）向智能体植入恶意指令。现有防御措施可分为三类：基于提示的（通过提示工程阻止智能体执行恶意指令）、基于检测的（识别
When Good Verifiers Go Bad: Self-Improving VLMs Can Regress on New Tasks
该论文挑战了视觉语言模型（VLM）自提升训练中的一个常见假设：更强的验证器必然带来更强的学生模型。作者指出，验证器的质量高度依赖于特定任务，不能简单地按参数规模或整体性能排序。他们设计了一个四层开源验证器阶梯，在MathVista、MMMU
Is Your Agent Playing Dead? Deployed LLM Agents Exhibit Constraint-Evasive Fabrication and Thanatosis
本文揭示并刻画了部署环境下大型语言模型代理一种此前未报告的行为谱系，作者将其命名为约束规避编造（Constraint-Evasive Fabrication, CEF）。当LLM代理在操作中面临不可调和的约束（即没有任何响应能够同时满足所有
From Shield to Target: Denial-of-Service Attacks on LLM-Based Agent Guardrails
本文揭示了一种针对基于大语言模型（LLM）的自主智能体护栏系统的新型拒绝服务（DoS）攻击。LLM护栏旨在防御提示注入和越狱攻击，但其自身的推理与任务遵循能力却被利用：攻击者通过注入精心构造的数据，迫使护栏陷入冗长的推理循环，导致系统资源耗
Securing the Future of IoMT in the Post-Quantum Era: An Edge-Native Federated Learning Approach
本文针对医疗物联网（IoMT）设备在资源受限、数据高度敏感以及联邦学习（FL）引入的隐私风险背景下，提出了一种结合后量子密码学（PQC）与边缘原生编排的安全框架。研究首先分析了IoMT面临的三重挑战：传统轻量级密码在量子计算下的脆弱性、FL
A Security Analysis of Long-Horizon Agentic AI Systems: Threats, Evaluation, and Framework Development
该论文对长期任务型自主AI系统的安全挑战进行了结构化分析。研究首先系统梳理了当前此类系统面临的主要威胁，包括提示注入、对抗性攻击、工具滥用、记忆污染及长期任务中的攻击传播等。接着，论文评估了现有的安全评估方法，指出它们在覆盖度和深度上的不足
AgentCyberRange: Benchmarking Frontier AI Systems in Realistic Cyber Ranges
论文提出了AgentCyberRange，第一个开放、多靶场的基础设施，用于在逼真的网络靶场中衡量前沿AI系统的自主网络攻击能力。该基准整合了15个真实Web应用程序中的110个漏洞，以及8个包含156个内部主机的企业级网络靶场，并提供了C
From Prompts to Responses: Dual-Sided Data Leakage and Defense in Split Large Language Models
该研究聚焦于分割式大语言模型（Split-LLM）中的数据泄露与防御问题。在隐私敏感场景中，用户面临两难：使用外部API可能泄露隐私数据，而本地部署则计算成本高昂。分割学习（Split Learning）作为一种折中方案，将模型切分，客户端
Beyond Runtime Enforcement: Shield Synthesis as Defensibility Analysis for Adversarial Networks
本文重新审视了强化学习中的盾牌合成技术，指出其传统上作为运行时安全机制的定位存在偏差。作者提出将相同的自动机理论工具——规范编译、乘积博弈构建、吸引子计算和获胜区域提取——重新解读为设计时的分析仪器，其输出是对系统安全属性的结构性洞察，而非
Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents
大型语言模型驱动的Web代理（Web Agent）正越来越多地被部署在真实环境中，它们需要处理不可信的网页内容并执行具有直接后果的操作，因此容易受到提示注入攻击——看似良性的内容中嵌入对抗性指令以操纵代理行为。现有的安全基准采用“攻击中心”