Privacy-Preserving Data Drift Detection and Recovery for Large-Scale LLM Applications via Proxy Representations
本文提出了 ProxyDrift 框架，用于在大型语言模型（LLM）应用的大规模部署中，在不接触原始用户数据的前提下进行数据漂移检测与评估集恢复。核心问题在于：隐私约束使得无法直接检查用户交互，从而难以获得代表性评估数据集或跟踪生产流量的持
#agent-security
共收录 1542 条相关情报。
← 返回所有主题Compositional Threat Analysis of Latent Compromise in LLM Agent Systems: The Order 66 Scenario
该论文借鉴虚构作品《星球大战》中的“第66号令”情节，提出了一种针对使用工具的LLM代理系统的组合式威胁分析框架。作者指出，在真实系统中，灾难性后果往往并非源于单一强大指令，而是由多个看似无害的组件组合触发：一个被部署的工件或共享内存中潜伏
Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection
检索增强生成（RAG）技术通过从向量知识库中检索语义相似的历史流量，使大语言模型能够对网络流进行分类并生成可读的入侵事件报告。然而，检索层的引入同时带来了知识投毒和提示注入等安全漏洞。本文提出 RAG-IDS，一个三层多智能体入侵检测框架，
Algebraic Attack on Convolutional Neural Networks with Max Pooling
该论文针对卷积神经网络（CNN）中最大池化层的参数提取攻击进行了系统研究。参数提取攻击旨在通过黑盒输入-输出查询恢复深度神经网络的权重和偏置，此前已在基于ReLU的全连接神经网络（FCNN）上得到广泛探索，但在包含最大池化层的CNN中仍是空
BASIS: Breach-Aware Selective Prompt Injection Shielding with Prefill Attention Probes
大型语言模型（LLM）应用面临提示注入这一严重安全威胁，攻击者通过将恶意指令嵌入用户输入或外部数据来劫持模型行为。现有检测方法仅判断注入是否存在，并在检测到时一律拒绝响应，却忽略了关键事实：对于许多现代对齐模型而言，精心构造的指令可以抵抗大
Persistent Semantic Entities in Tool-Augmented LLM Systems
该论文研究了工具增强型大语言模型（LLM）智能体系统中一种隐蔽的状态污染现象，作者将其形式化为“持久语义实体”（Persistent Semantic Entities, PSEs）。PSEs 指那些通过名称绑定、事件触发和跨边界传播在会话
Guixu: Valuation-Driven Data Discovery for Autonomous AI Agents with On-Chain Attestation
该论文提出了 Guixu，一个面向自主 AI 代理的、以数据价值评估驱动的数据发现系统。当前自主代理在执行模型训练、决策支持等下游任务时，高度依赖外部数据，但现有数据发现系统大多停留在检索层面：它们只能从异构数据源中返回候选数据集，却无法有
EvoTrustRAG: Evolution-Aware Conflict Attribution and Evidence Handling for Reliable Retrieval-Augmented Generation
本文针对检索增强生成（RAG）系统中证据冲突这一根本性挑战，提出了一种新的研究问题——冲突来源归因（conflict origin attribution），并设计了无训练框架 EvoTrustRAG。在动态和对抗性环境中，同一冲突可能源自
Capability-Routed Guard: Defending Large Reasoning Models Against Reasoning-Centric Jailbreaks
本文针对大型推理模型（LRM）暴露出的新型安全失效模式展开研究：对抗性提示能够操纵推理上下文、任务分解或能力解释，使有害目标被当作合法推理步骤处理。现有防护手段（如安全提醒、外部分类器、自检查包装器）往往脆弱，原因在于它们要么直接检查对抗性
Prεεmpt: Sanitizing Sensitive Prompts for LLMs.
本文针对大型语言模型（LLM）推理阶段中提示词（prompt）包含敏感信息可能泄露给专有LLM API 的隐私问题，提出了一种基于密码学思想的提示词净化器（prompt sanitizer）概念及其系统实现 Prmpt（论文标题中写作 Pr
The Anatomy of a Prompt Injection: A Component Model for Structured Analysis
该论文针对提示注入（Prompt Injection）攻击缺乏结构化描述的问题，提出了一种七组件模型，用于对提示注入工件进行形式化分析。自2022年提示注入被首次识别以来，虽然Agent能力不断进化、威胁行为者已将注入嵌入以破坏AI辅助安全
Can AI Write Compliant Code, and to What Extent? Evaluating SOC 2 Compliance of Claude Fable 5, Claude Opus 4.8, and Claude Opus 5 Across Four Use Cases
该论文系统评估了前沿大语言模型在无人提示安全要求时编写代码的合规性，以及仅提及一次安全标准对结果的影响。研究选取三个模型（Claude Fable 5、Claude Opus 4.8、Claude Opus 5），在四个典型用例（S3 CL
IntelliAudit: Using Large Language Models to Evaluate Audit Controls
本文提出IntelliAudit系统，旨在解决IT审计中自动化评估证据的难题。传统审计需要审计员判断异构组织证据（如政策、记录、电子表格和操作工件）是否满足语义安全与合规控制，这种判断难以自动化，因为相关证据分散且审计结论依赖证据充分性而非
"Operator, can you hear me?" A Faithful Line into the UNISOC Baseband
本文提出了一种针对 UNISOC 基带处理器的高保真重托管（re-hosting）方法，名为 Unislop，旨在解决基带安全分析中因执行环境近似和片上系统（SoC）复杂性低估而导致的协议状态机难以系统化分析的问题。基带处理器通过无线信号始
Soft Redaction of Image Provenance via Zero-Knowledge Proofs
该论文提出了一种用于图像来源信息（provenance）的“软删除”（soft redaction）机制，旨在解决C2PA等来源标准中透明度与隐私之间的冲突。C2PA标准通过附加签名记录来声明图像的来源、编辑历史和权利信息，但这些断言可能泄
Beyond Text Matching: Towards Reference-Free Evaluation for Human-Oriented Binary Reverse Engineering
本文针对人类导向的二进制逆向工程（HOBRE）评估难题展开系统性研究。HOBRE 旨在将反编译伪代码转换为更易读、更符合人类认知的表示形式，以降低逆向分析人员的认知负担。然而，如何可靠地评估 HOBRE 输出一直是核心挑战：人工评估成本高昂
HarnessSafe: Evaluating Safety Across Persistent Carriers in Agent Harnesses
该论文提出一个名为 HarnessSafe 的基准测试，聚焦于现代智能体 harness（agent harness）中持久化载体（persistent carriers）带来的延迟安全风险。现代智能体系统为了跨任务和会话保持状态，会使用内
Statistical Analysis of Executability and Program Equivalence in Decompilation for IoT Vulnerability Detection
本文针对物联网（IoT）固件漏洞检测中的反编译质量问题展开研究。IoT 设备常处理音频、视频、认证数据等敏感信息，其固件漏洞检测至关重要。反编译是关键技术之一，而基于大语言模型（LLM）的反编译工具虽能提供高可读性和高重编译成功率，但由于
When Context Bites: Detecting RAG Poisoning via Document-Level Attention Collapse
本文针对检索增强生成（RAG）系统面临的投毒攻击威胁，提出了一种基于文档级注意力坍缩（Attention Collapse）的检测方法。RAG通过注入外部文档来增强大语言模型的生成能力，但攻击者可能注入对抗性文档以操纵模型输出。现有检测方法
SynChain: Inducing Computer-Use Agent Systems to Construct Their Own Attack Chains
计算机使用代理（CUA）系统将大型语言模型（LLM）转化为可持久执行的智能体，能够生成、存储并复用技能（skills）和记忆条目（memory entries）等工件。然而，现有安全防御大多将攻击视为外部触发或时间有限的过程，未能有效应对恶