ElephantAgent: Contextual State Continuity in Agentic Systems
本文提出了一种针对代理系统（Agentic Systems）上下文状态中毒攻击的防御协议——ElephantAgent。近年来，随着大语言模型（LLM）驱动的代理系统广泛调用外部工具并维护持久化记忆，攻击面也随之扩大。工具和记忆中毒攻击（T
#LLM
共收录 2152 条相关情报。
← 返回所有主题Has This Checkpoint Been Abliterated? A Two-Signal Audit and Its Failure Map
该论文研究一个关键的安全问题：在部署开源权重的大语言模型（LLM）检查点之前，如何判断其是否被恶意剥离了“拒绝机制”（refusal mechanism，即模型原本拒绝回答有害请求的能力）。现有的运行时防护手段仅能评估模型生成的输出，而无法
Knowledge Over Parameters: Evolving Smart Contract Vulnerability Detection
该论文提出 EvoVuln，一个自动生成智能合约漏洞检测程序化知识的框架。现有基于大语言模型（LLM）的方法存在局限：基于提示的方法依赖人工设计的检测规则，而微调则需要大量标注样本，这在智能合约领域难以获取。EvoVuln 将漏洞检测重新定
VeriChat: An Agentic Conversational AI Assistant for Hardware Security Verification
硬件安全验证是一个多阶段流程，工程师需要处理复杂的设计分析、威胁考量与验证策略，但现有验证环境缺乏结构化的安全指导支持。虽然对话式AI可以提供按需帮助，但直接使用通用型聊天机器人（如ChatGPT、Gemini）存在风险，因为它们容易产生幻
AgentFlow: Building Agent Dependency Graphs for Static Analysis of Agent Programs
本文提出 AgentFlow，首个针对 LLM 代理程序的静态分析框架。LLM 代理程序通常基于代理框架开发，其行为不仅依赖传统控制流和数据流，还受代理依赖关系影响，如模型、提示、工具、记忆及多代理编排逻辑等。这些依赖关系往往通过框架语义（
Overthink-Triggered Slowdown Attacks on LVLM-Based Robotic Systems
该论文研究了大型视觉语言模型（LVLM）在机器人系统中可能存在的“过度思考”行为，即模型生成过长的推理链，导致推理时间显著增加。这种过度思考行为可以被攻击者利用，通过在机器人感知的视觉场景中嵌入精心构造的、人类可读的场景文本，来触发过度思考
Janus: a Playground for User-Involved Agentic Permission Management
本文提出了 Janus，一个用于实现和评估用户参与的代理权限管理设计的实验系统。Janus 包含两个组件：Janus-Core，一个模块化的代理系统，支持多种权限管理设计；Janus-Harness，一个自动化评估框架。基于一个概念模型，该
Antaeus: Hunting Repository-Level Logic Vulnerabilities via Context-Grounded LLM Reasoning
该论文提出了Antaeus，一个用于检测仓库级逻辑漏洞的框架，通过将LLM推理锚定在仓库级代码上下文中来克服现有方法的局限性。逻辑漏洞的识别需要推断应用特定的安全不变量和隐式假设，而现有基于LLM的检测器在内存安全等漏洞上表现良好，但难以处
SessionBound: Turning Enterprise Task Approval into Budgeted Database Sessions
本文提出 SessionBound，一种将企业 AI 代理的任务审批转化为有预算、可审计的数据库会话的框架。随着 AI 代理在企业内部分析、审计、合规检查和运营调查中的广泛应用，传统的授权机制面临挑战：经理或数据所有者可能批准一个业务任务，
HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment
该论文研究了大型语言模型（LLM）在安全对齐后内部表示的安全方向问题。作者首先证实了之前的工作：对齐的LLM在提示侧（prompt-side）的残差流中编码了“有害性”（harmfulness）和“拒绝”（refusal）两个可分离的方向。
Cognitive Firewall: A Proactive, Zero-Trust, Multi-Gate Framework for LLM Safety
本论文提出了一种名为“认知防火墙”（Cognitive Firewall）的主动式运行时监督框架，旨在增强大型语言模型（LLM）的安全性。当前主流的运行时安全措施通常将用户提示或模型响应作为孤立消息进行评估，这导致它们难以检测跨多轮对话中积
Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces
该论文揭示了大型语言模型（LLM）在支持函数调用的状态ful环境中存在的一种结构性安全漏洞。在此类系统中，开发者定义的函数schema、结构化参数以及不可信的工具输出被混入同一个共享模型上下文，导致可信控制逻辑与不可信数据间的边界模糊，攻击
Minos: A Multi-Agent Collaborative Framework for Provenance-Based Backward Tracking
本文提出了一种名为 Minos 的多智能体协作框架，用于基于溯源的后向追踪（provenance-based backward tracking），以应对高级持续性威胁（APT）等复杂攻击的取证分析需求。现有方法依赖低级统计特征和刚性遍历策
KidnapRAG: A Black-Box Attack for Hijacking Reasoning in Agentic Retrieval-Augmented Generation Systems
检索增强生成（RAG）系统容易受到投毒攻击，攻击者通过注入恶意文档来操纵模型输出。近期出现的智能体RAG（Agentic RAG）系统通过迭代执行检索与推理，能够忽略弱相关的投毒文档并保持由用户查询引发的推理链，从而对此类攻击表现出更强的鲁
A Penny for Your Prompts: Experiments Detecting and Mitigating LLM Usage by Survey Respondents
本研究针对众包平台（如Prolific和Mechanical Turk）上调查问卷参与者越来越多使用大型语言模型（LLM）辅助回答的现象，旨在量化这种行为的普遍性并探索检测与缓解方法。研究团队开展了一系列调查（样本量N=250），系统评估了
(A)I Sees What You Don't: Exploiting New Attack Surfaces in Third-Party Mobile Agents
本文研究第三方移动代理（Agent）应用中的安全漏洞，重点关注基于视觉语言模型（VLM）的自动化手机交互代理。这些代理通过截图感知设备状态并依赖VLM推理执行动作，拥有高权限决策能力。与传统移动应用相比，代理与环境的交互方式引入了新的攻击面
Robust Text Watermarking for Large Language Models via Dual Semantic Embeddings
该论文提出了一种名为双重嵌入水印（DEW）的语义水印方案，用于保护大型语言模型（LLM）生成的文本。DEW的核心创新在于同时利用上下文嵌入和词元级嵌入来增强水印对释义和翻译攻击的鲁棒性。方法采用信号处理框架，通过对词元和上下文的嵌入向量进行
EnclaveX: End-to-End Confidential AI with CPU/GPU TEEs
本文针对大语言模型（LLM）在云环境部署中面临的敏感数据泄露和完整性风险，系统研究了利用CPU与GPU可信执行环境（TEE）实现端到端机密AI工作流的可行性与性能开销。当前主流云服务（Azure、GCP、AWS）依赖集中式基础设施，用户必须
CSO-LLM: Class Subspace Orthogonalization for Post-Training Backdoor Detection and Trigger Inversion in LLMs
本文提出一种针对大型语言模型（LLMs）的后门检测与触发器反演框架。现有后门检测方法主要针对图像等领域，对LLMs的适用性有限，因为LLMs的输入空间是离散的，且存在大量可能的触发器组合（token序列），同时需要黑名单过滤目标类常见tok
The Decomposition Is the Fingerprint: Per-Component Identity for Agent Skills
本文针对AI agent在执行时从市场或其他agent获取的技能（包含提示指令、可执行代码和工具声明）的身份标识问题。现有加密哈希（如SHA）对微小改动敏感，无法反映技能之间的相似性，不利于技能治理和注册。作者提出一种紧凑的局部敏感指纹方法