Beyond Handcrafted Security: Towards Self-Evolving Defense for LLM Agents
随着大语言模型（LLM）代理的操作能力不断扩展，其引入的安全威胁也日益复杂。运行时防御通过在代理执行循环中集成安全机制，已成为缓解这些风险的有效方法。然而，现有的运行时防御严重依赖人工设计的干预措施，缺乏构建和维护这些防御的原则性框架。本文
#cs.AI
共收录 1665 条相关情报。
← 返回所有主题Labels Are Not Endpoints: Treatment Leakage and Construct Validity in MCP Agent Security Evaluation
本文针对工具使用型智能体（MCP Agent）安全评估中的方法论缺陷展开审计研究。作者指出，当前许多安全评估将存储的标签（如 ATTACK_SUCCESS）直接等同于真实行为事实，忽略了标签生成过程中的偏差。研究团队对一个已保存的评估活动进
PIPES: Securing Agent Perception with Provenance and Priors
本文研究了工具型智能体（tool-using agents）在消费外部数据时面临的安全问题。这类智能体会从不同可信级别的来源获取数据，但工具响应通常不标明每个响应单元的来源或预期语义，导致智能体可能被攻击者控制的内容污染。作者将这种攻击定义
Correct Is Not Governed: Provenance Integrity in Agentic Workflows
该论文针对智能体工作流（agentic workflows）评估标准过于单一的问题展开研究。传统上，系统是否成功仅取决于是否达到正确结果，但在机构化场景中，这一标准远远不够：一个动作即使结果正确，也可能依赖于错误的权威来源、包含未经证实的完
Tracing Provenance and Detecting Tampering with Complementary LLM Watermarks
本文针对大语言模型（LLM）生成文本的溯源与篡改检测问题，提出了一种新型互补水印方法。现有水印技术通常对文本编辑具有鲁棒性，能够保持溯源属性，但这种鲁棒性也带来安全漏洞：攻击者可以在保留水印归属的同时对关键内容进行篡改，即所谓的“piggy
Privacy-Preserving RAG by Concealing Sensitive Information from External LLMs
本文提出了一种面向检索增强生成（RAG）场景的隐私保护框架 SEAG（Sensitive Entity Alias Generator），旨在解决外部大语言模型（LLM）在生成回答时可能接触用户查询和检索文档中的敏感信息这一常被忽视的问题。
Convergent Detour Hijacking: Task-Preserving Resource Amplification in Skill-Based LLM Agents
该论文提出了一种针对基于技能（skill-based）的大型语言模型（LLM）智能体的新型攻击方法——收敛性绕行劫持（Convergent Detour Hijacking, CDH）。在LLM智能体生态中，第三方技能通过自然语言描述供模型
VICBench: A Multi-Language Benchmark for Code Vulnerability Detection
在软件安全领域，准确评估漏洞检测工具的效果高度依赖于包含“漏洞诱导提交”（Vulnerability-Inducing Commits, VIC）的基准数据集——即首次将漏洞引入代码库的提交。VIC 对于确定受影响的软件版本范围、追踪漏洞演
Machine Learning-Based Cyber Defense for Cloud Infrastructure: An Adaptive Deep Q-Network Architecture for Intelligent Intrusion Detection and Automated Threat Mitigation
本文提出了一种基于强化学习的自适应云安全防御框架，旨在应对云环境中日益复杂的网络攻击。该框架采用深度Q网络（DQN）作为核心算法，通过训练智能体学习动态防御策略，实现实时入侵检测与自动威胁缓解。研究使用了CICIDS2017数据集进行模型训
How China-Origin Vision-Language Models Move from Refusal to Reframing in State Alignment
本研究系统性地考察了中国来源的视觉-语言模型（VLMs）在政治敏感话题上的国家对齐（state-aligned）行为，重点关注其如何从显式的拒绝转向隐式的重新表述。作者构建了一个包含200个核心条目的平衡基准，覆盖十个政治敏感话题，并设计了
Towards Model-based Run-time Cybersecurity: On Control-Flow Anomaly Detection, Attack Identification, and Hardware Monitoring
该论文针对网络攻击下系统韧性提升问题，提出一种基于模型的运行时网络安全方法，重点研究控制流异常检测、攻击识别与硬件监控的协同架构。作者指出，传统的控制流监控通过观察程序执行路径确保系统完整性并检测运行时异常，但单纯依赖软件层监控存在被“伪装
Instruction Alignment for Binary Code Representation Learning
二进制代码表示学习是软件安全与逆向工程中的基础性难题，其目标是为二进制函数生成可供机器学习算法使用的嵌入表示。现有主流方法通常聚焦于函数级嵌入，通过对比学习或分类任务捕获不同函数之间的粗粒度语义相似性，但忽视了指令级粒度的对应关系。这种粒度
Fingerprinting Text-to-Image Diffusion Models via Collapsed Generation
该论文针对专有文本到图像扩散模型的知识产权（IP）保护问题，提出了一种基于“塌缩生成”（collapsed generation）现象的非侵入式模型指纹识别框架。随着此类模型以托管服务和可下载检查点形式分发，模型泄露、复制或未经授权的微调纠
The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark
这篇论文针对 AI 智能体在网络安全领域的逆向工程（RE）能力评估问题，提出了一个全新且严格的基准测试 SRE-Bench。研究背景是：AI 智能体在源代码可用时已展现出强大的安全分析能力，但实际中许多关键软件（如恶意软件、固件、专有应用）
AI Guardrail Survival under Single-Cycle Agentic Self-Summarization
本文研究了长期运行的智能体（agent）在上下文压缩（context compaction）过程中，安全护栏（safety guardrail）如何因单一周期的自我摘要（self-summarization）而失效。长期智能体通常需要周期性
Backdoor Decontamination Dynamics in LLM Agents
本文研究开放权重 LLM 智能体在微调阶段可能被植入后门的安全问题。此类后门在测试阶段若触发条件未满足，可能无法被检测到。由于防御者不知道原始触发条件，无法直接“忘记”该后门。一种去污（decontamination）策略是安装一个已知后门
SegPAR: Class-Centric Decision-Based Sparse Attack for Semantic Segmentation
本文聚焦于语义分割任务中的决策黑盒稀疏攻击问题。尽管稀疏决策黑盒攻击在分类领域已有研究，但在语义分割中尚缺乏系统性探索。作者首先将分类域中最具代表性的决策黑盒稀疏攻击方法改编至语义分割场景，构建了该未充分研究区域的基准测试。通过基准分析，发
A Gateway Architecture for Enterprise MCP Authentication: Unifying Heterogeneous Auth, Identity Delegation, and the User / Non-User Persona Problem
本文报告了一种面向 Model Context Protocol (MCP) 的企业级网关认证架构。MCP 已成为将 LLM 代理连接到企业工具的事实标准接口，但其快速采用带来了治理危机：大型组织在一年内从零部署到数十个内部 MCP 服务器
Agent Safety Should Be a Runtime Contract
该论文对当前人工智能安全的主流范式提出结构性批评，认为仅靠训练阶段的对齐方法（如RLHF、DPO、Constitutional AI）无法充分保障自主智能体的安全。作者主张，智能体安全应被设计为一种由执行环境（harness）强制实施的“运
On Understanding, Identifying, and Mitigating Vulnerabilities in Agentic Large Language Models
该论文对智能体大语言模型（Agentic LLM）的安全脆弱性进行了系统性综述研究。随着大语言模型从无状态对话接口演变为具备多步规划、工具调用、代码执行和持久记忆的自主智能体，其在实际系统中获得API调用、文件修改和数据库查询等真实权限时，