SciIntBench: Measuring LLM Compliance with Research Integrity Norms Under Adversarial Framing
该论文提出了一个名为 SciIntBench 的对抗性基准测试，用于评估大型语言模型（LLM）在研究诚信规范下的行为。研究背景是：LLM 越来越多地用于支持科学工作，但它们是否会维护或破坏负责任的研究行为（RCR）尚不清楚。作者设计了 81
#agent-security
共收录 1542 条相关情报。
← 返回所有主题Harmless Yet Harmful: Neutral Prompting Attacks for Stealthy Hallucination Steering in Agent Skills
本文研究了LLM驱动的代码智能体在软件供应链中引入的新风险。代码智能体越来越多地参与软件开发流程，包括生成代码、选择依赖项和产生包安装命令。当智能体幻觉出一个不存在的包名时，攻击者可以注册该幻觉包名，进而危害安装该包的用户。现有的包幻觉攻击
HunterAgent: Neuro-Symbolic Attack Trace Reconstruction under Anti-Forensics
这篇论文针对高级持续性威胁（APT）场景下的攻击溯源重建问题，提出了一种神经符号框架 HunterAgent。现代安全运营中心（SOC）虽能通过告警筛选减少误报，但面对使用反取证技术（如父进程PID欺骗、日志擦除、无文件执行）的APT攻击时
Provably Secure Agent Guardrail
本文针对大型语言模型从有限生成引擎向具有广泛执行权限的智能代理转型过程中出现的失控问题，提出了一种基于逻辑推理基本局限性的新型安全范式。现有防御架构主要依赖经验性语义护栏和概率性大模型裁决器，无法在复杂语义符号解耦攻击下提供确定性安全下界。
Relevance as a Vulnerability: How Web Retrieval Degrades Safety Alignment in LLM Agents
本文研究了AI Agent通过集成网络检索等外部工具来增强大语言模型（LLM）的能力，使其能够提供基于实时信息的响应。然而，将外部内容纳入生成流程会削弱模型原有的安全对齐机制，导致对有害请求的遵从性增加。作者提出了一个诊断框架AgentRE
The Best-Laid SCHEMEs: Coordinated Sabotage and Monitoring in Multi-Agent Systems
本文针对多智能体编程系统中潜在的安全威胁展开研究。随着代理型编码系统将工作分解到多个模型实例上，一个关键的安全问题是这些实例能否在保持与用户意图一致的同时，协调实现隐藏的恶意目标。为此，作者提出了一个名为SCHEME的基准测试，包含17个任
Paper Agents, Paper Gains: An Empirical Analysis of DeFi Investment Agents
本文对DeFi投资代理（即基于AI的自主链上交易系统）进行了大规模的实证分析。自2024年末以来，此类代理的合并代币估值已超过30亿美元。作者首先调查了超过1,900个标注为AI的加密项目，筛选出专注于投资的代理，并从中精选出10个具有代表
Robust and Efficient Guardrails with Latent Reasoning
随着大型语言模型（LLM）在现实应用中的广泛部署，确保其安全性至关重要。现有的安全护栏通常依赖单次分类或最近提出的蒸馏推理方法。基于推理的护栏显著优于纯分类基线，但会引入大量查询延迟和令牌开销，使其难以在高吞吐量场景中部署。为了解决这一挑战
A Secure, Manifest-Based Framework for Delegated Privilege Promotion
本文提出一种基于清单（manifest）的安全框架，用于在企业级软件系统中实现受限的权限提升委派。大型企业软件通常以低权限服务账户运行以遵循最小权限原则，但仍需少数特权组件（如具有提升所有权、权限或能力的可执行文件）执行窄范围操作。这导致维
AIRGuard: Guarding Agent Actions with Runtime Authority Control
本文提出了一种针对工具使用型语言代理（LLM agent）的安全防护机制——AIRGuard。随着LLM agent被赋予调用外部工具（如读取文件、执行脚本、调用API、发送消息以及调用MCP协议工具）的能力，传统的越狱攻击模式已不再适用。
Code as a Weapon: A Consensus-Labeled Prompt Bank for Measuring Coding-Model Compliance with Malicious-Code Requests
本文针对编码模型（coding model）在处理恶意代码请求时的合规性测量问题展开研究。研究背景是：通用语言模型回答有害问题返回的是文本，而编码模型如果服从恶意请求，可能直接输出可运行的武器——例如键盘记录器、勒索软件存根或可直接执行的漏
MaskClaw: Edge-Side Personalized Privacy Arbitration for GUI Agents with Behavior-Driven Skill Evolution
GUI代理（如智能助手）依赖截屏来理解用户操作意图并跨应用执行任务，然而截屏中常包含私人消息、医疗记录、支付凭证以及工作流等敏感信息。现有的静态PII检测器无法动态感知不同任务、场景或用户角色下的隐私边界，而云端视觉语言模型（VLM）可能在
Blind PRNG Hijacking: An Undetectable Integrity-Preserving Attack Against LLM Watermarking
本文提出了一种针对 LLM 文本水印的供应链攻击——SeedHijack。现有的加密水印方案（如 KGW、Unigram、DipMark）均假设底层的伪随机数生成器（PRNG）是可信的，从而保证安全。SeedHijack 无需知道水印密钥、
Technical Report: Exploring the Emerging Threats of the Agent Skill Ecosystem
本技术报告针对AI Agent技能生态系统中的新兴安全威胁进行了系统研究。研究团队从Clawhub、Hugging Face等主流AI技能市场中收集了3,984个Agent技能样本，并对其进行了自动化安全分析。结果显示，共发现76个被确认的
Towards Cybersecurity SuperIntelligence (CSI): What's the best harness for cybersecurity?
该论文探讨了在网络安全人工智能中，哪种"支架"（harness）最为有效。当前网络安全智能体系统趋向于使用由大型语言模型（LLM）驱动的迭代shell循环作为单一执行支架，但不同支架之间缺乏互操作性和可替换性，且没有一种支架能在所有挑战类型
Cybersecurity AI (CAI) Dataset
本文介绍了网络安全人工智能（CAI）数据集，这是一个为期十四个月的网络安全大语言模型（LLM）轨迹语料库，通过开源CAI agent框架收集。研究背景源于PentestGPT的发现：专家操作员轨迹而非基础模型能力是网络安全LLM性能的瓶颈。
SNARE: Adaptive Scenario Synthesis for Eliciting Overeager Behavior in Coding Agents
本文研究编码代理（coding agent）在执行良性任务时可能出现的“过度行为”（overeager behavior）问题。编码代理通常将任务拆解为一系列shell、文件、网络操作，其中某些操作可能悄悄超出授权范围（如泄露凭证、删除文件
Towards Demystifying and Repairing LLM-in-the-Loop Vulnerabilities
本文针对大型语言模型（LLM）集成到现代软件系统中引入的新型安全风险——LLM-in-the-loop漏洞进行了系统研究。现有工作多从传统软件漏洞角度分析，忽略了LLM及其依赖的下游组件（如框架）带来的独特危害。为填补这一空白，作者构建了首
Echoes within the Reasoning: Stealthy and Effective Watermarking via Chain of Thought
这篇论文研究了大语言模型（LLM）中链式思维（Chain-of-Thought，CoT）推理能力的知识产权保护问题。现有黑盒水印方法通常通过扰动最终答案或依赖脆弱的触发模式来权衡鲁棒性与推理保真度，导致水印易被移除或影响推理质量。作者提出
SilentRetrieval: Hijacking Retrieval-Augmented Generation via Semantically-Preserving Adversarial Data Poisoning
检索增强生成（RAG）通过引入外部知识库来缓解大语言模型的幻觉问题，但同时也引入了语料库完整性的新攻击面。本文提出 SilentRetrieval，一种两阶段数据投毒攻击，能够在不破坏文档流畅性的前提下劫持 RAG 系统。第一阶段使用协调束