SecRL-Prune: Structured Reinforcement Learning-Based Pruning of CodeLLMs for Preserving Adversarial Code Mutation
本文研究大型代码语言模型（CodeLLMs）在对抗性代码变异中的安全性问题。CodeLLMs能够生成和重写程序，实现功能保留的代码突变，可能被用于创建多样化的恶意软件变种以逃避基于签名的检测。核心问题是：这种突变能力在模型压缩后是否仍然保留
#agent-security
共收录 1542 条相关情报。
← 返回所有主题Steering LLM Viewpoints through Fabricated Evidence Injection
随着聊天机器人日益影响日常决策，其产生误导性回复的潜力对用户构成重大风险。本文研究LLM的一种关键认知脆弱性：当面对带有可信标记的伪造证据时，LLM会不加批判地信任外部上下文。作者提出了Ghostwriter，一个两阶段攻击框架：第一阶段用
RedEdit: Agentic Red-Teaming of Image Safety Classifiers via MCTS-Guided Photo-Editing
该论文提出 RedEdit，一种新颖的黑盒红队代理，用于系统性地测试图像安全分类器对用户风格恶意图像编辑的鲁棒性。图像安全分类器是当前互联网内容审核系统的关键组成部分，但其对日常场景中常见的恶意编辑（如裁剪、滤镜、叠加文字等）的抵抗能力尚未
GuardNet: Ensemble Strategies of Shallow Neural Networks for Robust Prompt Injection and Jailbreak Detection
大型语言模型（LLM）在自然语言处理任务中展现出强大能力，但易受提示注入（PI）和越狱（JB）攻击。此外，现有基准评估可能受到数据污染和部分信息泄露的影响，导致性能估计不可靠。本文提出 GuardNet——一种基于浅层神经网络（BiLSTM
SHIELDS: Automating OS Hardening with Iterative Multi-Agent Remediation
本文提出 SHIELDS，一个基于多智能体系统和大语言模型（LLM）的自动化操作系统加固框架。针对安全配置错误是操作系统级漏洞的主要成因，而手动维护系统合规性（如符合 DISA STIGs 标准）既繁琐又昂贵的问题，现有自动化工具依赖静态预
From Agent Traces to Trust: Evidence Tracing and Execution Provenance in LLM Agents
本文系统综述了基于大语言模型（LLM）的智能体中证据追踪与执行溯源问题。随着LLM智能体通过与外部工具、检索系统、记忆模块、环境及其他智能体交互解决复杂任务，其自主性增强，但行为验证、调试和审计难度增加。仅靠最终答案正确性无法解释输出如何产
From Attack Simulation to SIEM Rule: Deterministic Detection-as-Code Synthesis with Probe-Level Traceability
本文提出一种从攻击模拟（Breach-and-Attack Simulation, BAS）到 SIEM 检测规则的确定性合成方法。安全团队常通过 BAS 工具模拟攻击来检验监控能力，但 BAS 输出的是发现（findings），而生产环境
Sequential Data Poisoning in LLM Post-Training
本文研究了大语言模型（LLM）后训练阶段中的顺序数据投毒威胁。LLM后训练通常包括多个阶段，如监督微调（SFT）和基于人类反馈的强化学习（RLHF）或直接偏好优化（DPO），每个阶段的数据来自不同、可能不可信的来源。现有文献假设每个训练阶段
Description-Code Inconsistency in Real-world MCP Servers: Measurement, Detection, and Security Implications
本文针对模型上下文协议（Model Context Protocol, MCP）服务器中普遍存在的描述-代码不一致（Description-Code Inconsistency, DCI）问题进行了系统性研究。MCP是大语言模型（LLM）调
Search-Time Contamination in Deep Research Agents: Measuring Performance Inflation in Public Benchmark Evaluation
本文系统研究了深度研究Agent在公共基准评测中因推理时进行网络搜索而引发的“搜索时污染”（Search-Time Contamination, STC）问题。STC是指Agent在回答问题时，通过Web搜索检索到基准测试的元数据、问题上下
CyberGym-E2E: Scalable Real-World Benchmark for AI Agents' End-to-End Cybersecurity Capabilities
该论文提出了 CyberGym-E2E，一个大规模、真实的端到端网络安全基准测试，旨在全面评估 AI 代理在软件漏洞发现、PoC 生成和补丁生成整个生命周期中的能力。现有 AI 安全评估在规模或范围上存在局限，未能捕捉真实世界漏洞发现和修复
Cascading Hallucination in Agentic RAG: The CHARM Framework for Detection and Mitigation
该论文聚焦于多步智能检索增强生成（agentic RAG）管道中的级联幻觉问题——早期步骤引入的错误会在后续推理步骤中传播并放大，导致最终输出看似自信但事实错误。现有的幻觉检测机制（如输出级检测器）系统性忽略此故障，因为它源自跨步骤的累积效
What If Prompt Injection Never Left? Exploring Cross-Session Stored Prompt Injection in Agentic Systems
该论文系统性地研究了新兴的跨会话存储提示注入（Cross-Session Stored Prompt Injection）威胁，这是针对现代 Agentic 系统（基于 LLM 的自主代理系统）的一种攻击范式。传统提示注入攻击通常局限于单个
Domain-Conditioned Safety in Frontier Computer-Using Agents: A 793-Episode Browser Benchmark, a Coding-Domain Cross-Reference, and a Reproducibility Audit of Recent Red-Teaming
本文针对近期计算机使用代理（CUA）领域的红队测试论文进行了可复现性审计。许多论文报告了提示注入攻击成功率（ASR）高达42-98%，但这些数字集中在已退役模型和每篇论文中最脆弱的模型上。作者提出了CUA-HandCrafted基准测试，包
Toward a Generalized Defense Across Sparse, Continuous, and Structured Parameter Attacks
该论文提出了一种名为 ParDef 的通用防御方法，旨在保护深度神经网络 (DNN) 在异构、部分不可信环境（如云存储、CI/CD 管道、容器化服务和边缘执行平台）中部署时免受参数攻击。参数攻击直接篡改模型内部参数，影响所有后续推理，且攻击
Notarized Agents: Receiver-Attested Confidential Receipts for AI Agent Actions
当前人工智能代理的可观测性存在结构性缺陷：生成活动日志的实体与日志所记录的活动实体是同一个。因此，一个被攻陷或存在缺陷的代理可以省略、篡改甚至伪造自身的操作记录，而运行该代理的操作员无法独立检测到任何篡改行为。本文提出了一类新颖的协议族，通
When Autoregressive Consistency Hurts Safety Alignment
本文研究了大型语言模型（LLM）安全对齐的脆弱性，提出其根本原因在于自回归一致性——即自回归模型在预测下一个token时倾向于保持并延续当前生成轨迹的特性。作者通过分析安全对齐微调的学习动态，发现对齐更新主要集中在输出序列的前几个token
Caught in the Act(ivation): Toward Pre-Output and Multi-Turn Detection of Credential Exfiltration by LLM Agents
本论文研究了LLM智能体在将敏感凭证与不受信任的检索内容置于同一上下文窗口时，面临的间接提示注入导致凭证泄露的风险。作者提出了三种互补的防御方法：首先，利用激活探针在输出令牌生成前检测凭证访问行为，在开源模型上实现了对良性提示与凭证窃取提示
Proof-Carrying Agent Actions: Model-Agnostic Runtime Governance for Heterogeneous Agent Systems
该论文针对异构智能体系统在运行时治理中面临的挑战，提出了一种与运行时无关的治理模型——Proof-Carrying Agent Actions (PCAA)。当前，不同智能体系统（如本地编码工具、框架SDK、托管平台、API网关等）拥有各自
Agent libOS: A Library-OS-Inspired Runtime for Long-Running, Capability-Controlled LLM Agents
这篇论文针对大型语言模型（LLM）代理从简单的请求-响应助手向长期运行的软件参与者演进的趋势，提出了一种名为Agent libOS的运行时系统。长期运行的LLM代理需要在模型调用之间维护状态、分叉子任务、等待外部事件、请求人类授权、动态生成