Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops
该论文研究了终端智能体基准测试（如KernelBench、Terminal Bench）中奖励黑客攻击的问题。作者审计了5个终端智能体基准测试的1968个任务，发现其中323个（16%）可以被前沿模型仅通过任务描述就成功攻破，导致排行榜排名
#LLM
共收录 2152 条相关情报。
← 返回所有主题Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human
本文研究LLM代理安全中的人类监督机制。传统安全模式依赖人在循环中的审批门：高风险操作暂停并等待人工审核。但论文指出，这一模式基于两个错误假设：存在关于“风险”的客观真实标签，以及人类评审是完美无缺、随时可用的。作者通过125个人工标注的对
Cheap Reward Hacking Detection
该研究提出一种低成本、高效的reward hacking检测方法，针对强化学习（特别是基于人类反馈的强化学习，RLHF）中奖励模型被操纵的问题。核心方法：训练一个小型Transformer编码器，将Terminal-Wrench环境中的轨迹
GitInject: Real-World Prompt Injection Attacks in AI-Powered CI/CD Pipelines
本文介绍了 GitInject，一个用于评估现实世界中 CI/CD 流水线（特别是 GitHub Actions）中 AI 代理提示注入漏洞的开源框架。随着 AI 代理越来越多地被集成到 CI/CD 流水线中，用于自动审查拉取请求、分类问题
RAILS: Verification-Native Clearing For Agentic Commerce
本文提出了一种面向自主智能体（agent）商业交易的结算完整性协议 RAILS（Real-Time Agent Integrity & Ledger Settlement）。当前，智能体可以自主谈判、购买、部署代码和转账，但缺乏一个中立机制
Data Agents Under Attack: Vulnerabilities in LLM-Driven Analytical Systems
本文对LLM驱动的数据代理系统（Data Agents）进行了系统的安全研究。数据代理将LLM推理与关系数据访问、可执行分析工具和多步工作流编排相结合，日益成为企业分析的核心，但也引入了新的安全漏洞组合。作者首先构建了一个分层漏洞框架，在解
Sample-Efficient LLM-Based Detection of Malicious Web Server Logs with Forensically Explainable Reasoning
该论文针对 Web 服务器日志的取证分析需求，提出了一种名为 CEF-Log 的上下文增强少样本思维链提示策略，用于大语言模型（LLM）。传统机器学习方法在日志检测中常被视为“黑箱”，难以提供符合法律要求的人类可读解释。CEF-Log 通过
AI Code Sandboxes: A Comparative Security Study. Part 1 of 2 -- Engine-Level Properties (Attack Surface, Leakage, Stackability, CVE History, Patch Cadence, Fuzzing)
本文系统性地从六个引擎级安全属性评估了五种AI代码沙箱产品隔离访客代码与宿主内核的能力。六个维度包括：1.1 宿主攻击面、1.2 信息泄露、1.3 纵深防御可堆叠性、1.4 公开CVE历史、1.5 补丁节奏、1.6 上游模糊测试状态。研究强
An AI Security Agent for University ACMIS: Multi-Vector Threat Detection and Automated Response
该论文针对大学学术管理信息系统（ACMIS）面临的多维安全威胁（包括暴力登录、支付欺诈、权限提升、内部数据窃取和学术诚信违规）提出了一种基于AI的安全代理方案。传统基于规则的系统难以区分恶意行为与正常操作，因此作者设计了一个结合监督式异常检
Closing the Sim-to-Real Gap: An Evaluation Framework for Autonomous Cyber Defense Configuration of Commercial EDR
本文研究商业端点检测与响应（EDR）产品在自主 AI 组件替代人工规则配置的背景下，如何评估自主防御代理对商业 EDR 的加固效果。作者指出，现有评估多基于开源 EDR 或模拟环境，忽略了商业 EDR 作为黑盒自主系统的复杂性——其内部 A
VATS: Exploiting Implicit Authority in Error-Path Injection via Systematic Mutation
本文研究了Model Context Protocol (MCP) 标准化自主智能体工具调用时引入的一个被忽视的攻击面：错误处理循环。作者假设工具的错误消息具有隐含权威，会触发智能体的纠正性推理模式，从而绕过标准安全启发式。为此，他们提出了
AirTaint: Making Dynamic Taint Analysis Faster and Easier.
动态污点分析（DTA）是一种广泛使用的数据流跟踪技术，在模糊测试、漏洞分析等安全应用中发挥重要作用。然而，其实际部署面临严重的性能开销问题：现有工具甚至可能使程序执行速度降低超过100倍。高开销主要源于大多数工具在指令级别进行污点分析，并使
RecurGuard: Runtime Monitoring for Reasoning-Token Consumption Attacks
该论文提出了一种名为 RecurGuard 的运行时监控机制，用于检测针对推理能力大语言模型的“推理链消耗攻击”（Reasoning-chain consumption attacks）。此类攻击通过注入无关的“诱饵”任务，诱导模型将生成预
POISE: Position-Aware Undetectable Skill Injection on LLM Agents
该论文研究了针对大语言模型（LLM）代理的技能注入攻击。代理技能是一种轻量级扩展机制，但其开放格式易受技能中毒攻击。现有攻击面临可靠性与隐蔽性之间的权衡：YAML头部注入虽然可靠加载但易被检测；而将恶意命令嵌入技能文本的body注入则因命令
Collective Hallucination in Multi-Agent LLMs:Modeling and Defense
该论文研究了多智能体大语言模型（LLM）系统中的集体幻觉问题，将幻觉建模为一种系统级、随时间演化的过程，发生在一个由相互交互的LLM代理构成的网络中。节点代表代理，边代表信息交换。所提出的形式化方法描述了幻觉声明如何通过通信拓扑传播，在对抗
SGTO-MAS: Secure Gorilla Troops Optimization for Multi-Agent LLM Systems
该论文针对多智能体大语言模型（LLM）系统中的协调问题，提出了一种安全感知的自适应智能体选择方法。现有方法多依赖启发式或静态策略，难以平衡性能、安全性和计算成本。作者将多智能体协调形式化为一个受约束的优化问题，并整合了信任建模、风险感知评估
Hallucination Cascade: Analyzing Error Propagation in Multi-Agent LLM Systems
大型语言模型(LLM)生成的文本流畅但容易产生幻觉，即输出无根据、不一致或事实错误的内容。以往研究多将幻觉视为孤立输出的静态属性，但多智能体LLM系统中，响应在智能体间交换、经过序列化阶段修订并作为后续推理的上下文，使幻觉成为受交互历史、级
Beyond Pass/Fail: Using Process Mining to Understand How LLMs Resist (and Fail) Red Team Attacks
这篇论文提出了一种新的方法来评估大型语言模型（LLM）在面对红队攻击时的鲁棒性。传统的评估方法通常只使用攻击成功率（ASR）这一单一指标，将多次攻击简化为一个二元结果，忽略了模型在攻击过程中如何逐步抵抗或屈服的结构化行为。作者创新性地将过程
Quantum-Inspired Reinforcement Learning for Low-Latency Intrusion Detection in V2X and Internet-of-Vehicles Networks
本文针对智慧城市和车联网（IoV）环境中日益扩大的攻击面以及传统静态防御无法适应多阶段入侵模式的问题，提出了一种量子启发式强化学习框架（QIRL）。该框架基于轻量级深度Q网络（DQN）架构，融合了幅相量子态编码、旋转门基探索和量子干涉奖励增
MOLOT System Card: Malicious Operational Logic Observation Transformer
MOLOT（恶意操作逻辑观察Transformer）是一种面向SAST（静态应用安全测试）场景的静态恶意代码检测系统。在SAST环境中，软件包元数据、维护者历史记录和动态执行轨迹等信息可能不可用或不可信，MOLOT通过分析源代码的静态调用图