LLM-Based Agents for Software and Systems Security: Approaches, Applications, and Assessment
本文是一篇系统文献综述，聚焦于基于大型语言模型（LLM）的智能体（Agent）在软件与系统安全领域中的应用。研究背景是：安全分析工作往往依赖程序化流程，分析师需要检查异构工件、形成假设、调用工具、解读输出并修订计划。LLM智能体具备规划、工
#cs.AI
共收录 1665 条相关情报。
← 返回所有主题LongPIBench: A Long-Context Benchmark for Prompt Injection
本文提出 LongPIBench，一个专门面向长上下文场景的提示注入攻击基准。当前已有的提示注入基准大多只覆盖短输入，无法反映真实应用中长上下文条件下的安全风险，导致对现有防御方案有效性的高估。为弥补这一空白，作者设计了覆盖四种真实应用场景
Optimal Adversarial Testing: Extracting Honest Test Results from Dishonest Test Takers
该论文研究在测试结果可能被不诚实测试者恶意扭曲的情况下，如何设计最优测试策略以恢复真实测试结果。现实中的考试、评估等场景常面临作弊或对抗性行为，随着AI技术发展，利用AI作弊的现象愈发普遍和严重，导致测试结果的可靠性受到威胁。作者将测试问题
Layered LLM Defenses as an Ensemble: Access Tiers, Inference Cost, and the Measured Failure Correlation Between Defense Layers
本文研究了大语言模型（LLM）防御体系的分层堆叠效果。实践中，防御者常通过叠加多层防御来增强安全性，但堆叠是否真正有效取决于一个关键条件：各防御层必须在不同的失败样本上出错，即失败独立性。然而，LLM安全文献虽推荐这一假设，却从未实际测量。
Compared to What? A Human-Anchored Security Benchmark for LLM-Generated Infrastructure-as-Code
本文提出 GenIaC-SecBench，一个用于评估大语言模型生成基础设施即代码（IaC）安全性的基准测试。研究动机是：LLM 越来越多地被用于编写 IaC，而其中单个不安全默认值可能直接部署到生产环境；已有评估多报告原始漏洞数量，但缺乏
CAITLYN: Can LLM Agents Autonomously Synthesize Defenses against Emerging Injection Attacks?
本文针对大型语言模型（LLM）代理面临的提示注入攻击问题展开研究。提示注入攻击通过在代理检索的外部文本源中嵌入恶意指令或内容，诱导底层LLM执行超出其良性范围的危险操作。现有防御方法虽然能对抗已知注入攻击，但在LLM代理环境中部署仍存在困难
Not to Break, but to Attest: Adversarial Probes for Privacy-Preserving LLM Verification
该论文针对大语言模型（LLM）在部署后被篡改而常规输出基本不变的问题，提出一种基于 zk-SNARK 的隐私保护审计框架。该框架通过构造“对抗性探针”（adversarial probes）来放大已批准模型与修改后部署之间的 logit 漂
FISGuard: Defending Against Membership Inference via Fixed Input Subspaces
本文针对联邦学习（Federated Learning）场景下大语言模型（LLM）参数高效微调（PEFT）中的隐私泄露问题展开研究。在联邦学习中，客户端通常只共享梯度而非原始数据，但已有研究表明共享梯度仍可能泄露训练样本的成员关系（Memb
ContextLeak: Exfiltrating LLM Agent Context via Malicious Tools
该论文研究了一种针对 LLM 代理的新型恶意工具攻击：ContextLeak。LLM 代理（如基于工具调用的 AI Agent）在执行任务时，其运行时上下文（包括用户提示、执行轨迹、工具列表）可能包含高度敏感的信息。攻击者可以利用恶意工具窃
Semantic Watermarking with Order-Robust Detection over Sub-sentence Units
本文研究大语言模型（LLM）生成文本的语义水印技术及其鲁棒性。现有语义水印将标记绑定到句子语义而非具体词元选择，理论上能抵抗改写等保留内容的编辑。但攻击者提供给检测器的文本可能经过改写、重排序或重新分段，这些操作都会导致嵌入位移——检测时使
RedEvoAgent: Automatic Red-Teaming Agent with Experience-Driven Skill Evolution
本文提出 RedEvoAgent，一种面向 LLM 智能体执行环境的自动红队测试方法。研究背景是：基于 LLM 的智能体越来越多地部署在产品级执行框架中，针对这些智能体的越狱攻击不仅会造成不安全文本生成，还可能触发有害的工具调用和持久性状态
Beyond F1: Evaluating Coverage and Failure Recovery in AI Model Security Scanners
近年来，机器学习工件的安全性日益受到关注，特别是Pickle和PyTorch等格式可能嵌入恶意代码，静态安全扫描器（如ModelScan、ModelAudit和Fickling）被用于检测这些工件中的可执行或危险内容。然而，传统的评估指标（
Safety Does Not Compose: Non-Decaying Loop State for Autonomous LLM Agents
本论文研究大型语言模型（LLM）智能体在自主循环部署中的安全性问题。当前，LLM智能体常被设计为从单个人类目标出发，反复执行任务发现、规划、工具调用、结果验证，并在多次无人值守迭代中持续保存状态。然而，广泛使用的智能体安全防护机制是基于单条
LAAF: A Layered Accountability Architecture Framework for LLM Applications
该论文针对大型语言模型（LLM）在医疗、司法、金融和公共服务等高风险领域应用中出现的责任归属问题，提出了一种分层责任架构框架（LAAF）。研究背景是：LLM 在这些场景中即使输出缺乏依据或内容错误，也常被当作权威信息，一旦造成损害，难以明确
PLCBench: Can Autonomous LLM Agents Turn PLC Access into Sustained Physical Impact?
PLCBench 论文提出并实验验证了一个面向真实工业控制系统（ICS）的硬件在环（HIL）安全评估框架，重点研究自主大语言模型（LLM）代理能否将网络可达的可编程逻辑控制器（PLC）访问转化为持续的物理影响。现有评估大多聚焦于数字任务或
Quantization-Triggered Backdoors in Language Models: Cross-Quantizer Transferability and the Validation--Deployment Gap
本文针对大语言模型（LLM）后训练量化这一常见优化流程，提出并验证了一种新型后门攻击范式。量化通常被视为语义中立，但在实际工作流中，模型通常先在源精度（如FP16）上完成评估，之后再应用量化并直接部署，这种'验证-部署差距'（validat
Daydreaming: Stealing Hidden Agent Skills through Black-Box Task Interaction
本文提出了一种名为 Daydreaming 的黑盒攻击方法，用于窃取托管在多文件技能（skill）中的智能体能力。在当代 AI 智能体系统中，技能包通常包含指令、参考数据和可执行辅助脚本，使通用模型能够执行特定任务。服务提供商可以保守这些文
Five Primitives for Governing Autonomous AI Agents at Runtime
该论文聚焦企业级自主AI代理（autonomous AI agents）的运行时治理问题。作者指出，当前企业部署自主AI代理时，沿用了为人类用户和长期服务设计的传统控制模型，但在三个关键方面不匹配：一是代理主体（principals）是临时
The Latent Diagnostic Taxonomy: A Framework for Constructing Classifiers and Diagnosing Their Decisions, Applied to Prompt Injection Detection
本文提出了一种名为“潜在诊断分类法”（Latent Diagnostic Taxonomy）的框架，用于构建作为安全防护层的分类器，并开发配套的诊断机制，以识别分类器哪些高置信度决策是可信任的。该框架包含三个核心步骤：首先，构建维度优化的分
How Do LLM Agents Actually Get the Flag? Trace-Level Provenance for Agentic Offensive Security Evaluation
该论文针对当前基于CTF（夺旗）基准评估大语言模型（LLM）智能体攻防能力时存在的评估浅层化问题展开研究。现有评估通常仅依赖二值化的成功/失败判断或聚合分数，忽略了智能体从初始状态到达flag的完整轨迹，导致真实漏洞利用行为与直接暴露fla