Adaptive Adversaries: A Multi-Turn, Multi-LLM Benchmark for LLM Agent Security
该论文提出一个针对LLM代理（agent）安全性的多轮自适应对抗攻击基准。现有安全评估通常使用固定的攻击池，在单轮或多轮场景下评估防御者，但忽略了攻击者能够根据防御者响应动态调整策略的能力。为此，作者构建了一个包含21个场景的基准，每个场景
#LLM
共收录 2152 条相关情报。
← 返回所有主题HALLMARK: Diagnosing Three Failure Modes in LLM Citation Verifiers
大型语言模型（LLM）在学术写作中越来越普遍，但其生成的文献综述常包含虚构引用（幻觉引用）。GPTZero 发现 NeurIPS 2025 被接受的论文中有 53 篇存在此类问题。现有的基于规则和 LLM 的验证器缺乏统一的基准测试和详细的
Insecure Coding Preferences in Long-Term Memory: Security Risks for LLM-based Code Generation
本研究首次系统性地实证探讨了基于大语言模型（LLM）的代码生成系统中长期记忆（Long-Term Memory）存储不安全编码偏好对安全性的影响。长期记忆旨在提升跨会话的连续性，但一旦不安全的编码偏好被存储，可能会在后续生成中潜移默化地影响
Detection, Attribution, Narration: An End-to-End Pipeline for Explainable Money Mule Identification
该论文提出了一种端到端的解释性钱骡账户检测管道，旨在解决金融欺诈中钱骡账户难以大规模检测的问题。管道分为三个阶段：首先，使用LightGBM分类器在280个工程特征上训练，这些特征涵盖交易模式、账户人口统计、网络拓扑和时间行为；其次，引入T
Salience Induction against Multi-Hop RAG Agents: Threat and Defense
本文研究基于代理的检索增强生成（RAG）系统在多跳问答中的安全威胁。现有防御主要关注内容投毒（注入虚假事实）和提示注入（嵌入指令）。作者发现第三个攻击面：显著性通道（salience channel），即通过调整事实的位置、强调方式、框架和
Machine Against the RAG: Jamming Retrieval-Augmented Generation with Blocker Documents.
检索增强生成（RAG）系统通过从知识数据库中检索相关文档，并利用大型语言模型（LLM）处理这些文档来回答查询。本文发现，当RAG系统操作包含不可信内容的数据库时，容易受到一种称为“jamming”的拒绝服务攻击。攻击者可以向数据库中添加单个
DP-Forward: Fine-tuning and Inference on Language Models with Differential Privacy in Forward Pass.
该论文提出了一种名为 DP-Forward 的新方法，旨在解决差分隐私随机梯度下降（DP-SGD）在语言模型微调与推理中的局限性。DP-SGD 通过在反向传播过程中向梯度添加噪声来保护训练数据免受隐私泄露（如成员推断攻击），但它无法防御推理
Measuring and Evaluating the Performance of Generative AI Models for Scam Detection
本文研究生成式AI模型（尤其是大语言模型，LLM）在在线诈骗检测中的性能。尽管LLM已被集成到多种安全产品（如邮件网关、浏览器扩展、欺诈监控面板）中，但业界普遍认为它们广泛适用于诈骗检测，却缺乏系统的实证评估。作者收集并整理了一个包含多种格
How Jailbreak Attacks Inform Safety Alignment: A Defender-Centric, Shapley-Based Evaluation of Jailbreak Contributions
本文针对大语言模型（LLM）的越狱攻击评估问题，提出了一种以防御者为中心的新视角。传统评估以攻击者成功率为指标，但高成功率的攻击未必能有效提升模型安全。作者主张将越狱攻击视为安全训练的红队数据资源，通过其能带来的下游安全改进来评估其价值。为
SlotGuard: Stop Oversharing Private Local Context in LLM Agent Transcri
大型语言模型（LLM）智能体在交互过程中，会将工具输出、Shell日志、文件读取等观测结果附加到发送给提供商的转录中，导致私密信息（如路径、邮箱）和凭证（如API密钥）泄露。现有的占位符修订方法存在缺陷：可能遗漏嵌入式或跨轮次引用、过度修订
A Systematic Evaluation of Traditional Privacy Policy Analysis Tools Against LLMs
该论文对大型语言模型（LLM）在隐私政策分析领域替代传统专用工具的能力进行了首次系统性评估。研究背景是LLM的兴起使得以往需要专门领域工具的隐私政策与数据合规分析任务变得可能，但尚不清楚LLM能否真正复制现有工具的多样化功能和方法。核心研究
Federated Learning and LLM-Driven Threat Intelligence for Zero Trust IoT Architecture
该论文针对物联网（IoT）设备在关键任务环境中的安全与隐私挑战，提出了一种联邦学习（FL）与大型语言模型（LLM）驱动的威胁情报框架，用于构建零信任物联网架构。传统IoT设备常因资源受限而无法更新，易受病毒、数据泄露和未授权访问等威胁。现有
How Do You Choose Your AI Component? An Interview Study of Secure AI Integration in Practice
本研究通过半结构化访谈的方式，深入调查了22名软件开发者、架构师和AI从业者在集成大语言模型（LLM）作为AI组件时的决策过程和安全考量。研究发现，从业者在选择AI模型时主要受功能标准驱动，如性能、准确率、成本和特定功能（例如工具调用或多模
Contextualizing Sink Knowledge for Java Vulnerability Discovery.
该论文提出了一个名为 GONDAR 的 sink 中心化模糊测试框架，用于在 Java 应用程序中系统性地发现安全漏洞。现有的模糊测试工具往往忽略了安全敏感 API（sink）所携带的漏洞特定知识，例如到达 sink 的程序约束和触发漏洞的
TDXRay: Microarchitectural Side-Channel Analysis of Intel TDX for Real-World Workloads.
该论文针对英特尔TDX（Trust Domain Extensions）这一基于虚拟机的机密计算环境，系统研究了其微架构侧信道攻击面。TDX旨在保护租户代码和数据免受特权云操作系统的侵害，但往往将微架构侧信道排除在威胁模型之外。作者发现了四
Investigating the Impact of Dark Patterns on LLM-Based Web Agents.
随着用户越来越多地依赖基于大型语言模型（LLM）的Web代理来自动化在线任务，这些代理可能会遇到暗模式（dark patterns）——即欺骗性的用户界面设计，旨在操纵用户做出非本意的决策。尽管暗模式主要针对人类用户，但它们对基于LLM的通
Toward Efficient Membership Inference Attacks Against Federated Large Language Models: A Projection Residual Approach.
本文针对联邦大语言模型（FedLLMs）中的成员推断攻击（MIA）问题展开研究。FedLLMs允许多方协作微调大语言模型而无需共享原始数据，从而解决资源有限和隐私保护等挑战。然而，即使数据不离本地，共享的梯度仍然可能通过成员推断攻击泄露敏感
Tracing MCP Security Vulnerabilities: Constructing and Analyzing an MCP Security Vulnerability Dataset.
本文针对模型上下文协议（Model Context Protocol, MCP）这一新兴的LLM Agent通信标准，系统性地研究了其安全漏洞。作者首先通过收集和分析公开的MCP相关漏洞报告、安全公告及社区讨论，构建了首个MCP安全漏洞数据
Towards Secure and Trustworthy DAOs for Cross-Chain Governance
本文聚焦于跨链去中心化自治组织（DAO）在治理过程中面临的独特安全挑战，这些挑战超出了传统单链场景。研究系统性地识别并分类了四种关键攻击向量：贿赂攻击（通过经济激励影响投票决策）、代币控制利用（利用跨链代币锁定或铸造机制漏洞）、人机交互欺骗
Evaluating Open-Weight LLMs for Generating Structured Threat Information for Autonomous Vehicle Vulnerabilities
该论文研究了利用开源权重的大语言模型（LLMs）从网联与自动驾驶汽车（CAV）相关的通用漏洞披露（CVE）中生成结构化威胁信息表达（STIX）的问题。CAV依赖互联的软件和硬件组件，漏洞通常以纯文本形式记录在CVE数据库中，但安全从业者需要