Disentangling Adversarial Prompts: A Semantic-Graph Defense for Robust LLM Security
该论文针对大型语言模型（LLM）面临的对抗性提示攻击（如越狱、提示注入）提出了一种新颖的防御框架——对抗性提示解纠缠（APD）。研究背景指出，攻击者利用语义歧义绕过安全机制，导致有害输出，对安全关键型应用构成威胁。APD框架包含三个核心创新
#LLM-security
共收录 143 条相关情报。
← 返回所有主题HARP: Measuring Harm Amplification in Multi-Agent LLM Systems
本文提出了一种名为HARP（Harm Amplification through Role Perturbation）的方法，用于测量多智能体LLM系统中的危害放大效应。在多智能体系统中，工作流被分解为多个代理、工具、共享上下文、内存和决策
Prompt Injection Detection is Regime-Dependent: A Deployment-Aware Evaluation with Interpretable Structural Signals
本文针对大型语言模型（LLM）面临的提示注入攻击威胁，提出了一种部署感知的评估框架，用于比较多种检测方法在不同部署条件下的表现。现有检测方法通常在有限设定下评估，未反映真实操作约束。作者构建了多模型、多场景的实验框架，涵盖词法、语义、结构以
SAMark: A Self-Anchored Text Watermarking with Paragraph-Level Paraphrase Robustness
本文提出一种名为 SAMark 的自锚定文本水印框架，旨在解决语义级文本水印在段落级改写攻击下鲁棒性不足的问题。传统语义水印以句子为基本单元，依赖于句子顺序，而段落级改写（如重排句子顺序、同义替换等）会全局破坏水印信号。SAMark 通过建
Adversarial Reframing: A Framework for Targeted Generation in Language Models
大型语言模型（LLMs）在各类实际场景中广泛应用，但仍易受到越狱攻击，即通过基于提示的攻击绕过安全过滤器。本文提出THREAT（通过重框和利用对抗策略进行目标有害生成）框架，这是一个基于推理的框架，协调多个LLM在迭代搜索循环中寻找文本越狱
Rethinking Fraud Safety Evaluation: Multi-Round Attacks Reveal Safety-Utility Tradeoffs in Graph-Context LLM Defenders
该论文针对当前欺诈安全评估中普遍采用的单轮交互评估方式的局限性进行了深入分析，指出单轮评估无法反映真实攻击场景中攻击者通过多轮对话逐步升级欺诈行为的特点。为此，作者构建了一个基于 Fraud-R1 数据集的多轮评估套件，并在此框架下系统比较
Trusted Weights, Treacherous Optimizations? Optimization-Triggered Backdoor Attacks on LLMs
该论文首次揭示了LLM推理优化（尤其是编译优化）中存在的安全漏洞，并提出了一种新型后门攻击——优化触发后门。作者指出，尽管编译优化在部署LLM时广泛使用，且默认假设编译后的计算图与原始计算图语义等价，但编译过程中的数值副作用可能被恶意利用，
Refusal Evaluation in Coding LLMs and Code Agents: A Systematic Review of Thirteen Malicious-Code Prompt Corpora (2023-2025)
本文是一篇系统综述，聚焦于2023年至2025年间公开的13个用于评估大型语言模型（LLM）在恶意代码任务中拒绝能力的提示语料库。这些语料库包括AdvBench、CyberSecEval系列、RMCBench、RedCode、MCGMark
BiRD: A Bidirectional Ranking Defense Mechanism for Retrieval Augmented Generation
本文针对检索增强生成（RAG）系统面临的安全威胁，提出了一种名为BiRD（双向排序防御机制）的新型防御方法。研究首先识别了现有防御手段（如基于语义分析或投票机制）的核心局限性：它们仅关注语义内容相关性，而忽略了由排序结构定义的检索上下文。通
ExploitBench: A Capability Ladder Benchmark for LLM Cybersecurity Agents
该论文提出了 ExploitBench，一个能力阶梯式基准测试，用于评估 LLM 驱动的网络安全代理的漏洞利用能力。现有 LLM 安全基准通常将崩溃视为利用成功，忽略了从触发漏洞到构建原语、控制流劫持、任意代码执行等关键步骤。作者将利用过程
Do Skill Descriptions Tell the Truth? Detecting Undisclosed Security Behaviors in Code-Backed LLM Skills
该论文研究大型语言模型（LLM）生态系统中以代码实现的技能（programmatic skills）的描述与实现不一致性问题。这类技能通常包含自然语言描述和可执行代码文件，用户或LLM依赖描述来理解其功能范围，但实现代码可能执行描述中未声明
One Turn Too Late: Response-Aware Defense Against Hidden Malicious Intent in Multi-Turn Dialogue
本文针对多轮对话中隐藏恶意意图的威胁，提出了一种响应感知的防御方法。攻击者可将恶意目的分散到多个看似无害的对话轮次中，绕过现有安全对齐和外部护栏。作者检测出“最早使得累计交互足以产生危害的轮次”，即“危害使能关闭点”，以实现精确的轮次级别干
Beyond Jailbreak: Unveiling Risks in LLM Applications Arising from Blurred Capability Boundaries.
本文系统性地研究了LLM应用程序（LLM apps）因能力边界模糊而引发的安全风险。作者首先定义了“LLM应用能力空间”的概念，用于描述应用从LLM继承的功能范围。随后，他们揭示了两种新的风险类型：能力降级（capability downg
Chasing Shadows: Pitfalls in LLM Security Research.
本文系统性地探讨了大语言模型（LLM）在安全研究中引入的独特挑战。作者识别出九个常见陷阱，这些陷阱涵盖从数据收集、预训练、微调到提示工程和评估的整个计算流程，可能损害研究的有效性。为了评估这些陷阱的普遍性，作者分析了2023至2024年间发
ObliInjection: Order-Oblivious Prompt Injection Attack to LLM Agents with Multi-source Data.
本文提出了一种针对多源数据LLM应用的新型提示注入攻击方法ObliInjection。在现实场景中，LLM的输入数据往往来自多个不同来源，每个来源贡献一个输入段，攻击者仅能控制其中部分段，且通常不知道各段在输入中的排列顺序。现有的提示注入攻
A Validated Prompt Bank for Malicious Code Generation: Separating Executable Weapons from Security Knowledge in 1,554 Consensus-Labeled Prompts
现有针对语言模型在恶意代码生成任务上的拒绝行为评测基准，常常将“请求生成可执行恶意软件”与“请求有害安全知识”混为一谈。这种混淆会导致两种请求类型在安全对齐模型中触发不同的拒绝路径，而基于混合提示计算出的单一拒绝率无法单独衡量任何一类。本文
PIIGuard: Mitigating PII Harvesting under Adversarial Sanitization
本文提出了一种名为 PIIGuard 的网页级防御机制，旨在缓解大型语言模型（LLM）助手在浏览网页时从公共页面中抓取联系型个人身份信息（PII）的风险。现有的防御措施大多部署在模型层、服务层或智能体层，而普通网页所有者缺乏可行的部署选项。
Revisiting JBShield: Breaking and Rebuilding Representation-Level Jailbreak Defenses
本文针对大型语言模型（LLM）的越狱攻击防御展开研究，重点重访了近期提出的JBShield防御机制。JBShield通过检测两种概念信号（毒性概念和越狱概念）来识别恶意提示，在部分设置下声称攻击成功率为0%。然而，本文设计了一种新的自适应攻
Fight Poison with Poison: Enhancing Robustness in Few-shot Machine-Generated Text Detection with Adversarial Training
机器生成文本（MGT）检测对于规范在线信息生态系统至关重要，但现有检测器在小样本设置下表现不佳，且容易受到对抗性人性化攻击。本研究从威胁建模角度出发，研究攻击者视角下的检测器漏洞。为此，作者提出REACT（RAG引导攻击者强化对比小样本检测
Fun-tuning: Characterizing the Vulnerability of Proprietary LLMs to Optimization-Based Prompt Injection Attacks via the Fine-Tuning Interface.
本文揭示了一种针对闭源大语言模型（LLM）的新型攻击威胁，攻击者能够通过微调接口实现基于优化的提示注入攻击。研究指出，LLM厂商提供的远程微调API允许开发者针对特定任务对模型进行微调，但同时也暴露了损失函数类信息（loss-like in