RAGSentinel: Certifiable Geometric Consensus for Robust Retrieval-Augmented Generation
检索增强生成（RAG）通过引入外部文档来提升大语言模型的事实性，但同时也引入了新的安全攻击面：恶意攻击者可以向知识库注入经过精心构造的对抗性文档，这些文档一旦被检索并进入上下文窗口，就可能引导模型输出特定的错误答案。现有的后检索防御手段，例
#LLM-security
共收录 143 条相关情报。
← 返回所有主题Beyond the Transcript: Detecting Covert Co ordination in Latent Multi-Agent Communication
该论文聚焦于多智能体语言模型（LLM）在连续隐藏状态空间中的潜在通信问题。这类通信不体现在公共文本转录中，可能被用于隐蔽的有害协调，例如在拍卖中串通压低报价。作者提出了一种名为 Verifiable Latent Alignments (V
FedLNS: Leverage LayerNorm Signature Modeling to Mitigate Adversarial Manipulation in Federated LLMs
本文针对联邦学习（Federated Learning, FL）中大型语言模型（LLM）面临的恶意客户端投毒攻击问题，提出了一种轻量级、服务器端的防御框架 FedLNS（Federated Learning with Normalizati
Improving LLM-Based SSH Honeypots Through Prompting and Fine-Tuning
该论文研究了如何通过提示设计与监督微调来改进基于本地 LLM 的 SSH 蜜罐的 shell 模拟准确性。研究背景是：现有 LLM 蜜罐通常依赖闭源云模型（如 GPT-3.5）以获得高度真实的 shell 交互体验，但云模型带来部署层面的问
Incident-Data Robustness Analysis of the OWASP Top 10 for LLM Applications (2026): How a Community-Expert Ranking Holds Up Against a Large-Scale LLM Incident Corpus
本研究针对 OWASP Top 10 for LLM Applications 榜单，检验社区专家排名与真实世界 LLM 安全事件记录的一致性。作者从 CVE、GHSA、OSV 和 AIAAIC 等来源收集了大规模事件语料库，包含 7,71
Fair ASR: Re-Evaluating Black-Box Jailbreaks under Shared Target-Call Budgets
本文提出了一项针对大语言模型（LLM）越狱攻击评估方法的关键改进。当前大多数越狱研究仅以攻击成功率（ASR）作为唯一指标，忽略了攻击预算对结果的影响，导致不同攻击方法之间的比较缺乏公平性。已有的计算感知评估试图将异构资源统一折算为FLOPs
DSPrompt: Dynamic Soft Prompt Defense Against M-RAG Corruption
多模态检索增强生成（M-RAG）系统正面临一类对抗性攻击：攻击者精心构造恶意数据，使其嵌入向量在向量空间中与良性条目对齐，从而欺骗检索器、诱导模型产生有害输出。现有防御大多在查询阶段运行，依赖辅助检测器、相似度重排序或特征一致性校验，但存在
Ventor-QTest: Threat-Model-Driven Verification of Vendor-Hosted LLM APIs
随着大语言模型（LLM）的广泛部署，第三方供应商提供的开源权重模型推理服务已成为生态系统的重要一环，但对其推理 API 质量的审计仍然是一个开放问题。本文提出 Ventor-QTest，一种无需目标 API 提供任何概率信息的复合黑盒审计方
An Empirical Study of Output-to-Input Loops for Black-Box Backdoor Detection in Fine-Tuned Open-Weight LLMs
本研究针对开源权重微调大语言模型（LLM）中后门注入的检测问题进行实证分析。在模型分享平台上，任何人都可以上传自称安全的微调模型，但模型可能内置后门：在普通输入下表现正常，一旦遇到特定触发器则产生恶意行为。对于完全不掌握训练数据、原始干净权
Trigger the Straggler: Load Hijack on Mixture-of-Experts LLMs
本文提出了一种针对混合专家（Mixture-of-Experts, MoE）大语言模型的新型供应链攻击方法——Load Hijack。在MoE模型的专家并行（Expert Parallelism, EP）服务架构中，不同专家被分布到多个GP
RangeFactory: Scalable Construction of Multi-Hop Cyber Ranges
本文提出的 RangeFactory 是一个面向多跳网络靶场（cyber range）的自动化编排框架，核心目标是解决现有靶场构建无法自动将大量孤立漏洞环境组合为端到端验证的多跳攻击链的问题。现实中的网络攻击通常需要跨越多个主机和网段持续推
BASIS: Breach-Aware Selective Prompt Injection Shielding with Prefill Attention Probes
大型语言模型（LLM）应用面临提示注入这一严重安全威胁，攻击者通过将恶意指令嵌入用户输入或外部数据来劫持模型行为。现有检测方法仅判断注入是否存在，并在检测到时一律拒绝响应，却忽略了关键事实：对于许多现代对齐模型而言，精心构造的指令可以抵抗大
LoRAScan: Detecting Backdoor Prompts in Low-Rank Adapters for Large Language Models via Down-Projection Activation Spikes
本文提出了一种名为 LoRAScan 的新型防御方法，用于检测大型语言模型（LLM）低秩适配器（LoRA）中的后门提示。LoRA 是一种高效的模型微调技术，通过引入小型适配器模块来降低计算成本，但也带来了供应链安全风险：不可信的适配器可能包
SoK: Intent-Oriented Systematization of Multi-Turn LLM Jailbreaks
本文是一篇关于多轮大语言模型（LLM）越狱攻击的系统性综述（SoK）。随着LLM在交互式场景中的广泛部署，用户意图通常通过多轮对话逐步展开。多轮越狱攻击正是利用这一交互模式，将有害意图分散到多个对话轮次中，使得任何单个消息都不暴露完整目标，
ACE: A Security Architecture for LLM-Integrated App Systems.
本文研究 LLM 集成应用系统（LLM-integrated app systems）的安全性问题。这类系统通过第三方应用扩展大语言模型（LLM）的功能，系统 LLM 采用交错规划和执行的方式调用第三方应用来回答用户查询。然而，这种架构引入
RoguePrompt: Dual-Layer Encoding for Self-Reconstruction to Circumvent LLM Moderation
本文针对大型语言模型（LLM）在安全审核机制下仍可被提示词越狱（jailbreak）的问题，提出了一种名为 RoguePrompt 的多阶段攻击流水线。研究背景是：尽管主流 LLM 部署了内容审核与安全控制，攻击者仍可通过精心构造的提示词绕
LMSanitator: Defending Prompt-Tuning Against Task-Agnostic Backdoors.
该论文针对提示微调（prompt-tuning）范式中的后门安全威胁展开研究。提示微调因其在下游任务中的高效性和多任务服务能力而被广泛用于部署大语言模型，但作者通过实验证明，提示微调容易受到预训练模型中存在的任务无关后门（task-agno
Decision-Level Hijacking: Injecting Cognitive Bias into Large Language Models via Bit-Flip Attacks
该论文提出了一种针对大语言模型（LLM）的新型攻击范式——决策级劫持（Decision-Level Hijacking）。攻击者通过部署后仅翻转极少量权重比特（Bit-Flip Attack）的方式，在不触发违规内容或降低模型功能的前提下，
SecDrift: Measuring Sector-Conditioned Security Drift in AI-Generated Code
该论文提出了SecDrift基准测试，用于测量大语言模型（LLM）在生成代码时，针对不同行业领域的提示（如关键基础设施）相对于中性基线所产生的安全性漂移。作者从CISA定义的8个关键基础设施行业和9个CWE漏洞类别出发，对7个LLM（其中6
When LLM Defenses Backfire: Characterizing Safety, Performance, and Cost Trade-offs
本文系统性地研究了大型语言模型（LLM）的越狱防御措施在安全性、性能和成本之间的权衡。作者指出，防御措施在提升安全性的同时，可能引入二次代价，例如降低模型实用性、对良性输入过度拒绝以及增加推理开销。与以往将防御视为单一类别不同，本文根据操作