Origin Is All You Need: Provenance-Aware Transformers for Structural Trust-Boundary Separation
该论文针对大语言模型（LLM）系统中的间接提示注入（Indirect Prompt Injection, IPI）问题提出了一种架构级防御方案。作者指出，IPI 之所以长期难以根治，根本原因在于标准 Transformer 架构缺乏对「来源
#LLM-security
共收录 143 条相关情报。
← 返回所有主题ALIBI: Adversarial Legitimacy Injection in Binary Input against LLM Malware Analyzers
该论文研究的是将大语言模型（LLM）引入恶意软件分诊流程后新出现的一类攻击面。当前越来越多的安全团队把 LLM 当作"推理组件"，用来自动汇总静态分析证据（如导入表、节区信息、字符串、签名等），并直接输出面向分析师的结论或严重度评级。作者指
PIDS-Bench: Evaluating Prompt-Injection Detectors Under Over-Defense, Obfuscation, and Distribution Shift
提示注入(prompt injection)检测器目前普遍以分布内测试集上的聚合 F1 作为主要评价指标,这种做法掩盖了模型在分布偏移下的真实行为,尤其是决策边界的良性一侧:误报会直接产生运维成本(告警疲劳、正常业务被拦截),却往往没有被单
CARTS: Contextual Autoregressive Rank Transcoding Steganography for Full-Capacity Keyed Text Encoding
本文研究的是如何利用自回归语言模型构建隐蔽通信信道的问题。其核心观察是：自回归模型在生成每个 token 时，会对候选 token 形成一个按概率排序的"秩"（rank）分布；如果在生成过程中保持每个位置上被选中 token 的相对秩不变，
Understanding the Security Boundary of Obfuscation-based On-Device LLM Protection
该论文研究设备端大语言模型（LLM）知识产权保护中的安全边界问题。背景上，可信执行环境（TEE）为在本地设备上保护 LLM 权重提供了有前景的隔离机制，但 TEE 本身存在计算瓶颈。现有 TEE 屏蔽式 LLM 划分（TSLP）方法通过高效
Rent-a-RAG: Embedding-Space Watermarks for Auditing Third-Party RAG
第三方检索增强生成（RAG）市场带来了新的审计问题：数据提供商将语料库授权给RAG运营商后，无法得知其文档是否被未经补偿地重复使用。由于运营商不合作、生成器会改写答案、且单次响应可能结合多个提供商的证据，审计尤为困难。为此，论文提出DirB
Trust Me, I'm Your Developer: Self-Issued Authentication in Large Language Models
该论文研究了大型语言模型（LLM）在身份验证场景中的一种新型安全失效模式。传统上，LLM安全研究多集中于角色扮演类越狱，而忽略了当用户要求模型通过一个由模型自身设计的测试来验证身份声明时会发生什么。作者对ChatGPT、Claude、Qwe
The Implications of Linguistic Illegibility for LLM Security
该论文由安全研究员 James Mickens 撰写，讨论了大型语言模型（LLM）安全中一个被忽视的根本性问题——“语言不可读性”（linguistic illegibility）。论文指出，LLM 被训练输出自然语言，但其内部计算本质上是
CodePoisonRAG: Knowledge Poisoning Attacks on Retrieval-Augmented Code Generation
该论文提出 CodePoisonRAG，一种针对检索增强代码生成（RACG）系统的上游知识投毒攻击框架。RACG 通过检索外部代码、文档和补丁并融入生成上下文来提升 LLM 的代码生成能力，但这种对外部知识的依赖引入了新的信任边界：攻击者可
The Shape of Ownership: Verifying LLM Provenance through Semantic Structures
本文针对大型语言模型（LLM）在再分发、适配和透明API服务场景下所有权难以验证的问题。由于模型可能被微调、量化或通过黑盒API提供服务，传统的基于内部权重或部署记录的验证方式不再可靠，因此需要一种可通过黑盒交互观察的行为签名。现有黑盒指纹
SEAL: Reinforcing Global Safety in Mixture-of-Experts through Shared Expert ALignment
MoE（混合专家）是为扩展大语言模型而设计的架构，每个token仅激活少量专家模块，从而在计算量基本不变的情况下支持大规模参数增长。近年来的混合架构还引入共享专家以捕获有用的通用特征，进一步提升稳定性与泛化能力。MoE已被许多旗舰开源和商业
Transfer Safety Awareness for Cross-Modal Safety Drift in Multimodal Large Language Models
本研究聚焦于多模态大语言模型(MLLM)中一种新的安全风险——跨模态安全漂移。视觉模态虽然增强了模型的能力，但也为攻击者提供了新的利用路径：一段在纯文本场景下看似无害的查询，一旦配上特定的视觉图像，就可能表达出被模型间接解读的恶意意图，而模
SoK: When Safe Agents Fail Together: The Security of Multi Agent LLM Systems
该论文是一篇关于多智能体LLM系统（MAS）安全的系统化综述（SoK）。研究背景是：多智能体LLM系统在多个主体之间传递信息、状态、决策和权限，这种跨主体的交互可能引发局部安全检查无法发现的系统性故障。作者指出，如果没有执行级别的视图，多智
SingProbe Technical Report
大型语言模型（LLM）在生产环境中的可靠部署高度依赖运行时安全防护栏（runtime guardrails）。然而，现有防护方案大多采用独立的外部模型，不仅带来额外的推理开销，还会延迟安全信号并难以跟上基础模型能力的快速演进。为应对上述挑战
LongPIBench: A Long-Context Benchmark for Prompt Injection
本文提出 LongPIBench，一个专门面向长上下文场景的提示注入攻击基准。当前已有的提示注入基准大多只覆盖短输入，无法反映真实应用中长上下文条件下的安全风险，导致对现有防御方案有效性的高估。为弥补这一空白，作者设计了覆盖四种真实应用场景
GraftyVul: Synthesising Insecure Programs Through Real-World Vulnerability Grafting
本文提出了 GraftyVul，一个通过将真实世界漏洞“嫁接”到开源项目中来自动构造含漏洞程序的数据集生成系统。现有漏洞数据集通常难以同时满足多样性（语言和漏洞类型）、可复现性与可执行性以及真实性这三项要求：部分数据集使用人工构造或合成代码
Fully Unleashing the Multimodal Attacker: Meta-Adaptive Jailbreaking of Vision-Language Models
本文提出了一种名为元自适应多模态越狱（Meta-Adaptive Multimodal Jailbreaking, MAMJ）的新型攻击方法，用于系统性评估大型视觉语言模型（VLM）的安全性。现有越狱攻击在元层面大多是静态的：基于模板的方法
NeuronFuzz: Safety Neuron Guided Fuzzing for LLM Safety Evaluation
论文提出 NeuronFuzz，一个面向大语言模型（LLM）安全评估的白盒模糊测试框架。现有自动化越狱测试方法主要依赖响应级反馈：每个候选提示都需要目标模型生成完整回复才能评估攻击效果，这不仅计算开销大，而且在强对齐模型上反馈极其稀疏——大
Reassembling Distributed Risk: Trajectory-Conditioned Action Generation for Multi-Turn Agent Safety
本文针对工具型大语言模型（LLM）智能体在多轮交互中的安全风险提出了一种新的防御方法。传统安全防护主要关注生成文本中的恶意内容，但工具型智能体能够执行影响外部系统的动作，安全风险范围因此扩展至动作序列。多轮分解攻击（multi-turn d
Do System Prompts Leave Behavioral Fingerprints? A Large-Scale Empirical Study of Clone Detection via Output Similarity
本文研究了一个新兴的安全问题：商业大语言模型（LLM）的系统提示词（system prompt）可以被高成功率（超过80%）地提取并零成本重新部署，但提示词所有者无法验证某个疑似部署是否是克隆。为此，作者提出了黑盒行为指纹识别（Black-