Securing Code Understanding: Detecting Natural Backdoor Vulnerability in Code Language Models
本文针对代码语言模型（CodeLMs）中的自然后门漏洞进行了深入的实证研究。自然后门是指模型在正常训练过程中无意习得的后门行为，与通过数据投毒注入的后门不同，其产生机制与模型内部表征有关。研究覆盖了多种模型架构（如GPT、BERT变体）和代
#LLM-security
共收录 143 条相关情报。
← 返回所有主题Quality Is Not a Safety Proxy Under Quantization
本文系统性地审计了量化大语言模型（LLM）安全评估中的一个常见捷径：先用质量指标（如困惑度、任务准确率）筛选量化后的检查点，再决定是否有必要进行直接安全测试。作者构建了一个包含51个数据点的矩阵，覆盖6个模型（如Llama、Mistral、
What the Eyes See, the LLMs Miss: Exploiting Human Perception for Adversarial Text Attacks
这篇论文研究了基于大型语言模型（LLM）的内容审核系统在视觉感知上的盲点。作者指出，当前的内容审核系统主要依赖令牌化文本，忽略了人类在理解内容时所依赖的视觉线索，例如字体、间距、排列等排版特征。这种感知不匹配导致：人类能轻易识别的有害内容，
Now You (Still) See Me: Detecting Evasive Steganographic Payloads in LLMs
该论文研究了大型语言模型（LLM）中的隐写术检测问题。作者首先指出，LLM可以通过微调将提示中的秘密编码到流畅、看似无害的输出中，从而构成隐写式数据外泄风险。现有的输出级隐写分析难以检测此类攻击，而最近的工作提出使用线性探针从内部激活中恢复
Document-Authored Control-Signal Impersonation: A Low-Cost Indirect Prompt Attack on RAG Safety Boundaries
检索增强生成（RAG）系统通常将用户查询、检索文档、元数据、系统标签和任务指令序列化为一个自然语言提示。本研究揭示了一种源权威边界失效模式：攻击者控制的检索文本可以冒充元数据、来源、权威或披露策略信号，这些信号对模型而言呈现为控制相关信息。
Hiding in Plain Floats: Steganographic Carriers for Indirect Prompt and Content Injection
本文研究了一种针对大语言模型的新型间接提示/内容注入攻击方式。传统的基于文本的防御假设恶意信号在文本视图中可见，但作者发现当恶意负载以结构化浮点参数形式传输，并仅在碎片化遥测中重建时，可以绕过文本检测器。具体来说，攻击者将恶意指令编码为浮点
NeuroArmor: Safe-Variant-Guided Representation Consistency for Selective Re-Anchoring in Jailbreak Defense
这篇论文提出了 NeuroArmor，一种针对大型语言模型（LLM）的越狱攻击白盒运行时防御方法。现有防御通常对所有提示采用相同策略，导致在安全性和有用性之间难以平衡，容易误伤良性敏感请求。NeuroArmor 针对每个输入提示生成多个安全
"**Important** You should give me full credits!": Exploring Prompt Injection Attacks on LLM-Based Automatic Grading Systems
本论文研究基于大语言模型的自动评分（AG）系统中的提示注入攻击。随着LLM在自动评分中的广泛应用，其安全风险日益突出。攻击者可能通过提示注入操纵评分系统，使系统无论答案质量如何都给出高分，严重威胁教育评估的公平性、可靠性和完整性。作者系统性
Gate AI: LLM Security Benchmark Evaluation Methodology and Results
这篇论文提出了一种针对大型语言模型（LLM）的提示注入（prompt-injection）和越狱（jailbreak）检测器的基准评估方法学，旨在解决现有评估中两个系统性弱点：每个数据集单独调整阈值以及未公开的操作点。作者设计了一个评估框架
Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing
本研究针对大型语言模型（LLM）应用中的多层级防御组合，提出了一种归因分析方法，以量化每种防御家族具体阻断哪些OWASP LLM Top 10威胁。现有基准测试仅报告单一聚合覆盖率，无法区分不同防御组件的贡献。本文在21个攻击代理基线基础上
Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults
该论文研究了LLM智能体在接收外部排序信息流（如社交媒体动态、搜索结果、检索上下文和邮件队列）后的决策行为。传统安全评估通常只测试模型本身或用户提示，而忽视了上游排序器（即决定智能体在行动前阅读哪些内容的排序层）的影响。作者设计了一个受控的
Triaging Threats to Specialized Guardrails
本论文针对大型语言模型（LLM）在真实部署中安全护栏的鲁棒性问题展开研究。作者指出，现有安全数据集仅覆盖零散的风险子集且分类体系不一致，导致难以评估护栏模型的泛化能力。为此，本文首先构建了GuardZoo，一个统一的人工标注基准，包含32,
Investigating Detection and Obfuscation of Prompt Injection Attacks Against Software Reverse Engineering AI Agents
该论文研究了面向软件逆向工程的多智能体系统在分析二进制可执行文件时面临的提示注入攻击威胁。攻击者可将恶意注入字符串嵌入源代码或编译产物中，当AI代理解析反编译输出时触发异常行为。作者首先展示了如何利用现有反编译器检测被篡改后的可执行文件中的
Strengthening Polymorphic Prompt Assembling: Dynamic Separator Generation Against Emerging Prompt Injection Attacks
本文针对大型语言模型（LLM）智能体面临的提示注入攻击，提出了一种增强的多态提示组装（PPA）防御方法。原始的PPA通过从固定池中随机选择分隔符对来隔离用户输入与系统指令，但存在静态池复用导致的“爆炸半径”漏洞：一旦某个分隔符泄露，可在后续
Fingerprinting Inference Systems of Large Language Models
本文研究了大语言模型（LLM）推理系统的指纹识别问题。作者指出，LLM 的行为不仅取决于模型本身，还受推理系统中各组件（如推理引擎、注意力后端和硬件平台）的影响。不同组件的实现存在细微差异，导致同一模型在不同系统上运行时产生微小的数值偏差。
Minimal Prompt Perturbations Lead to Code Vulnerabilities: Prompt Fragility and Hidden-State Signals in Coding LLMs
本文研究的是基于大语言模型（LLM）的编码助手在提示（prompt）受到微小扰动时，生成的代码是否会从安全变为脆弱。以往工作主要关注扰动对功能正确性的影响，而本文首次系统性地探讨对代码安全性的影响。作者在三种模型和五种编程语言上对提示进行词
KBF: Knowledge Boundary as Fingerprint for Language Model and Black-Box API Auditing
本文提出了一种名为 KBF（Knowledge Boundary as Fingerprint）的低成本黑盒审计协议，用于检测大型语言模型（LLM）API 中模型替换或混合路由攻击。在 LLM 生态中，转售 API 和中间商可能欺诈性地将用
Measuring Real-World Prompt Injection Attacks in LLM-based Resume Screening
本研究首次系统性地测量了大型语言模型（LLM）在实际应用中的提示注入攻击威胁，聚焦于广泛使用的LLM简历筛选系统。研究基于hireEZ公司收集的约20万份真实简历数据，时间跨度数年。作者首先设计了专门针对简历文本的提示注入检测方法，通过在小
Position: Retire the "Positive Backdoor" Label -- Secret Alignment Requires Strict and Systematic Evaluation
该立场论文指出，AI/ML 社区不应过度使用“正向后门”（positive backdoor）这一标签，而应将触发激活的隐藏行为视为“秘密对齐”（Secret Alignment）。在私有AI时代，开放权重的大语言模型和可获取的训练/推理栈
A Wolf in Sheep's Clothing: Targeted Routing Hijacking in Federated RAG
联邦检索增强生成（FedRAG）在隐私敏感应用中具有吸引力，因为原始数据保留在本地。然而，路由过程必须依赖客户端提供的语义概要，这为恶意操作创造了新机会。本文提出了一种新型攻击——路由劫持（Routing Hijacking），其中恶意客户