Semantic Overlays: Mitigating Prompt Injection with Annotations Beyond Tokens and Steering Vectors
本文针对大语言模型（LLM）面临的提示注入（Prompt Injection）攻击提出了一种新的防御思路。研究指出，当前模型仅能感知输入的令牌（tokens），虽然服务端清楚每个文本片段属于用户输入、工具输出还是指令，但模型自身却需要自行追
#defense
共收录 72 条相关情报。
← 返回所有主题EqualNet: A Secure and Practical Defense for Long-term Network Topology Obfuscation.
本文针对网络拓扑混淆防御机制缺乏系统性安全与实用性分析的问题展开研究。路径追踪工具（如traceroute）本是网络运维人员定位故障的基础工具，但攻击者也可利用其获取尚未公开的网络拓扑信息，从而更高效地发动链路洪泛攻击（LFA）等拒绝服务攻
COPA: Continual Preference Optimization for Adaptive Prompt Injection Defense
本文针对大型语言模型（LLM）在面对不断演进的提示注入攻击时现有防御机制不足的问题，提出了一种持续偏好优化框架COPA。提示注入攻击通过将恶意指令嵌入用户输入或外部内容，可操控模型行为并绕过安全限制。现有防御大多采用静态策略，如固定的对齐目
AEGIS: Attention-Embedding Gradient Isolation Shield - Triple-Channel Gradient Masking for Privacy-Preserving Federated LLM Fine-Tuning
本文针对联邦学习中共享梯度可能泄露私有训练文本的严重隐私威胁，提出了一种轻量级防御方法 AEGIS（Attention-Embedding Gradient Isolation Shield）。作者首先通过对 Transformer 梯度结
Defending against Model Extraction for GNNs with Model Reprogramming
图神经网络（GNN）是机器学习即服务（MLaaS）中高风险应用的核心技术，但其黑盒部署模式易受模型提取（Model Extraction）攻击：攻击者通过查询API窃取模型知识产权。现有防御措施存在根本性的'欧几里得偏差'——它们直接将图像
BASIS: Breach-Aware Selective Prompt Injection Shielding with Prefill Attention Probes
大型语言模型（LLM）应用面临提示注入这一严重安全威胁，攻击者通过将恶意指令嵌入用户输入或外部数据来劫持模型行为。现有检测方法仅判断注入是否存在，并在检测到时一律拒绝响应，却忽略了关键事实：对于许多现代对齐模型而言，精心构造的指令可以抵抗大
Gradient Immunity: Null-Space Resistance to Malicious Fine-Tuning
该论文研究的是开源大语言模型在发布后被恶意下游微调（malicious downstream fine-tuning）所引发的安全风险。现有防御措施主要面向微调即服务（FTaaS）范式，或依赖下游用户遵守额外安全流程，难以适用于论文关注的场
MOAT: Model-Agnostic Randomized Transformations for preventing Efficiency Degradation Attacks on ViTs
视觉Transformer（ViTs）在资源受限环境中常通过token剪枝技术来降低计算成本并保持准确率，然而攻击者可针对这些剪枝机制发起对抗性效率攻击，故意构造输入以破坏剪枝的收益，导致模型推理开销剧增，违背了效率优化的初衷。本文提出了一
Attention is All You Need to Defend Against Indirect Prompt Injection Attacks in LLMs.
大型语言模型（LLM）已被集成到许多应用中（如Web Agent）以执行更复杂的任务，但其在处理外部数据时容易受到间接提示注入（Indirect Prompt Injection, IPI）攻击的威胁。攻击者将恶意指令隐藏于不可信的外部数据
On-Policy Distillation for LLM Safety: A Routing Approach to Template-Robust Realignment
本文针对大型语言模型（LLM）在微调过程中存在的安全漏洞展开研究。作者指出，恶意数据提供者可以将有害行为嵌入下游训练语料，导致模型在保留专业技能的同时，按照要求违背人类价值观。现有的安全重对齐防御通常面临三大局限：一是容易造成模型对专业技能
RAGuard: A Layered Defense Framework for Retrieval-Augmented Generation Systems Against Data Poisoning
该论文提出了一种针对检索增强生成（RAG）系统数据投毒攻击的分层防御框架 RAGuard。RAG 系统通过检索外部语料库来增强大语言模型（LLM）的回答，但这种依赖也引入了安全风险：攻击者可以向语料库中注入精心设计的恶意文本片段，从而操纵检
Hybrid Analysis for Secure MCP Tool Use in LLM Agents
随着大型语言模型（LLM）智能体的快速发展，其已被广泛应用于各类真实世界任务。为了标准化LLM智能体与外部环境之间的交互，模型上下文协议（MCP）工具应运而生，并成为事实上的标准，被广泛集成到这些系统中。然而，MCP工具的使用也引入了新的安
Targeted Deanonymization via the Cache Side Channel: Attacks and Defenses.
本文研究利用缓存侧信道实现目标去匿名化的攻击与防御。作者首先分析了现代处理器中缓存侧信道泄露的机制，指出攻击者可通过监控共享缓存访问模式来识别受害者的活动，从而推断其身份或敏感信息。然后，提出了一种新的去匿名化攻击方法，利用CPU缓存的时序
ChannelGuard: Safe Models Do Not Compose into Safe Multi-Agent Systems
多智能体LLM应用通常由规划器、工作智能体、验证器和合成器按链式顺序调用，每个智能体之间的通道是未被监控的通信路径，攻击者可以通过这些通道注入恶意指令（例如提示注入、工具投毒）。现有防御（例如IBProtector、Llama Guard、
A Multi-Model Hybrid Defense Approach Against White-box Adversarial Attacks in Computer Network Traffic
该论文针对网络入侵检测系统（NIDS）面临的对抗性攻击威胁，提出了一种混合防御方法。NIDS是保护网络免受未知网络威胁的关键工具，但它容易受到对抗性攻击，攻击者通过构造对抗样本欺骗NIDS，将恶意流量误分类为良性。研究聚焦于两种强大的白盒对
ADS-C: Antidistillation Sampling for Classification
该论文研究了分类模型中的反蒸馏采样问题。知识蒸馏攻击中，攻击者通过查询目标分类器的预测接口，利用返回的概率向量训练一个替代模型，从而窃取模型功能。此前针对大语言模型提出的反蒸馏采样方法通过输入相关的梯度导向扰动来防御此类攻击，但该方法在分类
Dynamic Rowhammer Threshold Management:Temperature-Aware Threshold Degradation for In-DRAM Defenses
该论文提出动态Rowhammer阈值管理（Dynamic Rowhammer Threshold Management），一种与具体防御方法无关的运行层，用于解决传统Rowhammer防御在制造时固定阈值（TRHD）而忽略运行温度变化的问题
Prismata: Confining Cross-Site Prompt Injection in Web Agents
本文提出 Prismata，一种针对自主 Web 智能体（web agent）的跨站提示注入攻击的防御框架。背景：自主 Web 智能体旨在自动化日常浏览任务，但继承了 Web 最古老的攻击面之一——跨站脚本攻击（XSS）表明混合可信与不可信
PoisonSpot: Precise Spotting of Clean-Label Backdoors via Fine-Grained Training Provenance Tracking.
该论文针对机器学习模型面临的清洁标签后门攻击防御难题，提出了一种名为 PoisonSpot 的新型检测系统。清洁标签后门攻击通过污染训练数据嵌入隐藏行为，且无需修改标签，使得现有防御手段难以有效检测。PoisonSpot 的核心创新在于借鉴
SecAlign: Defending Against Prompt Injection with Preference Optimization.
本文提出一种基于偏好优化的防御方法 SecAlign，用于缓解大型语言模型（LLM）面临的提示注入攻击。在 LLM 与外部数据源（如用户文档、网络检索结果、API 返回等）交互时，攻击者可将恶意提示注入这些外部内容，覆盖系统原有指令并执行恶