CoDeL: Co-Evolutionary Defense against Indirect Prompt Injection in LLM-based Agents
该论文研究 LLM 智能体面临的间接提示注入（IPI）防御问题。作者指出，虽然基于训练的防御通常被认为最可靠，但现有方案多在静态、显式的注入分布上优化，学到的是表面形式线索，而非“服务用户目标”与“服从注入目标”之间的本质边界；因此当恶意意
#adversarial-training
共收录 13 条相关情报。
← 返回所有主题StyleAT: Defending Face Recognition Against Semantic Attacks
该论文研究人脸识别模型在"语义对抗编辑"下的脆弱性问题。背景是:人脸识别已被广泛嵌入日常身份认证与视频监控系统,而近期工作发现,对输入图像做对抗性但语义层面看似合理的修改(例如轻微改变年龄外观、调整头部姿态),就能诱导模型产生误分类。这类语
Alchemy: Data-Free Adversarial Training.
本文提出了一种名为 Alchemy 的无数据对抗训练框架，旨在解决实际场景中模型鲁棒性提升面临的训练数据不可得问题。传统对抗训练方法通常依赖原始训练数据来生成对抗样本并增强模型鲁棒性，但随着开源模型平台和商业模型的普及，用户往往只能获得模型
Robust Context-Aware Detection of Malicious Instructions in Text
该论文聚焦于大型语言模型（LLM）在代理（agent）场景下所面临的间接提示注入（Indirect Prompt Injection, IPI）攻击。现代LLM具备出色的指令跟随能力，常被用作自主完成复杂任务的代理，但这也使其易受嵌入在文本
Adversarial Watermarking Transformer: Towards Tracing Text Provenance with Data Hiding.
本文针对自然语言生成模型（如GPT）可能被滥用于生成虚假信息、钓鱼邮件等问题，提出了一种名为Adversarial Watermarking Transformer (AWT)的文本水印方法，用于追溯文本来源。AWT是一个端到端的编码器-解
Semantic Leakage and Privacy Preservation in Relay-Assisted Semantic Communications
该论文研究了中继辅助语义通信系统中的隐私问题。语义通信通过传输任务相关信息而非原始数据，旨在资源受限和信道条件下实现高效鲁棒的通信。然而，论文发现即使中继节点无法访问源数据，它也可以直接基于学习到的潜在表示可靠地推断语义含义并重构信号，其性
Defending Against Harmful Supervision Hidden in Benign Samples
该论文针对大语言模型在微调阶段面临的新型安全威胁展开研究。现有防御机制大多假设有害监督数据以显式形式混入下游微调数据集（如直接包含恶意问答对），但攻击者可以采取更隐蔽的方式：将有害的监督信号嵌入到看似良性的任务样本中。作者提出了一种名为“E
Steering Beyond the Support: Adversarial Training on Unsupervised Jailbroken Activation Simulation
该论文针对大型语言模型（LLM）面对越狱提示（jailbreak prompts）时的安全对齐问题展开研究。现有安全引导（safety steering）方法在测试时通过激活干预将越狱激活引导至拒绝区域，同时保持良性功能，但这些方法本质上是
Splitting the Difference on Adversarial Training.
本文提出了一种新颖的对抗训练方法，称为“分裂差异”（Splitting the Difference）。标准的对抗训练通常在提升模型鲁棒性的同时牺牲自然准确率，且试图为每个类别学习一个统一的决策边界来同时覆盖干净样本和对抗样本。作者反其道而
Information Theoretic Adversarial Training of Large Language Models
本文提出一种基于信息论的对抗训练框架WARDEN，用于提升大型语言模型（LLM）对提示注入等对抗攻击的鲁棒性。当前LLM虽经过对齐与安全训练，仍易受新型攻击策略诱导产生有害行为。现有对抗训练方法计算成本高、难以扩展。最近出现的连续对抗训练方
MIMIR: Masked Image Modeling for Mutual Information-based Adversarial Robustness.
本文针对视觉 Transformer（ViT）在对抗攻击下的脆弱性展开系统研究。ViT 已成为现代视觉-语言模型的基础架构，但其对抗鲁棒性不足，需要专门的对抗训练（AT）策略。作者首先指出现有最先进的 AT 方法（如 Generalist
Fight Poison with Poison: Enhancing Robustness in Few-shot Machine-Generated Text Detection with Adversarial Training
机器生成文本（MGT）检测对于规范在线信息生态系统至关重要，但现有检测器在小样本设置下表现不佳，且容易受到对抗性人性化攻击。本研究从威胁建模角度出发，研究攻击者视角下的检测器漏洞。为此，作者提出REACT（RAG引导攻击者强化对比小样本检测
Mitigating Error Amplification in Fast Adversarial Training
本文针对快速对抗训练（FAT）中存在的两个核心问题展开研究：（1）灾难性过拟合（CO），即模型过度拟合训练时使用的对抗样本，导致对未见攻击泛化能力差；（2）鲁棒性与准确率之间的权衡，即在提高鲁棒性的同时往往导致干净样本上的性能显著下降，且随