LLMs as Linguistic Chameleons: Decoupling Semantics and Structure for Privacy-Preserving Communication
背景与问题：随着 LLM API 被大量集成进隐私敏感的业务流程，如何在推理阶段既保护输入隐私又不牺牲下游任务效用，成为一个突出难题。现有隐私保护方案（如加密、噪声扰动、局部替换等）通常需要保留大部分原始语义，以维持模型推理质量，但这也意味
#cs.CL
共收录 424 条相关情报。
← 返回所有主题Beyond Single-Model Injection: A Threat Model and Defense Architecture for Prompt Injection in Multi-Agent Systems
该论文指出，现有提示注入（Prompt Injection）研究几乎都局限于单模型聊天机器人场景，即攻击者通过精心构造的输入操纵单个 LLM。作者认为多智能体（Multi-Agent）系统引入了三种单模型场景中不存在的放大机制：其一，智能体
CASCADE Against Jailbreaks: Combination Across Stages with Controlled Attack-Defense Evaluation
该论文研究大语言模型（LLM）越狱攻击的防御问题。当前防御手段分布在推理流水线的不同阶段（例如输入改写/输入过滤、输出护栏/输出检测等），但业界仍不清楚每个阶段应部署哪类防御、以及应如何将它们组合使用。以往的实证研究由于攻击成功率定义不一致
Conformal Privacy Auditing: Calibrated Re-identification Attacks with Statistical Guarantees
该论文针对文本数据发布场景中的身份再识别（identity leakage）风险，提出了一个名为 Conformal Privacy Auditing（CPA，共形隐私审计）的免分布校准框架。研究背景是：随着大语言模型（LLM）能力提升，攻
Red-Teaming Auto Mode: Improving Blocking Classifiers Against Malign Coding Agents
该论文研究的是编码智能体(coding agent)在生产环境中的安全护栏问题。当前主流做法是在智能体执行每个动作前,由一个阻断式监控器(blocking monitor)先审查并有权否决该动作,例如 Claude Code 的 Auto
Safety Beyond the Interface: Detecting Harm via Latent States in Large Language Models
该论文关注大语言模型（LLM）安全防护基础设施的部署成本问题：当前主流做法是在模型外部串接独立的护栏模型（guardrail model）对输入输出做有害性判定，但这类外部防护会带来显著的推理延迟与算力开销，在资源受限、时延敏感的场景（如边
AUDITPLAN: Commit, Then Answer for Auditable Safety Alignment
该论文针对当前大模型安全对齐流水线的一个结构性缺陷：训练与评估只评判模型的最终答案，因此无法区分「真正稳健的拒答」与两类不良捷径——(1) 对良性请求的一律拒答（过度拒答），(2) 理由写得漂亮、看似安全但并未真正约束答案的「不忠实安全解释
Decoy Direction Optimization: A Post-Hoc Defense Against LLM Abliteration
开放权重模型的安全护栏很容易被「拒绝特征消融」(Refusal Feature Ablation, RFA) 绕过：该技术通过对比估计器在残差流中定位一个线性的「拒绝方向」，再将它从权重/激活中投影剔除，从而在几乎不损失模型通用能力的前提下
Universal Defenses for Tool-Integrated LLM Agents Against Adversarial Attacks
大型语言模型（LLM）智能体在集成外部工具后可完成多步复杂任务，能力显著提升，但其对提示的开放性以及对工具的操控能力也带来了新的攻击面。本文聚焦四类针对工具集成 LLM 智能体的对抗攻击：直接提示注入、间接提示注入、记忆投毒与后门攻击，并尝
RAG-CT: Mitigating Privacy Risks on Retrieval-Augmented Generation Systems via Scanning Prompt Distribution
检索增强生成（RAG）通过在生成阶段引入外部知识库的检索结果，显著降低了大型语言模型的幻觉与事实性错误，已成为提升 LLM 输出质量的主流范式。然而近期研究揭示了一个关键隐私漏洞：攻击者可构造特定查询，借助检索环节从底层语料库中提取个人可识
CiteShade: Citation Laundering in Multi-Source Retrieval-Augmented Generation and Its Counterfactual Defense
该论文研究的是检索增强生成（RAG）中被长期忽视的“引用通道”安全问题。RAG 会先检索外部知识，再基于检索结果生成答案，并为每一条答案附上来源引用；这些引用构成用户的审计线索——读者可以据此核对结论，而无需盲信模型本身。以往 RAG 安全
Pick Your Poison: Learning to Select Poison Sets for Stronger LLM Backdoor Attacks
该论文聚焦大语言模型微调阶段的后门数据投毒评估方法学。传统后门研究通常固定投毒样本数量，再从候选数据池中随机抽取投毒集合，并据此估计模型的最坏情况脆弱性。作者指出这种做法会严重低估真实风险：在三个基于 LLaMA-3-8B 的后门实验设置中
SpecGuard: Inference-Time Backdoor Detection For Free
该论文关注大语言模型供应链中的后门风险：模型常被第三方微调、共享或直接下载，因此实际部署的模型可能在良性输入下表现完全正常，一旦出现攻击者预设的秘密触发器，就切换为攻击者控制的行为。部署前的静态审计虽然有效，但对于持续更新、频繁重新微调或热
Empirical Evaluation of Membership Inference Attacks on NLP Text Classifiers: A Baseline Study on SST-2
该论文针对自然语言处理中的训练数据隐私风险，系统评估了成员推断攻击（Membership Inference Attack, MIA）在文本分类任务上的实际威胁。MIA 的目标是判断某条具体记录是否被用于训练某个模型；在 NLP 场景下，训
Detectable Only Where It Is Confounded: What Verified Duplication Counts Say About Membership Evidence in Language Models
这篇论文审视大语言模型成员推断（membership inference）证据的可靠性。传统做法是：若模型对某句子预测代价异常低（困惑度低），就推断它出现在训练数据中；但几乎所有已发表的此类检验都必须猜测哪些句子是训练集成员、哪些不是，这种
Active Adaptation, Not Static Defense: Temporal Dynamics of Preventative Steering in Adversarial Fine-Tuning
该论文研究的是大语言模型在恶意微调（adversarial fine-tuning）下的安全对齐脆弱性问题，以及训练期防御手段的时效机制。已有工作提出「预防性引导」（Preventative Steering）：在微调阶段向模型注入代表不良
How Fragile Is Safety Alignment at Frontier Scale? A Single-Direction Attack on a 320B MoE
该论文研究的是：在开放权重语言模型上被广泛引用的「方向消融（directional ablation）」白盒攻击，是否在从前沿稠密模型迁移到大规模混合专家（MoE）架构后依然成立。所谓方向消融，是指不需要基于梯度的训练、也不需要任何优化，仅
An Efficient and Effective Agentic Group Shilling Attack on Recommender Systems
该论文聚焦推荐系统面临的一类重要安全威胁——刷榜/刷单攻击（shilling attack，即攻击者通过注入虚假用户档案来扭曲物品排名、操纵曝光度）。作者指出，现有刷榜攻击方法存在两个明显短板：一是往往需要针对特定目标物品进行微调，或依赖固
Benchmark Scores Are Pipeline-Dependent: A Reliability Audit of Cybersecurity LLM Benchmarks
本文对网络安全领域的大语言模型（LLM）基准测试的可靠性进行了系统性审计，指出基准分数并非固定不变，而是高度依赖于评估管道的具体配置。作者将八个网络安全基准测试视为测量管道，并选取了十个模型（包括商业专有模型、开放权重模型和网络安全专用模型
Structural Jailbreaks Generalize but Do Not Compound: A cross-provider and multilingual study of Involuntary In-Context Learning
该研究旨在验证两种独立 LLM 安全削弱因素是否会相互叠加：一是结构化对抗性提示 Jailbreak 类——称为“非自愿上下文学习”（Involuntary In-Context Learning, IICL），即把有害请求包装成一个由模式