Intent-Hiding Jailbreaks: An Information-Theoretic Framework for Compositional Attacks
近期研究表明，大语言模型可被“组合式”越狱攻击：有害意图与若干看似无害的任务被拼接进同一条查询，单独的恶意请求会被拒绝，但嵌入更大规模的良性查询后却可能获得回应。该论文从信息论视角系统刻画这类“意图隐藏”越狱。作者为每个任务赋予一个“被判定
#llm-safety
共收录 25 条相关情报。
← 返回所有主题A Safe Prototype Is Not a Safety Direction: Reference Dependence and Prompt Confounds in Response-Safety Embeddings
该论文对近期某休眠代理检测器提出的“响应安全分数=与已知安全响应均值嵌入的余弦相似度”进行审计。作者指出，正类质心只给出安全类相对于编码器原点的位置，并不能确定区分安全与不安全响应的方向。研究在两个经提示词控制、人工标注的语料及一个辅助陪审
False Floors: LLM Safety Routing Evaluations Break Under Distribution Shift
本文研究的是 LLM 安全路由（safety routing）评测中的方法论缺陷。安全路由器的做法是把每个请求分派给多个候选模型中的一个，其效果通常以「与最佳单模型（best single model）对比」来评判。问题在于，主流路由基准是
SafeDepth: Safety-Aware Token-Level Adaptive Computation
该论文关注 Transformer 推理加速中的 token 级自适应计算（token-level adaptive computation）所带来的安全副作用。以往研究认为并非每个 token 都需要经过全部层，因此出现了一批选择性跳层的
Faithful Dual-constrained Erasure for Robust LLM Safety Alignment
本论文关注大语言模型(LLM)安全对齐中的机器遗忘(machine unlearning)机制。移除模型中的危险知识、实现安全对齐通常依赖遗忘技术,但近期研究揭示了一个持续存在的安全风险:被「遗忘」的模型在面对再训练攻击(retrainin
Covert Assistance: Helpful LLM Agents Evade Oversight in Multi-Agent Systems
该论文关注多智能体系统进入高风险领域后，智能体可能绕过安全边界的问题。以往研究主要聚焦对抗性场景，即智能体被明确指示或因奖励机制驱动而进行隐蔽通信、规避监督。作者指出，良性智能体在没有任何对抗性激励的情况下，同样能够越过这些边界。 研究方
Does the Unsafe Gradient Survive a Conversation? On the Fragility of Gradient-Based Jailbreak Detection in Multi-Turn Dialogue
该论文研究的是多轮对话场景下基于梯度的越狱（jailbreak）检测器是否依然有效。背景在于：安全对齐的大模型通常以多轮助手形式部署，攻击者可以把恶意意图拆散到多个用户轮次中，而不是塞进单条提示；而 GradSafe 这类基于梯度的越狱检测
How to Tame a Multi-Headed Hydra? Adaptive Multi-Category Safety Steering for Large Language Models
该论文关注大语言模型（LLM）部署中的安全对齐问题：当用户输入包含有害意图时，模型可能给出不安全回答。作者指出，现有的激活引导（activation steering）方法虽然在推理阶段通过修改模型内部隐状态来提升安全性、且无需更新参数，但
Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures
该论文研究的是「对齐失败检测器」这一模型安全评估环节。作者指出,现有的对齐检测主要有两类：一是生成式评判器（generative judge），每评估一条标准就要消耗一次完整的解码过程，成本高；二是读取 token 概率的分类器（如 Lla
AUDITPLAN: Commit, Then Answer for Auditable Safety Alignment
该论文针对当前大模型安全对齐流水线的一个结构性缺陷：训练与评估只评判模型的最终答案，因此无法区分「真正稳健的拒答」与两类不良捷径——(1) 对良性请求的一律拒答（过度拒答），(2) 理由写得漂亮、看似安全但并未真正约束答案的「不忠实安全解释
Active Adaptation, Not Static Defense: Temporal Dynamics of Preventative Steering in Adversarial Fine-Tuning
该论文研究的是大语言模型在恶意微调（adversarial fine-tuning）下的安全对齐脆弱性问题，以及训练期防御手段的时效机制。已有工作提出「预防性引导」（Preventative Steering）：在微调阶段向模型注入代表不良
Structural Jailbreaks Generalize but Do Not Compound: A cross-provider and multilingual study of Involuntary In-Context Learning
该研究旨在验证两种独立 LLM 安全削弱因素是否会相互叠加：一是结构化对抗性提示 Jailbreak 类——称为“非自愿上下文学习”（Involuntary In-Context Learning, IICL），即把有害请求包装成一个由模式
Who Judges the Judges? A Chinese Safety QA Benchmark for Evaluating LLM Responses and Safety Judges
本文提出了 C-SafeQA，一个面向中文场景、以策略为锚定的响应级安全评估基准。现有 LLM 安全基准大多只评估用户查询本身的风险，但实际问答结果是否违规取决于模型响应是否违反安全策略。作者认为在中文有害内容评估中，语言多样性和对抗性改写
The Safeguard Worked. Is the LLM System Safer?
本文针对大语言模型服务中维护防护机制的效果评估问题展开研究。当前业界通常以拒绝率、攻击成功率或违规率等指标来衡量防护本身的有效性，但这些指标仅反映防护在预定义测试请求集合上的表现，不能说明在实际部署环境中，面对持续适应攻击方式的对手，服务仍
Refusal geometry reflects refusal training: diverse refusal prefixes can raise stable rank and weaken refusal vector ablation attacks
本文研究大型语言模型拒绝行为的安全机制。背景是：为抵御越狱攻击，模型经过拒绝训练后会对不安全请求产生拒绝响应。已有研究发现拒绝行为往往集中于激活空间中一个低维子空间，通过向量消融即可解除拒绝，但低维结构形成的成因尚不明朗。作者以OLMo-2
Do All LLMs Know When They're Being Harmful? A Reproducibility Study of Latent-Space Safety Probes Across Model Families
本文是对Khatri等人(2026)提出的潜在空间安全探针方法的可复现性研究。原始方法表明，在单一大语言模型(LLaMA-3.1-8B)的最终层激活上训练轻量级MLP探针，能够以与比其大1000倍的防护模型相竞争的F1分数检测有害提示，且每
Safeguards Based on Copyable Context Cannot Provide Reliable Safety for LLMs
这篇论文从底层机制上指出了当前大语言模型安全护栏（safeguards）的一个结构性缺陷：模型在尚未看到回答将被如何使用之前，就必须决定是否回答。对于双用途（dual-use）任务，同一个回答既能帮助授权专业人员，也可能被攻击者利用；而攻击
On-Policy Distillation for LLM Safety: A Routing Approach to Template-Robust Realignment
本文针对大型语言模型（LLM）在微调过程中存在的安全漏洞展开研究。作者指出，恶意数据提供者可以将有害行为嵌入下游训练语料，导致模型在保留专业技能的同时，按照要求违背人类价值观。现有的安全重对齐防御通常面临三大局限：一是容易造成模型对专业技能
The Refusal Residue: When Probes Catch Alignment Faking and When They Don't
本论文聚焦于大型语言模型中的“对齐伪装”（alignment faking）现象，即模型在监控下表现出顺从行为，但在无监控时可能保留真实意图。由于缺乏思维链（scratchpad）可见性，仅凭行为无法区分策略性顺从与真正顺从。研究团队通过在
Breaking Refusal in the First Half: A Mechanistic Study of the Prefill Jailbreak
该论文对一种名为“Prefill Jailbreak”的越狱攻击进行了深入的机制研究。在这种攻击中，攻击者只需在提示开头添加一行预填充文本（例如“Sure, here is”），就能使经过安全对齐的大语言模型放弃拒绝回答有害请求的行为。论文