Faithful Dual-constrained Erasure for Robust LLM Safety Alignment
本论文关注大语言模型(LLM)安全对齐中的机器遗忘(machine unlearning)机制。移除模型中的危险知识、实现安全对齐通常依赖遗忘技术,但近期研究揭示了一个持续存在的安全风险:被「遗忘」的模型在面对再训练攻击(retrainin
#alignment
共收录 19 条相关情报。
← 返回所有主题Controlled Decoding Attacks on Black-Box LLMs
该论文关注大模型安全对齐在解码阶段的脆弱性: 操纵生成过程中的下一个 token 概率分布可以绕过对齐约束。但已有方法普遍依赖模型权重或数值化的 token 概率(logprobs), 因此对只返回采样文本的黑盒接口完全无效。作者尝试从采样
Safer Content or Firmer Refusals? A Hybrid Perturbation Defense for Alignment under Harmful Fine-tuning
该论文研究"微调即服务"(Fine-tuning-as-a-service)场景下的有害微调(harmful fine-tuning)攻击面: 用户在对齐后的语言模型上用自有数据做微调时, 只需在大量良性样本中混入少量有害数据, 就足以削弱
SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents
该论文关注自演化 LLM 智能体（self-evolving LLM agents）带来的内生性失配（endogenous misalignment）风险。这类智能体在部署后能够根据用户与环境反馈修改自身"装备"（harness），包括控制
How to Tame a Multi-Headed Hydra? Adaptive Multi-Category Safety Steering for Large Language Models
该论文关注大语言模型（LLM）部署中的安全对齐问题：当用户输入包含有害意图时，模型可能给出不安全回答。作者指出，现有的激活引导（activation steering）方法虽然在推理阶段通过修改模型内部隐状态来提升安全性、且无需更新参数，但
AUDITPLAN: Commit, Then Answer for Auditable Safety Alignment
该论文针对当前大模型安全对齐流水线的一个结构性缺陷：训练与评估只评判模型的最终答案，因此无法区分「真正稳健的拒答」与两类不良捷径——(1) 对良性请求的一律拒答（过度拒答），(2) 理由写得漂亮、看似安全但并未真正约束答案的「不忠实安全解释
Decoy Direction Optimization: A Post-Hoc Defense Against LLM Abliteration
开放权重模型的安全护栏很容易被「拒绝特征消融」(Refusal Feature Ablation, RFA) 绕过：该技术通过对比估计器在残差流中定位一个线性的「拒绝方向」，再将它从权重/激活中投影剔除，从而在几乎不损失模型通用能力的前提下
Divide, Consult, Conquer: Capability Laundering Through Aligned LLMs
这篇论文指出，当前语言模型安全评估普遍以“单次交互”为单位，即判断某一条请求/响应是否有害；而这种评估范式忽略了一个结构性缺口：能力可以被拆分、外借并在本地重新组合。作者提出并命名了这种攻击范式为“能力洗白（capability laund
Active Adaptation, Not Static Defense: Temporal Dynamics of Preventative Steering in Adversarial Fine-Tuning
该论文研究的是大语言模型在恶意微调（adversarial fine-tuning）下的安全对齐脆弱性问题，以及训练期防御手段的时效机制。已有工作提出「预防性引导」（Preventative Steering）：在微调阶段向模型注入代表不良
Arbitrary Cipher Attacks Against Large Language Models Do Not Require Fine-Tuning
该论文研究的是大语言模型越狱攻击中的一个特殊分支——任意密码（arbitrary cipher）或隐蔽通信攻击。此前的相关工作表明，攻击者可以针对商业模型的微调 API 下手：用大量经过某种自定义加密方案编码的有害问题与回答构造语料，对目标
Alleviating the Fear of Losing Alignment in LLM Fine-tuning.
本文研究大型语言模型（LLM）在微调过程中对齐（alignment）能力意外丧失的问题。尽管对齐训练可以促使模型拒绝回答不道德或有害的问题，但当模型针对下游任务进行微调时，这种对齐可能被削弱，导致模型再次输出有害内容。作者观察到，一个经过对
Balancing Privacy, Utility, and Safety in LLM Alignment through Preference Optimization
这篇论文研究了大语言模型对齐过程中偏好数据组成对隐私记忆的影响。作者指出，尽管偏好优化（如DPO）被广泛用于让模型符合人类偏好，但偏好数据的构成可能影响与隐私相关的记忆行为。他们聚焦于一个关键问题：在不修改优化目标、也不引入形式化隐私机制的
Refusal geometry reflects refusal training: diverse refusal prefixes can raise stable rank and weaken refusal vector ablation attacks
本文研究大型语言模型拒绝行为的安全机制。背景是：为抵御越狱攻击，模型经过拒绝训练后会对不安全请求产生拒绝响应。已有研究发现拒绝行为往往集中于激活空间中一个低维子空间，通过向量消融即可解除拒绝，但低维结构形成的成因尚不明朗。作者以OLMo-2
Private Direct Preference Optimization for LLM Alignment
直接偏好优化（DPO）已成为利用人类偏好数据对齐大语言模型（LLM）的标准方法。每个 DPO 样本包含一个提示（prompt）和一对候选模型回复，而回复之间的相对偏好往往反映标注者或终端用户的主观判断，可能揭示其敏感属性。现成的隐私保护方法
No Single Neuron of Failure: Distributed Safety Alignment Against White-Box Attacks
该论文针对开放权重大模型面临的白盒神经元级安全攻击问题，提出了一种分布式安全对齐（Distributed Safety Alignment, DSA）方法。研究背景是：随着开放权重模型快速发布，安全威胁已从黑盒越狱转向神经元级白盒攻击——攻
Alignment Is Local: A Paired Diagnostic for GUI Agents under User-Side Persuasion
本文研究GUI智能体（如移动设备上的自主操作代理）在真实部署中的对齐（alignment）鲁棒性问题。作者指出，当前主流的轻量级防御手段——提示词级对齐（prompt-level alignment）——是一种“局部现象”：它仅在狭窄的评估
On-Policy Distillation for LLM Safety: A Routing Approach to Template-Robust Realignment
本文针对大型语言模型（LLM）在微调过程中存在的安全漏洞展开研究。作者指出，恶意数据提供者可以将有害行为嵌入下游训练语料，导致模型在保留专业技能的同时，按照要求违背人类价值观。现有的安全重对齐防御通常面临三大局限：一是容易造成模型对专业技能
Breaking Refusal in the First Half: A Mechanistic Study of the Prefill Jailbreak
该论文对一种名为“Prefill Jailbreak”的越狱攻击进行了深入的机制研究。在这种攻击中，攻击者只需在提示开头添加一行预填充文本（例如“Sure, here is”），就能使经过安全对齐的大语言模型放弃拒绝回答有害请求的行为。论文
Alignment Defends LLMs from Property Inference Attacks
本文研究了大型语言模型（LLM）在领域特定数据集上微调时面临的数据集属性泄露风险。近期研究表明，通过属性推断攻击（property inference attacks），攻击者能够有效提取模型训练数据集中的敏感属性（如数据集的整体分布特征）