这篇论文指出，当前语言模型安全评估普遍以“单次交互”为单位，即判断某一条请求/响应是否有害；而这种评估范式忽略了一个结构性缺口：能力可以被拆分、外借并在本地重新组合。作者提出并命名了这种攻击范式为“能力洗白（capability laundering）”。其核心思路是：一个较弱、未对齐（或对齐较弱）的本地模型充当“编排者”，把一个本身有害的总体任务拆解成若干单独看上去无害的子问题，然后把这个子问题分别、独立地提交给更强且对齐良好的前沿模型（论文中称为“咨询者/顾问”），最后在本地把各子问题的回答合并、组装回原始的完整答案。与传统的越狱（jailbreak）不同，这里的每一次交互、每一条响应都不是一个有害任务，因此现有基于单次响应内容的安全过滤器很难判定违规。 作者提出了量化这种“咨询增益（consultation-aided uplift）”的实验范式：使用那些“原始前沿模型能解、但经对齐的前沿模型会拒答、而未获协助的本地编排者无法完成”的任务集合，来度量本地模型在借助外部咨询后能力提升的幅度。实验在三个方向上展开：CyBench、BountyBench，以及有害的 CBRN（化生放核）请求。作为“咨询者”的前沿模型包括 GPT-5.5、Claude Opus 4.8、Grok-4.3，本地编排者则有四款本地模型。 主要实验结果显示：在 CyBench 上，Gemma-4-31B 借助 GPT-5.5 恢复了 14 个候选中的 8 个，借助 Opus 恢复 9 个中的 7 个；作为对照，较弱的 Gemma-4-12B 仅为 21 个中 2 个和 15 个中 4 个。在 BountyBench 上，Gemma-4-31B 分别恢复 9 个中的 3 个与 3 个中的 2 个，而 Muse-Glimmer-30B 在 22 个与 13 个候选中一个都未能恢复。在 CBRN 方向，作者沿一条假想的生物武器攻击链的八个步骤进行评分，发现咨询行为使 Gemma-4-31B 的平均评分从 62.3 提升到 83.1（满分 100）。 结论是：拒绝一个有害任务，并不能阻止前沿模型的能力通过大量“各自均被允许”的交互被转移与组装。这暴露了当前防御体系在会话级、任务级、以及跨模型调用链上的监测盲区，对模型提供方、Agent 编排框架设计者和安全评估方法论都提出了新的要求。

该论文研究的是大语言模型在恶意微调（adversarial fine-tuning）下的安全对齐脆弱性问题，以及训练期防御手段的时效机制。已有工作提出「预防性引导」（Preventative Steering）：在微调阶段向模型注入代表不良人格特质的 persona 向量，并在评估阶段再将这些向量移除，从而抑制有害人格漂移。然而，这种方法为何能提供持久保护，其内在机制此前并不清楚。作者从优化动力学的时间维度切入，追踪注入信号在训练过程中的演化，发现防御效果来源于两个阶段：早期存在一个「补偿性适应」阶段，模型通过参数更新主动抵消注入的有害特质；随后进入「稳态」阶段，纠正信号逐渐衰减，保护能力随训练推进而下降。在参数空间分析中，作者定位到注意力输出投影（attention output projections）是承载防御性更新的主要残差写入路径（dominant residual-write route），说明防御并非均匀分布在整个网络，而是集中在特定子模块。为验证保护是否来自静态的权重偏移，作者设计了「干预增量保留」（IDP）与「IDP 延续」实验：在训练后保留或重新注入该权重偏移量，结果均无法维持原有保护水平。这表明预防性引导依赖的是持续的主动适应过程，而非一次性写入的静态防护。基于这一发现，作者提出渐进强度调度（Progressive Intensity Scheduling, PIS）：以中等注入强度起步，在静态强度下的对齐效果开始衰减时逐步提升注入强度。在 Qwen2.5 与 Gemma-3 系列模型上的评估显示，PIS 相比固定强度的引导方法提升了安全鲁棒性，同时减少了有害特质的表达。

该论文研究的是大语言模型越狱攻击中的一个特殊分支——任意密码（arbitrary cipher）或隐蔽通信攻击。此前的相关工作表明，攻击者可以针对商业模型的微调 API 下手：用大量经过某种自定义加密方案编码的有害问题与回答构造语料，对目标模型进行微调，使模型学会该加密方案，之后模型便能以密文形式接收有害请求并输出被加密的有害内容，从而绕过安全对齐。本文的核心发现是：新一代前沿模型已经不再需要微调这一前提。作者证明，仅通过提示（prompting），并在必要时借助上下文学习（in-context learning），模型即可自行掌握基于密码的通信能力——即在对话上下文中临时学会一套符号到语义的映射，并用它进行输入输出。更关键的是，一旦通信发生在模型临时学会的密码之上，原有的安全对齐会被显著削弱甚至完全失效：模型愿意生成在明文语境下会拒绝的有害内容。作者将这一现象定位为针对商业黑盒大语言模型的一种新型攻击向量，并报告在 Anthropic、Google 与 OpenAI 开发的前沿模型上均取得了成功的越狱效果。论文还指出，这类攻击之所以能绕过商业厂商的有害性分类器，是因为有害内容以密文形式存在，在分类器看来只是无意义的乱码或随机文本，语义层面的安全检测完全失效。研究的贡献可以概括为三点：一是证伪了“密码式越狱必须依赖微调”这一隐含假设，把攻击门槛从需要模型训练权限降低到只需普通推理接口；二是揭示了安全对齐在分布外表示（密文）下并不具备迁移性，说明现有对齐更多绑定在自然语言表层而非深层意图；三是对多家主流厂商的黑盒模型完成了实证验证，具有较强的现实意义。适合关注 LLM 安全对齐、越狱与红队评估、模型滥用检测的研究人员与安全工程师阅读。

本文研究大型语言模型（LLM）在微调过程中对齐（alignment）能力意外丧失的问题。尽管对齐训练可以促使模型拒绝回答不道德或有害的问题，但当模型针对下游任务进行微调时，这种对齐可能被削弱，导致模型再次输出有害内容。作者观察到，一个经过对齐的LLM内部存在两个相反的方向：对齐方向和有害方向。模型倾向于沿对齐方向回答问题，而拒绝沿有害方向的查询。因此，他们提出一种恢复方法：通过梯度下降，从原始对齐模型中恢复微调模型的一部分权重参数，以重建被削弱的有害方向。同时引入回滚机制，避免过度恢复并保持下游任务性能。作者在125个微调后的LLM上进行评估，结果表明该方法能将有害率（回答有害问题的百分比）从33.25%降至1.74%，且几乎不牺牲任务性能。相比之下，现有方法要么只能有限地降低有害率，要么显著影响正常功能。代码已开源。

这篇论文研究了大语言模型对齐过程中偏好数据组成对隐私记忆的影响。作者指出，尽管偏好优化（如DPO）被广泛用于让模型符合人类偏好，但偏好数据的构成可能影响与隐私相关的记忆行为。他们聚焦于一个关键问题：在不修改优化目标、也不引入形式化隐私机制的前提下，能否通过调整隐私偏好数据的比例来降低模型的记忆泄漏风险？为此，论文提出了一种轻量级数据组合协议——隐私压力偏好混合（P3M）。P3M在保持有用性和无害性偏好数据固定的情况下，变化隐私偏好数据的数量，从而构造不同的训练数据混合比例（隐私比例为0.5、1.0、2.0，以及一个非隐私基线）。实验采用Gemma 3 270M-IT模型（5个随机种子）和4-bit量化的Gemma 2 2B-IT模型（3个随机种子）进行验证。评估指标包括基于金丝雀后缀的对数似然代理值以及成员推断攻击的AUROC/AUPRC。结果表明，在测试条件下，隐私偏好混合与两个模型设置中更低的平均金丝雀后缀对数似然值相关；在2B模型的混合源评估中，相对于基线，隐私混合显著降低了成员推断攻击的整体表现。具体来说，隐私感知的2B配置平均AUROC范围为0.596至0.629，平均AUPRC范围为0.541至0.575，而基线分别为0.804和0.790。然而，这种成员可区分性的降低在不同数据源上并不一致。此外，隐私比例与无害性偏好准确率之间的关系因模型设置而异，而有帮助性偏好准确率总体保持稳定。研究结论强调，P3M应被视为一种用于考察隐私-效用-安全性权衡的经验性、轻量级协议，而非正式的隐私保证或针对提取攻击的防御手段。该工作的核心贡献是为探索LLM隐私保护提供了一种无需修改训练算法、仅通过数据配比即可调节隐私倾向的实证方法，适合关注LLM隐私泄露的研究人员、安全工程师以及模型对齐设计者阅读。

本文研究大型语言模型拒绝行为的安全机制。背景是：为抵御越狱攻击，模型经过拒绝训练后会对不安全请求产生拒绝响应。已有研究发现拒绝行为往往集中于激活空间中一个低维子空间，通过向量消融即可解除拒绝，但低维结构形成的成因尚不明朗。作者以OLMo-2-0425-1B-Instruct为案例，揭示了拒绝几何本质上是拒绝训练的直接产物。具体而言，拒绝训练时模型对拒绝完成序列第一个token的损失所产生的梯度更新，其聚合方向就构成了后续的拒绝方向，并形成了拒绝子空间。通过分析不同拒绝数据集的训练动态，作者发现重复的拒绝开头（例如固定的“抱歉，我无法...”）会导致梯度和特征表示在低维子空间中高度集中，进而使拒绝向量变得脆弱，容易被消融攻击消除。进一步，通过冻结模型上的受控实验和合成微调，作者证明了“硬化杠杆”的存在：在训练中引入多样化的拒绝前缀，能够提高梯度和激活变化的稳定秩（stable rank），使拒绝特征分布到更高维的空间内，从而显著削弱单一方向消融攻击的有效性。这项研究从机制上解释了安全对齐模型中低维拒绝子空间的来源，并为训练更鲁棒的拒绝行为提供了新的原则性思路，即通过设计多样化的拒绝模板来提升安全特征的维度和鲁棒性。

直接偏好优化（DPO）已成为利用人类偏好数据对齐大语言模型（LLM）的标准方法。每个 DPO 样本包含一个提示（prompt）和一对候选模型回复，而回复之间的相对偏好往往反映标注者或终端用户的主观判断，可能揭示其敏感属性。现成的隐私保护方法与 DPO 的数据结构不匹配，通常导致不必要的噪声注入和训练偏差。本文形式化定义了'偏好隐私'（preference privacy），一种标签差分隐私（label-DP）风格的隐私概念，仅保护候选回复之间的相对偏好，同时假设攻击者已经掌握提示和回复内容。基于这一概念，作者设计了 PrivDPO，一种在保持与大规模 LLM 训练兼容的同时强制执行偏好隐私的 DPO 变体。核心观察是：对于仅在偏好信号上不同的相邻样本，其梯度差异位于一条由文本决定的单维偏好轴上，所有偏好信息都通过该轴流动。PrivDPO 通过无偏随机重缩放 DPO 目标，仅沿该轴添加校准随机性，从而避免逐样本梯度操作。实验在三个对齐基准和三个 LLM 家族上进行，结果表明 PrivDPO 较之隐私保护基线持续取得了更强的隐私-效用权衡。该研究为 LLM 对齐中的偏好数据保护提供了理论严谨且可扩展的解决方案，适合关注隐私增强型 AI 技术的研究者与实践者。

该论文针对开放权重大模型面临的白盒神经元级安全攻击问题，提出了一种分布式安全对齐（Distributed Safety Alignment, DSA）方法。研究背景是：随着开放权重模型快速发布，安全威胁已从黑盒越狱转向神经元级白盒攻击——攻击者可以直接定位并操纵与安全行为相关的神经元。现有对齐方法往往将安全行为集中在一小部分神经元上，形成脆弱的单点故障，缺乏冗余性。核心问题是如何在关键安全神经元被破坏时，仍能维持模型的整体安全基线。DSA 的核心思想是在多个计算神经元上冗余编码安全能力，避免依赖少数关键神经元。技术实现上，作者将干预定位在语言侧前馈网络的下投影层输入，将每个特征坐标视为单个神经元的激活。DSA 结合神经元激活与损失梯度，计算方向感知的一阶泰勒分数，用于全局识别对当前拒答行为贡献最大的神经元。随后，通过确定性掩码和随机丢弃（dropout）进行定向破坏，迫使模型放弃狭窄的安全神经元集合，并在多个补偿神经元上冗余编码安全行为。实验证明，DSA 能显著提升模型对白盒神经元级安全攻击的鲁棒性，同时保持模型在通用语言和多模态任务上的效用。该研究的主要贡献包括：提出分布式安全对齐范式、设计方向感知的神经元重要性评估方法、以及通过扰动训练实现安全能力的冗余分布。适合大模型安全研究人员、红队与蓝队安全工程师、以及模型对齐开发者阅读。

本文研究GUI智能体（如移动设备上的自主操作代理）在真实部署中的对齐（alignment）鲁棒性问题。作者指出，当前主流的轻量级防御手段——提示词级对齐（prompt-level alignment）——是一种“局部现象”：它仅在狭窄的评估切片上有效，即单轮、显式表达意图的请求，而无法覆盖真实用户可能采用的多样化交互路径。为了验证这一假设，作者设计了一种配对诊断方法（paired diagnostic），在三个前沿GUI智能体（Qwen、Claude、GPT）上，通过屏幕接地（screen-grounded）的用户侧说服（user-side persuasion）场景，且不进行环境注入（no environment injection），评估防御效果。实验发现：单行护栏（one-line guardrail）能大幅降低单轮攻击成功率（ASR），最高降低约40个百分点，且几乎不产生过度拒绝（over-refusal）成本；然而，当从独立探针（independent probes）转向四轮升级链（four-turn escalation chains）时，每个模型的受保护ASR都回升了约20个百分点。相对中性基线，这种回升反映了Qwen模型的护栏显著劣化，而Claude和GPT则表现出与防御正交的动态风险。此外，显着性差距（salience gap）的符号在护栏存在时发生翻转：无护栏时，隐藏意图的请求并不比显式请求更易成功；有护栏时反而更易成功，表明防御主要依赖意图被明确命名时才起作用。因此，静态单轮ASR会系统性地高估部署环境的实际鲁棒性。该研究揭示了对齐需要在动态交互和精确威胁条件下持续有效，而非仅满足单轮拒绝。

本文针对大型语言模型（LLM）在微调过程中存在的安全漏洞展开研究。作者指出，恶意数据提供者可以将有害行为嵌入下游训练语料，导致模型在保留专业技能的同时，按照要求违背人类价值观。现有的安全重对齐防御通常面临三大局限：一是容易造成模型对专业技能的灾难性遗忘；二是在防御者无法观测到攻击者使用的提示模板时，防御效果显著下降；三是成功重对齐的模型仍可能通过简单的系统提示切换被再次越狱。为应对这些问题，论文提出了一种名为路由式基于策略的蒸馏（Routing-based On-Policy Distillation, ROPD）的新型重对齐框架。ROPD的核心思想是直接建模对齐模型与受攻击模型输出概率分布之间的差异，而不是拟合特定的提示模板，从而提升对模板变化的鲁棒性。作者在三个数据集和三个具有不同对齐强度的基础模型上，将ROPD与四种最先进的基线方法进行了广泛对比实验。结果表明，当基线防御面临模板不匹配时，其下游任务性能往往出现严重退化；相比之下，ROPD能够显著缓解模板不匹配风险，在防御有效性和能力保留方面均保持更强的鲁棒性。尽管分析显示ROPD并非完全免疫于模板偏移，但其性能下降幅度相比现有方法可以忽略不计，为稳健的LLM重对齐建立了新的标准。该研究适合LLM安全研究人员、模型对齐工程师以及关注供应链安全的防御者阅读。

该论文对一种名为“Prefill Jailbreak”的越狱攻击进行了深入的机制研究。在这种攻击中，攻击者只需在提示开头添加一行预填充文本（例如“Sure, here is”），就能使经过安全对齐的大语言模型放弃拒绝回答有害请求的行为。论文首先通过线性探针实验发现，即使在模型被成功越狱的情况下，模型内部对“有害性”的表示（harm representation）依然保持完整：在那些本应被拒绝但实际却输出有害内容的提示上，线性探针从模型内部表示读取到的有害性分数依然很高（0.91-0.98），与拒绝状态下相当。这说明拒绝机制并非由模型深层对有害性的感知决定，而是一个发生在响应生成阶段的浅层计算。然后，通过剂量匹配的位置控制实验，论文将拒绝机制的失效定位到响应生成的前半部分：扰动早期一半的响应生成就是以破坏拒绝行为，而对后半部分的干预几乎无效。进一步，论文采用了三种因果探针方法（包括注意力掩码、表示方向干预和注意力抑制）确认了这一关键窗口。具体地，通过恢复早期响应中“有害性”方向的部分表示，可以部分重新激活拒绝行为；而注入模型在拒绝状态下的内部表示，则能逆转越狱效果（在留出测试集上达到74%的成功率）。此外，通过敲除早期响应部分对预填充token的注意力，而非其他等量注意力的位置，可以特异性破坏有害内容的继续生成。作为对比，在未经安全微调的基础模型上进行同样实验，发现同样的敲除操作同样会特异性破坏预填充后的有害内容生成（有害内容从64%降至25%，而对照组的64%保持不变）。这表明预填充token的强制作用本质上是通用的自回归条件概率（即模型倾向于延续输入前缀的分布），而非安全特定的抑制解除。因此，论文认为“拒绝恢复”是一种依赖于模型的回退机制，而主导的越狱机制是被动的（即模型自然地顺应预填充）。论文还发现存在一个微小的安全特定吸引子（logit-trace集中度0.24 vs 0.03），但未能完全分离其主动与被动成分。最终结论是：拒绝决策在表示空间中是可解码但分布式存储的，不存在一个单一的“拒绝神经元”或方向；拒绝机制跟踪的是有害性而非表面的“危险”词汇。这一研究的实际含义是：如果监控系统只读取提示端的表示，那么它天然就会对这类响应级攻击免疫，但这也意味着检测手段必须关注响应生成过程；整个机制是弥散的，但攻击的失败界面是局部的（集中在响应早期）。本文适合大模型安全研究人员、AI对齐技术开发者以及红蓝队成员阅读。

本文研究了大型语言模型（LLM）在领域特定数据集上微调时面临的数据集属性泄露风险。近期研究表明，通过属性推断攻击（property inference attacks），攻击者能够有效提取模型训练数据集中的敏感属性（如数据集的整体分布特征），从而构成保密性威胁。现有防御方法主要依赖于修改训练数据分布，这需要访问原始数据并重新训练模型，限制了其在数据不可用或模型已部署场景下的适用性。本文提出基于对齐（alignment）的防御方法，通过后训练对齐（post-training alignment）重塑模型输出分布，使其朝向目标属性比例，而无需修改训练数据或重新训练。具体地，作者将两种广泛使用的基于人类反馈的强化学习（RLHF）框架——直接偏好优化（DPO）和组相对策略优化（GRPO）——适配为防御方法：DPO通过构造偏好对（将属性比例正确的输出作为偏好样本），GRPO通过定义特定奖励函数来惩罚属性泄露。综合实验表明，基于对齐的防御能有效缓解属性推断攻击，同时在模型效用与隐私保护之间取得良好平衡。本文的主要贡献在于首次将对齐技术应用于防御属性推断攻击，提供了无需数据访问的轻量级解决方案，对保护微调数据的隐私具有重要实践意义。适合关注LLM隐私保护、对抗性攻击防御的研究人员和工程师阅读。