本论文针对大型推理模型（LRMs）在复杂任务上表现优异但易受有害提示诱导而输出不安全内容的问题，提出了一种名为 AdvSafe 的双对抗安全对齐框架。现有对齐方法通常依赖直接拒绝或安全推理，但往往局限于提示模式而非内在攻击机制，导致难以泛化到多样化的越狱攻击，鲁棒性和推理效用难以兼顾。AdvSafe 的核心思路是让模型通过显式解构对抗机制来内化不安全知识，从而超越模式依赖，建立稳健的认知防御而不损失推理能力。该框架采用两阶段对抗博弈：首先在对抗合成阶段，一个自主智能体动态构造欺骗性越狱提示，并调整策略以突破强教师模型；其次在对抗提取阶段，被突破的教师模型执行认知反攻击，针对每次成功的越狱，解释攻击成功的原因以及如何识别和缓解此类提示。这一过程生成一个紧凑的推理数据集，包含丰富且可泛化的不安全知识。基于该数据集训练的学生模型，能够通过内在威胁理解隐式获得安全对齐。实验表明，仅使用 1K 合成样本，AdvSafe 对齐的 LRM 相比现有基线显著增强了越狱鲁棒性，且几乎没有效用损失。此外，AdvSafe 还提升了对分布外提示的鲁棒性，证明了学习不安全知识能够实现更优的鲁棒性-效用权衡，并泛化到未见过的攻击模式。该研究适合关注 LLM/LRM 安全对齐、对抗鲁棒性和红队防御的研究人员与安全工程师阅读。

本文研究了大语言模型（LLM）在批量提示（batch prompting）场景下的安全性问题。批量提示是一种实用的推理策略，通过将多个问题打包在一次请求中交给模型处理，以提升效率和吞吐量。然而，作者发现批量提示在实用性上的成功并未延伸到安全性：一个单独提出时会被模型可靠拒绝的有害问题，当被嵌入到一批良性问题中时，可能诱使模型生成有害回答。作者将此识别为一种独立的安全失效模式，并证明它无法归结为已有的上下文学习或长上下文效应等已知漏洞。论文从两个互补视角分析了失效成因：一是对齐信号减弱（alignment signal weakening），即批量中良性样本稀释了模型对有害内容的注意力；二是拒绝信号稀释（refusal signal dilution），即模型对单个有害问题的拒绝倾向在批量中被多个良性请求覆盖。实验覆盖了广泛使用的开源模型和前沿商业模型，结果表明批量提示作为一种简单的黑盒攻击，能够稳定地实现较高的攻击成功率。进一步，作者提出了一种批量感知的偏好优化（batch-aware preference optimization）方法，并证明该方法能有效缓解该脆弱性。这些发现揭示了当前安全对齐中的一个盲区，并指出批量感知的对齐是实现稳健部署的必要步骤。本文适合关注LLM安全对齐、红队测试以及大模型鲁棒性部署的研究人员和工程师阅读。

本文针对大型基础模型（LFMs）在开放环境中部署时面临的新型安全威胁——白盒攻击。与传统的黑盒越狱不同，白盒攻击能够直接定位并破坏模型内部的安全神经元或安全路由，而现有防御方法通常依赖静态安全单元或固定的拒绝路径，在路由级别的白盒攻击下显得脆弱。为此，作者提出动态路由自适应对齐（DRAA）框架，其核心思想是引入动态补偿路由，在安全路由被攻击者破坏时仍能维持模型的拒绝行为。具体方法包括：首先，通过对比安全与不安全校准样本的内部激活，定位模型的安全路由；然后，DRAA对该安全路由进行掩码操作，人为诱发因果性失败案例，并从中选择性地挖掘防御失败样本，从而构建包含失败信息的偏好对；最后，利用这些偏好对进行对齐训练，重新调整模型安全行为对底层路径的依赖。大量实验表明，DRAA能够有效重构模型安全性的路径依赖，显著提升模型对路由级白盒攻击的鲁棒性，同时保持模型的一般实用性。本文适合关注大模型安全防御、对抗鲁棒性以及模型内部机制分析的研究人员和工程师阅读。

本文发现商用图像生成模型（如GPT-Image-2、Nano Banana Pro等）在生成包含可读文本的图像（如海报、信息图）时，存在一种此前未被报告的安全漏洞：这些模型会拒绝直接输出有害文本，但当相同内容以图像中嵌入文本的形式呈现时，安全对齐机制失效，即文本安全对齐无法可靠地迁移到图像中的文本。与现有图像越狱攻击主要诱导模型生成有害视觉对象不同，本文首次提出“指令密集型视觉越狱”概念，使模型在图像中生成详细、可读且可操作的有害指令，从而放大危害。为实例化这一威胁，作者提出TYPO框架，一种黑盒方法，通过自动生成对抗性排版提示，隐蔽地引导模型以高可读性排版文本表达有害意图。TYPO将提示生成分解为文本通道（重构目标意图）和视觉通道（指定呈现形式），并构建双通道文本-视觉策略空间，通过自适应组合搜索优化策略组合。在四个商用模型上的实验表明，TYPO在平均攻击成功率（ASR）上超过9种代表性越狱攻击50.2%，且每次查询成本仅约0.04美元。该研究揭示了图像生成模型文本渲染能力引入的新攻击面，对模型安全对齐提出了挑战。

本文针对大语言模型（LLM）的越狱攻击评估问题，提出了一种以防御者为中心的新视角。传统评估以攻击者成功率为指标，但高成功率的攻击未必能有效提升模型安全。作者主张将越狱攻击视为安全训练的红队数据资源，通过其能带来的下游安全改进来评估其价值。为此，他们提出了A-MESS（最小有效攻击子集选择）框架，这是一个与场景无关的归因与选择方法。A-MESS通过计算AttackSHAP值——一种基于Shapley值的评分，从黑盒子集效用观测中归因每个攻击的边际效用，并利用贪心或代理优化在用户指定预算下选择紧凑的攻击子集。实验在受控效用景观和真实LLM安全设置中进行，结果显示：攻击成功率排名与防御者中心效用弱对齐；AttackSHAP可在少量效用查询下准确估计；直接优化子集比攻击者中心或仅归因选择能带来更强的安全效用。研究意义在于重新定义越狱攻击的评估准则，为安全对齐提供数据选择依据，适合LLM安全研究人员和红队实践者阅读。

大型语言模型（LLM）在翻译、代码生成等任务中表现出巨大优势，但同时引入了社会风险，恶意用户可通过有害提示（如请求非法活动指导）利用模型。为缓解此问题，模型通常内置安全机制自动拒绝此类提示。然而，现有越狱方法常需大量人工、高计算成本或导致模型过度修改而影响常规效用。本文提出TwinBreak，一种创新的安全对齐移除方法。基于安全机制类似嵌入式后门的观察，TwinBreak识别并剪除负责该功能的参数。通过聚焦最相关的模型层，TwinBreak对模型效用和安全性的关键参数进行细粒度分析。TwinBreak是首个通过分析具有高度结构和内容相似性的提示的中间输出来隔离安全参数的方法。作者构建了包含100对“双胞胎提示”的TwinPrompt数据集。实验在来自五家供应商的16个LLM上进行，成功率89%至98%，且计算需求极低。该方法揭示了现有安全对齐的脆弱性，对LLM安全研究具有重要警示意义。

本文发现大型语言模型的安全对齐高度依赖于语用语境（pragmatic register），即模型对直接有害请求的拒绝并不能泛化到相同底层意图但不同语用表述的请求上。作者提出了一种名为“回溯式思维链”（RetroCoT）的单轮攻击方法，该方法将有害请求重新表述为法医重建任务：假设有害结果已经发生，要求模型以法医分析师的身份逆向重构导致该结果的因果链。实验在AdvBench子集（n=50）上进行，RetroCoT对gpt-4o的攻击成功率为58%，对gpt-4o-mini为52%，而直接请求基线分别为0%和4%。进一步分析揭示了模型代际间的显著差异：GPT-5系列模型完全拒绝RetroCoT，并在拒绝理由中明确指出重建前提，表明该语用形式已显式覆盖。然而，这种鲁棒性无法泛化到其他语用形式：单轮对抗性反馈（提供现成法医重建响应及评估者批评）在GPT-5.4-mini上将ASR从0%提升到48%，在GPT-4o上从58%提升到94%；控制条件（仅提供重建响应，省略低分）在GPT-5.4-mini上实现85%的ASR，表明关键因素是语用延续（pragmatic continuation）而非分数操纵。这些结果表明，前沿模型的安全对齐仍受语用框架制约，而非语义意图，新的语用注册表（pragmatic registers）可能继续暴露对齐漏洞。本研究适用于LLM安全研究者和防御者，提示现有安全评估方法需覆盖多样的语用表达方式。

该论文研究了大型语言模型（LLM）在安全对齐后内部表示的安全方向问题。作者首先证实了之前的工作：对齐的LLM在提示侧（prompt-side）的残差流中编码了“有害性”（harmfulness）和“拒绝”（refusal）两个可分离的方向。进一步分析表明，成功的越狱攻击通过在生成任何token之前抑制拒绝方向或有害方向来实现，不同攻击类别在有害-拒绝平面中占据可分离的区域。更重要的是，作者将分析扩展到响应侧（response-token）位置，发现模型在生成有害内容时能够识别出该内容是有害的，即使它在提示侧未能识别输入有害。基于这些发现，作者提出了HARC（Harmfulness-And-Refusal Coupling）微调方法，该方法在提示和响应位置耦合有害性和拒绝方向。由于干预仅限于有害-拒绝子空间，因此不影响残差流的其余部分，不会降低通用能力或增加过度拒绝。在六个基线方法（涵盖主要训练时和推理时安全方法）上的大量实验表明，HARC在鲁棒性、能力和实用性之间取得了最佳的权衡。论文还发现，有害性和拒绝方向在五种模型家族和两种规模上可迁移，无需针对特定架构进行调优。这项工作对于深入理解LLM安全对齐的内部机制以及设计更鲁棒的防御策略具有重要意义。

该论文研究了大型语言模型（LLM）中安全拒绝机制的几何特性。作者提出了一种名为“对比对数几率引导”（CLS）的零优化框架，通过对比安全系统提示和不受限系统提示下的隐藏状态，提取出“拒绝方向”。与以往干预内部激活的表示工程方法不同，CLS直接作用于输出分布，作为对齐脆弱性的诊断探针。结合前缀注入以绕过初始拒绝反射，该方法可触发安全护栏的相变式崩溃。在7个模型系列上的实验表明，安全实现在架构上具有决定性：Llama-3.1等模型呈现“晚期决策”拓扑，容易被CLS绕过（攻击成功率95%，耗时约1秒）；而Qwen-2.5等模型则呈现“早期分歧”，在计算中途整合安全机制。与已有的激活层引导方法相比，CLS在Llama 2上实现了73%的攻击成功率（对比22.6%），在Qwen 7B上实现了91%（对比79.2%），表明对数几率层面的干预能暴露出隐藏状态方法低估的对齐漏洞。此外，该线性特性还支持双向控制：反向引导向量可“硬化”模型以抵御越狱攻击，无需重新训练。研究发现当前对齐技术创建了一个可操纵的“安全轴”，既是关键漏洞也是精确定义防御基元。

该论文研究了语言模型在安全对齐过程中，拒绝有害请求与回答良性请求之间的耦合关系。现有评估通常只关注模型的最终拒绝表现，但未能揭示模型是否真正学会了识别有害性、激活拒绝策略，还是仅将两者简单耦合。为此，作者提出了一种“双安全几何”协议，通过测量有害性载体（harmfulness carriers）、拒绝载体（refusal carriers）及其耦合程度，来深入分析安全微调的内部动态。实验基于Mistral-7B-v0.1模型，对比了标准监督微调（SFT）和鲁棒对抗微调（R2D2）两种训练轨迹，并使用了多个对齐锚点进行验证。主要发现包括：（1）对齐锚点验证了协议的有效性：拒绝侧的干预比仅有害性干预更能重新打开攻击成功，且有害性与拒绝载体近乎正交；（2）在R2D2轨迹中，早期阶段呈现高耦合状态，此时模型具有强固定源鲁棒性和饱和安全提示拒绝能力，但良性效用严重下降；后期阶段耦合降低，部分恢复良性效用，但同时攻击成功率重新上升；（3）SFT也达到了低耦合状态，但其鲁棒性显著弱于R2D2，说明低耦合本身并不能保证安全性。进一步的跨锚点诊断和稀疏GCG/AutoDAN迁移实验表明，在R2D2场景下，有害性-拒绝耦合（H/R coupling）是信息量丰富的指标，而SFT的迁移更适合用漂移或行为状态度量来解释。因果扫描支持固定协议的敏感性，但未能独立建立有害性与拒绝的通路。这些结果将H/R耦合定位为对抗微调下安全几何动态的操作性诊断工具，为后续研究如何评估和提升模型鲁棒性提供了新视角。

本文提出了一种名为Greedy Coordinate Diffusion (GCD)的新型对抗攻击框架，用于攻击经过安全对齐的大型语言模型（LLM）。现有攻击方法存在两类问题：基于优化的攻击（如GCG）生成高困惑度、不连贯的后缀，容易被基于困惑度或防护模型的过滤器检测；而保持语义连贯的攻击往往改变查询的语义意图，导致模型响应偏离攻击者的原始目标。GCD利用离散扩散语言模型的生成先验来引导对抗后缀的搜索，在保持低困惑度和高语义一致性的同时实现高效攻击。该方法无需直接梯度访问，可在灰盒设置下运行。实验表明，GCD在攻击成功率（ASR）上达到最高，同时在响应质量得分上具有竞争力，且构造的对抗提示被基于困惑度和防护模型的过滤器检测到的比率低于其他方法。该工作揭示了安全对齐LLM面临的语义连贯对抗攻击风险，为防御研究提供了新的评估基准。

本文研究了大型语言模型（LLM）安全对齐的脆弱性，提出其根本原因在于自回归一致性——即自回归模型在预测下一个token时倾向于保持并延续当前生成轨迹的特性。作者通过分析安全对齐微调的学习动态，发现对齐更新主要集中在输出序列的前几个token上，导致安全对齐呈现“浅层”现象：模型仅在早期响应中拒绝有害请求，而后续生成可能偏离安全轨迹。这一机制也预测了一类更广泛的攻击：攻击者可以在输出轨迹的任意位置诱导一个有害的“连续状态”（harmful continuation state），从而劫持生成过程。作为具体示例，本文提出了随机插入攻击（random insertion attack），该方法在原本安全的拒绝回复中插入一个简短的有害片段（例如几个有害词），利用自回归一致性使模型延续该有害分支，即使之前已有大量拒绝前缀也能成功绕过安全对齐。实验表明，即使插入片段很短，也能使模型产生有害输出，凸显了自回归一致性作为更广泛失败机制的可能性。基于以上发现，作者提出对抗性安全对齐（adversarial safety alignment）框架，通过考虑最坏情况下的有害连续状态来训练模型，并实例化为随机最坏插入训练（random worst-insertion training）。总体而言，本文揭示了自回归一致性在安全对齐和攻击设计中的核心地位，为理解LLM安全脆弱性提供了新的理论视角，并为防御策略改进指明了方向。

本文研究了大型语言模型 (LLM) 在跨代际间的安全对齐是否单调提升。作者选取 Google 的 Gemma 系列四代模型（7B-31B），采用质量多样性进化算法（MAP-Elites）作为自动化红队探测工具，对模型进行对抗性攻击生成和评估。实验发现，Gemma 3 (12B) 的攻击成功率 (ASR) 高达 68.7% ± 5.7%，显著高于其前代 Gemma 2 (45.5% ± 7.2%) 和后继 Gemma 4 (33.9% ± 1.8%)，表明安全对齐并非单调提升，而是存在非单调波动。通过跨代重放演化攻击库，发现其他代攻击迁移到 Gemma 3 的成功率为 44-46%，但迁移到 Gemma 4 仅 14-18%，说明 Gemma 4 的安全增益具有泛化性。在特定漏洞类别上，版权和网络犯罪攻击在所有代中接近 100% 成功，但版权结果对评委模型敏感；虚假信息 ASR 从 Gemma 2 的 29% 跃升至 Gemma 3 的 99%，在 Gemma 4 中仍高达 77%，表明该回归未被完全修复。这些模式在静态基准中不可见，仅通过自适应、纵向探测揭示。所有实验使用 3 个随机种子和统一的自托管评委模型，代码和工件公开。

该论文针对开放世界AI代理（如OpenClaw）在跨环境执行时引入的新型安全风险，提出了一种轻量级、可扩展的代理安全对齐框架AgentDoG 1.5。研究背景指出，现有前沿AI模型大幅降低了攻击门槛，而当前的对齐框架不足以应对真实部署中的威胁。方法上，作者首先更新了代理安全分类法，以涵盖来自Codex和OpenClaw执行场景的 emergent 风险；随后构建了一个受分类法引导的数据引擎，并采用影响函数净化技术，仅使用约1k个样本训练了四个轻量级变体（参数量从0.8B到8B），其性能可与领先的闭源模型（如GPT-5.4）相媲美。基于AgentDoG 1.5，论文进一步搭建了高效的监督微调（SFT）和强化学习（RL）训练环境，将Docker级环境的部署开销降低两个数量级。最终，AgentDoG 1.5被部署为无需额外训练的在线护栏，用于实时安全审核。大量实验结果表明，AgentDoG 1.5在多样和复杂的交互式代理场景中达到了最先进水平。所有模型和数据集均已开源。该工作为AI代理的安全对齐提供了一种资源友好型方案，尤其适合资源受限的团队快速集成安全能力。

该论文研究了安全对齐语言模型及其未审查或消融版本在作为自主安全代理运行时的行为差异。传统的单轮拒绝基准无法评估代理的实际情况，因为安全代理需要检查代码仓库、调用工具并在授权沙箱中生成漏洞证据。作者提出了一个基于追踪的基准测试，包含30个本地漏洞分析任务，使用固定工具、确定性成功谓词、编辑规则和基础检查，并比较了Gemma 4 31B、Gemma 4 26B A4B、Qwen2.5-Coder 7B和Llama 3.1 8B四个标准模型与其未审查或消融衍生版本。实验生成了1500个安全代理追踪和800个非安全控制追踪。结果显示，Gemma对在安全任务上的未审查版本有较大增益：31B版本成功率14.0%对比0.7%，26B版本10.7%对比0.0%，且基础分数更高，拒绝率、抑制行动率和危险行动率为0%。然而，控制组和非Gemma对排除了纯安全特定或普遍未审查效应：Gemma差距在普通编码任务中也出现，Qwen2.5-Coder未审查衍生版本成功率反而降低（2.0%对比5.3%），消融的Llama衍生版本无法遵循工具协议。所有模型在硬性触发证明和补丁验证任务上均未成功。这表明自主安全代理中的安全对齐效果应在系统层面衡量，区分拒绝、危险行动、工具可靠性和证据基础，而非将拒绝率作为安全信号。

本文发现大型语言模型（LLM）的安全对齐机制存在固有脆弱性：模型仅依赖少量稀疏分布的注意力头进行安全监控，导致大部分表示空间缺乏有效监管。作者通过数学建模形式化了文本混淆的有效边界，并利用该边界设计了一种高效的黑盒越狱攻击框架Babel。该方法通过系统化的混淆采样和迭代反馈驱动的分布优化，无需访问模型内部即可实现高成功率攻击。在GPT-4o和Claude-3-5-haiku等前沿商用模型上，Babel在平均40次查询内将攻击成功率分别从41.33%提升至82.67%、从38.33%提升至78.33%，显著优于现有方法。该工作揭示了LLM安全机制的盲区，为红队测试提供了新方法论。

本文聚焦于大型语言模型（LLM）安全对齐在面对有害微调（Harmful Fine-tuning, HFT）攻击时的脆弱性问题。研究表明，现有的防御方法（如对参数、梯度或内部表示施加约束）在持续性HFT攻击下容易被绕过，其根本原因在于高维参数空间固有的冗余性：攻击者能够利用与防御约束正交的优化轨迹，在表面上遵循安全限制的同时，暗中恢复有害能力。为解决这一缺陷，作者提出了一种名为安全瓶颈正则化（Safety Bottleneck Regularization, SBR）的新方法。SBR将防御重心从冗余的参数空间转移到模型的解嵌入层（unembedding layer），该层被视为几何瓶颈。通过对齐有害查询的最终隐藏状态与安全对齐模型的最终隐藏状态——即仅使用一个“安全锚点”（safety anchor）——SBR使得模型即使在持续HFT攻击下仍能维持安全响应。大量实验表明，SBR在仅使用单个安全锚点的条件下，即可将有害分数（Harmful Score）降至10以下，同时在良性下游任务上保持具有竞争力的性能。该方法为LLM安全对齐提供了新的几何视角，显著增强了模型对有害微调的鲁棒性。

随着开源大语言模型（LLM）的普及，通过公开分发低秩适应（LoRA）模块来定制模型能力已成为常见做法。然而，集成第三方 LoRA 模块会导致基础模型的安全对齐被灾难性遗忘，即模型失去了原有的安全护栏。传统方法通过安全数据微调来恢复对齐，但这会严重破坏适配器原本提供的专业领域知识。为解决这一零资源挑战，本文提出了 Neural Weight Translation (NeWTral) 框架。NeWTral 是一个预训练的非线性翻译模块，它直接在不安全的、特定领域的适配器参数空间与安全对齐流形之间建立映射，同时严格保持适配器的核心专业知识。该框架采用自适应混合专家（MoE）路由策略，融合高保真翻译专家和激进对齐专家，在参数空间中完成翻译。实验在四个架构家族（Llama、Mistral、Qwen、Gemma）上、规模达 72B 参数、涵盖八个科学和专业领域进行。结果表明，MoE 变体将平均攻击成功率（ASR）从 70%（不安全专家）大幅降至 13%，同时保持了 90% 的平均知识保真度。NeWTral 模块设计为可独立下载的资产，使从业者无需访问原始训练数据或进行硬件密集的重新训练，即可即时恢复安全对齐。