Measuring Safety Alignment Effects in Autonomous Security Agents
该论文研究了安全对齐语言模型及其未审查或消融版本在作为自主安全代理运行时的行为差异。传统的单轮拒绝基准无法评估代理的实际情况，因为安全代理需要检查代码仓库、调用工具并在授权沙箱中生成漏洞证据。作者提出了一个基于追踪的基准测试，包含30个本地
#safety-alignment
共收录 24 条相关情报。
← 返回所有主题Babel: Jailbreaking Safety Attention via Obfuscation Distribution Optimized Sampling
本文发现大型语言模型（LLM）的安全对齐机制存在固有脆弱性：模型仅依赖少量稀疏分布的注意力头进行安全监控，导致大部分表示空间缺乏有效监管。作者通过数学建模形式化了文本混淆的有效边界，并利用该边界设计了一种高效的黑盒越狱攻击框架Babel。该
Safety Anchor: Defending Harmful Fine-tuning via Geometric Bottlenecks
本文聚焦于大型语言模型（LLM）安全对齐在面对有害微调（Harmful Fine-tuning, HFT）攻击时的脆弱性问题。研究表明，现有的防御方法（如对参数、梯度或内部表示施加约束）在持续性HFT攻击下容易被绕过，其根本原因在于高维参数
You Snooze, You Lose: Automatic Safety Alignment Restoration through Neural Weight Translation
随着开源大语言模型（LLM）的普及，通过公开分发低秩适应（LoRA）模块来定制模型能力已成为常见做法。然而，集成第三方 LoRA 模块会导致基础模型的安全对齐被灾难性遗忘，即模型失去了原有的安全护栏。传统方法通过安全数据微调来恢复对齐，但这