How Fragile Is Safety Alignment at Frontier Scale? A Single-Direction Attack on a 320B MoE
该论文研究的是：在开放权重语言模型上被广泛引用的「方向消融（directional ablation）」白盒攻击，是否在从前沿稠密模型迁移到大规模混合专家（MoE）架构后依然成立。所谓方向消融，是指不需要基于梯度的训练、也不需要任何优化，仅
#safety-evaluation
共收录 8 条相关情报。
← 返回所有主题TIER: Threat Implicitness Benchmark for Evaluating LLM Safety Behaviors
TIER（Threat Implicitness Benchmark）是一个针对大语言模型（LLM）行为安全评估的新型基准。当前主流的安全基准大多依赖二元指标（如拒绝或遵从），忽略了模型在面对不同威胁隐含程度的恶意提示时的行为差异。TIER
Same Request, Different Boundary: Evaluating Cybersecurity Assistance across Conversational Contexts
本文针对大型语言模型（LLM）在网络安全领域的安全辅助边界问题展开研究。LLM 能够解决复杂问题，但在高风险领域的滥用可能造成严重后果，因此模型提供商通常会对潜在有害请求加以限制。然而，一刀切地拒绝所有网络安全请求会损害合法防御者的利益，因
Measuring Obedience to Authority Across Large Language Models with the Milgram Paradigm
这篇 arXiv 论文将社会心理学中经典的米尔格拉姆服从权威实验移植到大语言模型（LLM）上，系统测量了 LLM 在权威指令下会执行多大程度的有害行为。作者设计了一个完全脚本化、可复现的测试框架：模型扮演“教师”角色，一个确定性的测试环境扮
Measuring the Wrong Thing: Internal Harmfulness Scores Anti-Rank Successful Jailbreaks
本文针对大语言模型（LLM）内部安全评分机制的有效性提出质疑，指出当前广泛使用的“有害意图”评分存在测量目标错位问题。具体而言，内部安全分数在文本生成之前评估提示词，其验证方式通常基于能否区分有害与良性提示，但这种分离被错误地解读为能够拦截
Silent Alarm: A J-Space Protocol for Comparing Danger Recognition Across Models and Quantization Levels
该论文提出了一种名为 JADR（Jacobian Assessment of Danger Recognition）的新型协议，用于评估大语言模型（LLM）对越狱攻击的鲁棒性。与传统的基于LLM作为评判者的方法不同，JADR通过分析模型在生
RAS: Measuring LLM Safety Through Refusal Alignment
该论文提出了一种名为 SafeVec 的白盒 LLM 安全评估方法。传统方法通过查询模型并判断输出是否违规来评估安全性，但这种方法成本高、受评判器影响大且依赖固定题库。SafeVec 从内部表示层面入手：首先从安全对齐的参考模型中提取逐层的
SkillVetBench: LLM-as-Judge for Multi-Dimensional Security Risk Evaluation in Open-Source LLM Agent Skills
随着开源LLM（大语言模型）智能体生态系统的迅速发展，社区贡献的“技能”（即模块化工具定义，用于扩展智能体能力）的安全性普遍缺乏审查。现有安全扫描器仅在代码层运行，对于指令层和多智能体层面的风险——例如通过自然语言指令劫持智能体、通过编码侧