该论文对近期某休眠代理检测器提出的“响应安全分数=与已知安全响应均值嵌入的余弦相似度”进行审计。作者指出,正类质心只给出安全类相对于编码器原点的位置,并不能确定区分安全与不安全响应的方向。研究在两个经提示词控制、人工标注的语料及一个辅助陪审团标注的源控制集上,使用四个冻结编码器和按提示词分组的划分进行复现。结果显示,在人工标注语料上,安全原型ROC-AUC仅0.457-0.545,有的单元格显著低于随机,有的略高;而显式的“安全减不安全”参考方向在同一嵌入上达到0.588-0.738。在陪审团控制集上,原型分数出现倒挂(0.358-0.405),参考方向达到0.754-0.793。按验证集校准到5%误判为安全的阈值时,参考方向在PKU-SafeRLHF和Aegis上接受更多安全响应,但在BeaverTails上不稳定。完全无标签的留出参考可恢复部分到多数排序,当不安全样本仅占5%时恢复有限;80-634条已标注不安全响应可恢复大部分性能。仅提示词消融表明提示词-标签构成会抬高未控制评估。作者强调该结论限于原始正类质心规则,不否定所有一类方法或安全专用护栏;类均值是位置,不必然是安全方向,声明参考并具备足够不安全样本才能确定方向。
💡 推荐理由: 直接质疑一类“安全原型”打分器在LLM响应安全检测中的有效性,提醒AI安全/护栏团队:无监督正类中心分数可能接近随机甚至倒挂,评估必须控制提示词混杂并引入显式安全-不安全参考,否则可能漏放不安全响应。
🎯 建议动作: 研究跟进;纳入内部LLM安全评估与护栏选型审查