#calibrated-decisions

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Ruoqi Guo, Yi Liu, Gelei Deng, Yuekang Li, Lida Zhao, Yutao Wu, Simin Chen, Ying Zhang, Leo Yu Zhang

该论文研究的是「对齐失败检测器」这一模型安全评估环节。作者指出,现有的对齐检测主要有两类:一是生成式评判器(generative judge),每评估一条标准就要消耗一次完整的解码过程,成本高;二是读取 token 概率的分类器(如 Llama Guard),虽然轻量,但每次调用只能输出一个固定标签的分数。Jev 是一个通过「校准决策强化学习」(RLCD, Reinforcement Learning for Calibrated Decisions)训练出来的模型,它能在单次调用中针对同一个输入回答多个带类型(typed)的问题,并给出经过校准的概率。然而,Jev 是否真的能用来检测对齐失败,此前并未被系统测量过。为填补这一空白,作者提出了 RLCDAlignBench 基准,在十类对齐失败上评测 Jev:谄媚(sycophancy)、越狱、欺骗、提示注入、幻觉、隐私侵犯、社会偏见、奖励黑客、隐瞒不确定性、权力寻求。该基准横跨 44 个数据集/基准和 5 个目标模型,标签由各基准自带的 scorer 生成,其中两个基准还提供了人工标注。论文的关键洞察是:许多对齐失败本质上是「关系性」的——它们的定义依赖于某个参照物(例如用户的既有信念,或外部注入的指令),仅看模型回复本身无法判断是否失败。因此作者的核心设计是把「问什么」与「看什么」解耦:一侧控制问题的措辞和答案类型,另一侧控制输入中暴露给模型的字段。实验结果显示,单个通用问题即可在零样本条件下达到中位 AUROC 0.886,并在大多数基准上超过有监督基线;问题措辞的影响很小,而上下文影响更大,且主要通过那些编码了标签信息的字段起作用。Jev 与参考 scorer 在和人类标注的一致性上表现相当,还能反过来暴露现有基准中的标签缺陷,同时推理成本比 LLM-judge 类 scorer 低 63 倍。代码与数据已在 GitHub 公开。

💡 推荐理由: 它把「对齐失败检测」从昂贵的逐条 LLM 评判,转向单次调用、多问题、带校准概率的轻量检测器,成本降低 63 倍且零样本表现优于有监督基线。对需要持续监控已部署模型行为的蓝队和安全评估团队而言,这提供了一条可落地、可规模化的检测路径,并提醒评估设计必须显式提供参照上下文。

🎯 建议动作: 纳入内部评估

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)