#decision-automation

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Jianyi Hu, Hangtao Zhang, Yi Liu, Yeqi Zeng, Li Zeng, Xianlong Wang, Rui Wang, Leo Yu Zhang

该论文研究的是「面向校准决策的强化学习」(RLCD, reinforcement learning for calibrated decisions) 模型的对抗鲁棒性问题,代表模型是 Jev。这类模型与常规生成式模型不同:它接收输入(称为 state)并回答一个带类型的(typed)问题,输出的是概率、选项或分数,随后由软件直接依据该答案自动采取行动,全程无人工阅读。作者指出,这类模型的鲁棒性此前从未被测量过,原因是评测范式不匹配——现有对抗基准衡量的是模型生成或执行了什么内容,而 typed 模型根本不生成自由文本,即使被操纵也只会返回一个格式良好、看似正常的答案。测量本身也很困难:相同请求可能返回不同答案(非确定性),可用标签大多由模型自身产生(自标注偏差),且 API 在不可见的预处理环节对每个请求做了改写。为此,作者提出关键思路:不拿标签当基准,而是把「受攻击后的决策」与「同一模型自身的干净决策」对比打分,并参照「同一请求原样重跑」所引起的变化(重跑基线)来解读结果差异,从而把攻击效应从模型的自然随机波动中剥离出来。基于该思路,作者构建了 JevAdvBench,据称是首个面向 RLCD 模型的对抗基准:包含覆盖 66 个场景的 812 个 typed 问题,以及 9,744 个单点编辑变体组成的黑盒攻击套件,每个变体只修改请求的一个部分,并通过计费输入 token 确认修改确实到达了模型。在 jev-1.13.0 上的实验显示:单纯换措辞的影响不超过重跑基线的 1.2 个百分点,schema 之外的字段永远不会到达模型;但仅向 state 追加一条未经核实的意见,就翻转了 12.1% 的决策,与最强注入命令的效果(10.1%)在统计上持平,并使 38% 的高置信回答跌破 0.8 置信阈值——该阈值本应把它们路由到人工复核。结论是:基于 RLCD 模型构建的应用必须把 state 视为不可信的、可能带有观点的输入。

💡 推荐理由: 大量自动化决策系统直接消费模型输出的分数/选项,无人工复核。该工作证明:仅追加一段无验证意见即可翻转约 12% 决策、把 38% 高置信答案打入人工复核区,且传统针对生成内容的评测完全看不到这类风险,为评测与防御提供了可复用的方法论。

🎯 建议动作: 研究跟进:纳入内部评测方法学评估,尤其关注以 typed 输出驱动自动化决策的系统

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)