#security-ux

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Ting Yan

该研究针对AI代理在数字产品中的广泛使用,探讨非专业用户如何通过编写权限策略来控制代理行为。论文比较了三种决策机制:逐项人工审批(HITL)、自动模型审查(AUTO)和用户预先编写的后果策略(POLICY)。实验涉及113名非专业参与者,他们在四种后果类别中分别判断两个示例,POLICY组需要为每个类别设定“允许”、“询问”或“从不”规则,随后监督一个包含18项操作(其中7项为越权操作)的模拟日。结果表明,POLICY阻止越权操作的效果显著低于HITL(低20.1个百分点)和AUTO(低14.5个百分点)。虽然POLICY减少了运行时提示次数(从18.0降至10.9),但计入规则设定时间后,总干预时间并未显著减少。探索性分析发现,参与者倾向于选择“询问”规则(140条中114条),将大部分决策重新交还运行时。在POLICY条件下执行的148次越权操作中,133次是在用户批准后执行的,仅15次由“允许”规则自动执行。论文指出用户偏好与承诺之间存在差距:反复选择“询问”保持了逐案选择权,但阻碍了预先策略的效力。这项研究揭示了用户编写的权限策略在实践中的局限性,为AI代理安全控制设计提供了实证依据。

💡 推荐理由: 该研究揭示用户建立的权限规则可能无法有效遏制AI代理越权,因为用户倾向“询问”而非严格规则,安全设计需考虑此类行为偏差,不能单纯依赖用户预定义策略。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)