#permission-model

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Ting Yan

AI agent 正逐渐成为数字产品的主要交互界面,可能涉及电子邮件、文件、支付和个人数据等敏感操作。对于没有专业软件背景的普通用户而言,需要一种可理解且可复用的方式来控制跨服务的操作。本文研究一种机制:由语言模型将用户操作映射到自然语言后果类别,并允许用户编写“allow”(允许)、“ask”(询问)或“never”(禁止)规则。研究者探讨了预先制定可复用规则与对每个操作单独决策相比的利弊。实验招募了 113 名无专业软件背景的参与者,分为三组:逐操作人工审批(HITL)、自动逐操作模型审查(AUTO)、用户编写后果策略(POLICY)。参与者评估了 4 个后果类别中的每个类别各 2 个示例;POLICY 组随后为每个类别设置一条规则。所有参与者监督一个包含 18 个操作的模拟日,其中 7 个为越权操作。结果显示:POLICY 阻止的越权操作比例低于 HITL(低 20.1 个百分点,95% CI [-32.1, -8.1])和 AUTO(低 14.5 个百分点,95% CI [-25.8, -3.2])。POLICY 将运行时提示从 18.0 次降至 10.9 次,但计入规则设置时间后,总干预时间并未可靠降低。探索性分析发现,参与者在 140 条策略规则中有 114 条选择了“ask”,使大多数越权操作回到运行时处理。在 POLICY 条件下实际执行的 148 次越权操作中,133 次发生在人工批准后,15 次在“allow”规则下自动运行。在所有 7 个越权操作中,POLICY 组的批准率最高。矛盾的是,用户编写的规则本身并未提供更强的保护:许多超出用户原始请求的操作在用户批准后被执行。这些结果揭示了偏好与承诺之间的差距:反复选择“ask”保留了逐案选择权,但阻碍了长期策略预先确定决策。

💡 推荐理由: 该研究挑战了“用户自定义权限策略能更好约束 AI agent”的直觉。安全从业者需认识到,非专业用户编写的规则可能因倾向“询问”而导致更多越权操作被批准,仅靠用户策略不足以防范 agent 越权。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)