#accountability

共收录 2 条相关安全情报。

← 返回所有主题
推荐 8.5
Conf: 50%
👥 作者: Ruben Chocron, Doron Jonathan Ben Chayim, Eyal Lenga, Gilad Gressel, Alina Oprea, Yisroel Mirsky

该论文首次正式提出了AI代理(AI Agent)的归属问题(agent attribution):即如何将一个观察到的有害代理交互行为追溯到其部署账户(托管供应商)。当前AI代理被广泛部署以自主执行任务,但缺乏有效的追踪机制,导致良性操作者可能因配置错误造成无意的损害,而恶意操作者(如国家行为体)则可能利用代理进行诈骗、骚扰或网络攻击。即使是最复杂的攻击者,其代理通常也依赖于供应商托管的模型,因此受影响方能够观察到代理行为,却无法通知责任操作者、终止会话或识别调查账户。论文设计了一种基于金丝雀(canary)的实用协议:授权方在代理交互流中注入金丝雀信息,供应商随后在狭窄时间窗口内的会话日志中搜索,以恢复原始会话和账户。在非对抗场景下,简单的金丝雀即可有效。对于可能过滤或改写输入内容的对抗性操作者,论文开发了鲁棒的金丝雀构造,这些构造无法在不降低代理自身任务性能的情况下被抑制,从而在防御者一侧形成了形式上的不对称优势。论文通过多种场景(包括真实世界代理)的评估,证明了该归因方法可靠、鲁棒且可扩展,适用于供应商端部署。

💡 推荐理由: 该工作填补了AI代理问责机制的关键空白,为安全团队提供了一种实际可行的追踪恶意代理源头的协议,有助于遏制滥用并推动代理生态的可信发展。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zhi Lu, Yongquan Cui, Songfeng Lu

本文提出了一种名为 WhiteCloak 的协议,旨在解决联邦学习安全聚合场景下匿名恶意客户端的问责问题。在安全聚合中,客户端数据通过加密手段聚合,保护了用户隐私,但也使得恶意客户端可以匿名破坏模型而不被追责。WhiteCloak 通过一种可验证的匿名身份绑定机制,在聚合过程中为每个客户端生成唯一但匿名的凭证,使得服务器在聚合后能够识别并排除恶意客户端,同时不泄露其真实身份。该协议结合了密码学承诺、零知识证明和可追溯签名,实现了隐私保护与问责性的平衡。实验表明,WhiteCloak 在额外计算开销可接受的前提下,有效提升了联邦学习系统的安全性。

💡 推荐理由: 联邦学习的安全聚合面临匿名恶意攻击的盲区,WhiteCloak 首次在保持隐私的同时实现了有效问责,对提升实际部署系统的鲁棒性有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)