#AI-agent

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Chuyang Chen, Zhiqiang Lin

本文研究了终端AI代理(如Claude Code)中命令黑名单的不完整性问题。随着AI代理的普及,终端AI代理通过执行Shell命令与主机系统交互,通常采用三列表命令门控机制(允许列表、拒绝列表、未知列表)来降低安全风险,其中拒绝列表是关键组件。然而,现代操作系统包含大量功能复杂的Shell命令,即使由开发者精心维护的内置拒绝列表(如Claude Code的)也可能存在绕过漏洞,导致其无法有效阻止预期应阻止的操作。本文首次对终端AI代理中命令黑名单的脆弱性进行了系统性表征。作者形式化了命令黑名单脆弱性问题,并提出了一个基于LLM的流水线CmdNeedle来检测此类脆弱性。该流水线提示LLM提出可能的绕过方法,并通过在沙箱中执行验证器反馈来迭代修复。实验评估中,作者从GitHub收集了1,709个真实世界命令黑名单(包含13,332条拒绝列表规则),应用CmdNeedle后发现69.0%–98.6%的拒绝列表存在脆弱性,且该脆弱性在项目和代理之间一致出现。此外,作者验证了脆弱性的几种可能根本原因。该流水线和发现有望促进AI代理命令拒绝列表的未来研究和实践。

💡 推荐理由: 揭示了当前AI代理安全机制中的关键缺陷:即使维护良好的命令黑名单也难以阻挡恶意绕过,威胁到依赖终端AI代理的企业和个人安全。

🎯 建议动作: 研究跟进:安全团队应评估此类脆弱性对自身AI代理部署的影响,并考虑采用类似CmdNeedle的自动化测试工具增强黑名单有效性。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)