#defense-in-depth

共收录 7 条相关安全情报。

← 返回所有主题
👥 作者: Mohammadhossein Homaei, Yousef Emami, Sajad Homayoun, Rahim Taheri, Hao Zhou, Miguel Gutierrez Gaitan, Bo Wei

该论文研究的是以 LLM 为核心的智能体化无人机蜂群(LLM-Centric Agentic UAV Swarms)在「感知—推理接口」处面临的完整性风险,并首次对该接口的纵深防御做了完整实现与量化评估。研究背景是:LLM 越来越多地被用于无人机集群的任务调度,例如数据采集调度——模型读取结构化的传感器上报(sensor reports),再决定下一步访问哪一台传感器。此类系统中,攻击者无需修改模型权重、也无需入侵无人机本体,只要悄悄篡改这些结构化上报的内容,就能间接改变模型的决策,把蜂群重定向到攻击者期望的目标上。作者指出,针对这一接口的防御此前多停留在架构层面的设想,极少被真正实现或评测。为此,作者实现了五层纵深防御:第一层检查上报的来源/出处(provenance)是否可信;第二层检查其数值是否满足物理可行性约束;第三层检查其是否与蜂群几何关系(swarm geometry)和服务历史(service history)所预测的结果一致;第四层检查据此生成的调度方案是否导致某些传感器被「饿死」(长期得不到访问);第五层是兜底机制——当上述检查失败时,把控制权交给一个忽略可疑输入的确定性调度器。评测方法上,作者让每一层都面对一个「足以击败其前一层」的强对手;对三个输入侧防御层,作者用闭式解(closed form)推导出上报在被该层察觉之前可被扭曲的最大幅度,并且这些阈值完全由部署参数事先确定,不依赖任何攻击样本。在三十组配对仿真运行中,预测边界与实测边界吻合。论文还强调「攻击检测」与「攻击响应」应相互分离这一既有原则,并量化了在该接口上忽视这一区分的代价:当系统拒绝一份上报时,会以最近一次被接受的上报替代它,这虽然阻止了攻击者控制无人机调度,但相较无防御系统,两种检测器分别带来 79% 与 74% 的累计成本上升;而其中的安全检查层本身不检测任何攻击,却仍将攻击导致的成本降低 37.5%。论文适合研究 LLM 智能体安全、多智能体/机器人系统安全以及关键基础设施 CPS 防御的研究者与工程团队阅读。

💡 推荐理由: 它揭示了 LLM 智能体系统的一类关键攻击面:不碰模型权重、不碰硬件,仅污染喂给模型的感知数据即可劫持决策。对任何「LLM 读传感器/日志再决策」的系统(无人机、机器人、SOC 自动化响应、工控调度)都具有直接迁移价值。

🎯 建议动作: 研究跟进:将该文的五层防御框架与边界推导方法纳入内部 LLM 智能体/自动化调度系统的威胁建模与防御评估,重点复现其「检测—响应分离成本」的度量方法。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Simhadri Podala Narasimha

该论文针对大语言模型(LLM)智能体从聊天界面走向基础设施运维这一现实趋势,提出了一个在 Kubernetes 上安全承载 AI 智能体的纵深防御框架与参考架构。作者指出,当智能体能够读取遥测、调用工具、生成并执行代码、直接改变生产 K8s 集群状态时,传统云原生安全所依赖的『数据与控制面分离』假设已经崩塌:智能体仅仅是『读取』的内容——一行日志、一张工单、一段工具描述——就可能改变它接下来的行为。因此论文的核心立场是:模型本身不能被视为安全边界,智能体安全本质上是基础设施问题,所有安全保证必须在『智能体已被提示注入完全攻陷』的假设下依然成立。围绕这一立场,论文给出五项贡献:(1) 面向 K8s 内部与之上运行智能体的威胁模型与十类威胁分类法,并与 OWASP 关于智能体应用的新兴指南对齐;(2) 九条设计原则,核心是在工具边界实现完全中介(complete mediation),并打破『不可信输入 + 敏感访问 + 对外出口』三者的组合;(3) 七层纵深防御框架,将每条原则映射到原生或广泛采用的 K8s 机制上,包括工作负载身份、RBAC 与 ValidatingAdmissionPolicy、通过 SIG Apps Agent Sandbox 项目实现的 gVisor/Kata 沙箱、支持 FQDN 的出站策略、对工具参数做 policy-as-code 的 agent/MCP 网关,以及 eBPF 运行时强制;(4) 一套参考架构,含具体策略工件以及面向 Amazon EKS、Azure Kubernetes Service、Google Kubernetes Engine 的分层绑定;(5) 定性评估,包括威胁—控制覆盖矩阵、四个攻击情景走查以及一套拟议的实证方法论。论文明确表示不报告实测的攻击成功率或性能开销数据,而是识别残余风险并指出验证该框架所需的度量指标。适合平台安全、云原生安全、AI 基础设施与 SOC 团队阅读。

💡 推荐理由: 智能体一旦获得 K8s 写权限,提示注入即可升级为集群级控制面风险。该文把『模型不可信』作为前提,给出可落地的七层控制映射与三大云厂商参考架构,是当前少见的、面向基础设施而非模型本身的智能体安全工程化方案。

🎯 建议动作: 研究跟进:结合自身 K8s 平台评估七层控制的可落地性,优先落地工具边界中介与出站管控,并开展内部红队验证

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Mustafa S. Aljumaily, Hayder Kareem Abed, Nawar S. Alseelawi

网络安全文献长期记录 AI 在威胁检测、事件响应与预防方面的运营收益,同时也提出过度自动化、算法偏见与分析师技能退化等定性担忧,但一直缺少一个形式化、可证伪的模型,用来连接三组反复出现的构念:纵深防御理论(Defense-in-Depth)、AI 模式识别理论以及安全运营中的人机协作。本文正是为填补这一空白而构建模型。作者做了三件事:其一,把分层防御形式化为一个伯努利检测级联,AI 增强以乘性方式作用于各层;其二,把每一层的模式识别行为形式化为 Neyman-Pearson/贝叶斯检测器,并推导出闭式的最优判决阈值;其三,把人机告警分流形式化为容量受限的级联模型,显式且可量化地刻画检测概率与误报(即告警疲劳)率之间的权衡。作者通过蒙特卡洛与解析仿真,在一组示意性但贴近真实的运行点上进行评估,得到两个主要结论:(1) AI 增强在各防御层之间具有复合效应,其边际收益最大的位置恰好是传统分层防御已经饱和的地方;(2) 对 AI 标记的告警执行 100% 人工复核并非最优策略——把分析员容量提高到接近全覆盖,虽然可把误报降低约 20 倍,但同时会拉低系统级检测概率,原因在于不完美的人为判断此时被施加到每一条告警上,而不是经过过滤的子集。该工作把业界常说的“平衡的人机协作”从口号转化为精确、可检验的形式,并提出存在内点最优的容量比例,可作为 SOC 的具体设计目标,包括保护 IT/OT 融合关键基础设施的 SOC。适合安全运营研究、SOC 架构设计与 AI 安全治理方向的读者。

💡 推荐理由: 它用可证伪的数学框架挑战了“人工复核越多越好”的直觉,指出存在内点最优的分析员容量比,对告警疲劳治理、AI 增强分层防御的资源配置具有直接指导意义。

🎯 建议动作: 研究跟进:评估将容量受限的级联模型纳入内部 SOC 告警分流与阈值调优的可行性

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
INFO
PAPER 2026-07-13

GDM AI Control Roadmap

推荐 3.6
Conf: 50%
👥 作者: Mary Phuong, Erik Jenner, Laurent Simon, Lewis Ho, Rohin Shah, Sebastian Farquhar, Scott Coull

该论文由Google DeepMind团队撰写,首次提出了面向内部安全的AI控制路线图(v0.1),旨在应对可能不协调(misaligned)的AI智能体。随着AI智能体在研发、网络防御和科学发现中加速应用,传统的安全假设(AI始终对齐)不再可靠,需要构建多层次防御体系。论文的核心贡献包括三部分:首先,提出了一种保守的威胁建模方法,假设存在一个追求不良目标的假设性AI对手,并基于MITRE ATT&CK框架构建了TRAIT&R分类法,系统梳理了此类对手可能使用的战术和技术。其次,提出了基于能力的缓解措施,将防御手段与模型能力(如透明推理、复杂网络攻击执行能力)挂钩,随着模型能力增强,防御措施相应升级,定义了四个检测等级(D1-D4)和三个预防与响应等级(R1-R3)。最后,给出了15种具体、分级的防御措施,从针对当前模型的低成本方案(如思维链监控、异步告警)到针对未来模型的先进防护(如实时访问控制、系统级异常检测、内部激活监控和关闭基础设施)。论文指出,AI控制是一个新兴领域,实施这些措施需要在安全性和开发速度之间权衡,路线图将随经验积累和领域发展而演进。该文适合AI安全研究人员、安全架构师及前沿AI公司的安全团队阅读。

💡 推荐理由: 首次系统化提出面向内部AI对手的防御框架,为前沿AI公司构建纵深防御提供了可操作蓝图,对AI安全治理具有里程碑意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
👥 作者: Liam Kearns

该论文聚焦于基于代理的AI系统(agent-based AI)在医疗报告生成应用中的安全风险与缓解措施。通过将AI代理暴露给多个工具和资源,LLM能够自动化复杂任务,但为了提升功能和准确性,代理常被授予超出普通用户的权限,这可能导致数据泄露和法规违规。论文应用了AI信任、风险与安全管理(TRiSM)框架,将不安全的代理工作流改造为安全意识的代理工作流。作者针对医疗报告生成场景,设计了两种工作流(不安全 vs. TRiSM引导),并使用五种LLM(Claude Haiku 4.5, GPT-4.1-nano, GPT-4.1-mini, GPT-5.4-mini, Gemini 2.5 Flash)在两种报告类型上进行了评估,总计800次生成和500个攻击场景(包括RAG投毒、数据字段注入、客户端网络注入)。实验结果表明:TRiSM引导的代理工作流将RAG投毒的平均攻击成功率从31%降至10%,数据字段注入从42%降至25%,并通过服务器端提示构建完全消除了网络注入向量。此外,报告准确率从72.5%提升至86.5%(增加14个百分点),证明了安全设计能同时提高输出可靠性。论文的贡献在于展示了最小权限、深度防御的代理工作流可以改善安全性和准确性,同时强调了模型选择是架构中必要的考量因素。适合安全研究人员、AI开发者和医疗IT从业者阅读。

💡 推荐理由: 该研究将TRiSM框架系统性地应用于医疗AI代理,量化了安全加固带来的攻击率下降和准确率提升,为构建可信LLM代理提供了实证参考。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Lukas Maar, Florian Draschbacher, Lukas Lamster, Stefan Mangard

该论文聚焦于Android内核面对一日漏洞(one-day exploits)时,现有纵深防御机制的有效集成问题。研究背景是:Android系统依赖内核安全机制(如访问控制、控制流完整性、地址空间布局随机化等)来抵御已知漏洞的利用;然而,这些防御在集成到实际内核中时,往往存在配置错误、不完整实现或兼容性缺陷,导致防御效果大打折扣。论文提出了一种系统化的评估方法,分析多个Android内核版本中主要防御机制的集成完整性。方法包括:构建自动化测试框架,检查防御特性是否启用、配置是否正确、是否有已知绕过路径;对比不同OEM厂商的内核镜像,发现集成差异。实验表明,许多设备存在“防御深度”不足的问题,例如某些CFI保护未覆盖所有关键代码路径,或内核页表隔离不完整。主要贡献是:量化了防御集成缺陷的普遍性,揭示了OEM厂商在安全更新中的常见遗漏,并给出了可操作的修复建议。该研究适合Android安全工程师、内核开发者及移动设备安全研究人员阅读。

💡 推荐理由: Android设备数量庞大,内核一日漏洞是实际攻击面;该论文揭示防御集成中的系统性缺陷,有助于厂商和安全团队识别并修复薄弱环节,提升整体安全水位。

🎯 建议动作: 研究跟进

排序因子: 有可用补丁/修复方案 (+3) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 9.5
Conf: 50%
👥 作者: Carina Fiedler, Jonas Juffinger, Sudheendra Raghav Neela, Martin Heckel, Hannes Weissteiner, Abdullah Giray Yaglikçi, Florian Adamsky, Daniel Gruss

本文提出了一种名为“Memory Band-Aid”的纵深防御方案,旨在缓解Rowhammer攻击。Rowhammer是一种利用DRAM内存单元间电磁干扰的硬件漏洞,攻击者通过密集访问同一内存行(激活行),可能导致相邻行发生位翻转,从而破坏数据完整性或实现权限提升。现有防御措施如目标行刷新(TRR)存在局限性,尤其是随着DRAM工艺尺寸不断缩小,Rowhammer攻击的阈值逐渐降低。Memory Band-Aid方案采用多层防御架构:首先,在系统层面引入随机化内存分配策略,增加攻击者预测目标行的难度;其次,在内存控制器层面增强刷新策略,根据实际访问模式动态调整刷新频率;最后,在操作系统层面集成异常检测机制,监控内存访问模式以识别潜在的Rowhammer行为。实验在多种DRAM模块上进行,结果表明该方案能有效降低位翻转概率,且性能开销小于5%。本文的主要贡献在于提出了一个可实际部署的、原则性的纵深防御框架,并分析了其效果与权衡。适合系统安全研究员、内存控制器设计者及操作系统开发者阅读。

💡 推荐理由: Rowhammer是持续存在的硬件威胁,现有防御方案存在漏洞。本工作提出了一种可实践的纵深防御思路,对系统安全加固有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)