#threat-modeling

共收录 9 条相关安全情报。

← 返回所有主题
推荐 9.5
Conf: 50%
👥 作者: Stef Verreydt, Koen Yskout, Laurens Sion, Wouter Joosen

本研究调查了荷兰组织在威胁建模实践中的现状。通过案例研究和问卷调查,作者收集了来自不同行业(如金融、政府、医疗)的安全从业者的反馈。研究发现,虽然威胁建模被认为是安全设计的关键活动,但实际采用率较低,主要障碍包括缺乏时间、专业知识不足、工具支持有限以及难以融入现有开发流程。组织普遍采用非正式方法,如白板讨论或头脑风暴,而结构化方法(如STRIDE、PASTA)使用较少。研究还揭示了威胁建模文档通常未被及时更新,且与风险管理过程脱节。主要贡献包括:提供了威胁建模实践现状的实证数据,识别了常见挑战,并为改进工具和流程提出了建议。适合安全架构师、风险管理者和DevSecOps团队阅读,以了解威胁建模在现实中的落实现状。

💡 推荐理由: 揭示了威胁建模在实践中的实际采纳障碍,为安全团队改进流程、选择工具和制定培训计划提供了实证依据。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Mohammadreza Hallajiyan, Xueren Ge, Athish Pranav Dharmalingam, Gargi Mitra, Shahrear Iqbal, Homa Alemzadeh, Karthik Pattabiraman

本论文提出了一种名为SAMD的自动化工具,用于在AI/ML赋能的医疗设备设计阶段进行安全分析。随着AI/ML在医疗系统中的广泛应用,安全风险日益突出,尤其是对手通过脆弱组件注入虚假数据导致误诊或错误治疗的风险。这些风险在设计阶段难以预见,因为系统组装部分发生在最终用户实际使用过程中。SAMD基于系统理论过程分析安全(STPA-Sec)方法,将医疗系统建模为控制结构,将所有组件视为向ML引擎注入虚假数据的潜在点。它利用最新的漏洞数据库和大语言模型(LLM)来自动化漏洞发现,并生成潜在攻击场景列表。作者通过五个FDA批准的医疗设备案例研究验证了SAMD的有效性,结果显示:在识别目标设备技术方面精确率达100%;检索相关已知漏洞的精确率为63.2%;生成高度相关的ML模型攻击场景(包含对手可能采取的详细步骤)准确率达95.3%,且最长运行时间为191.64秒。该工具旨在帮助医疗设备制造商在设计阶段提前识别和缓解安全威胁。

💡 推荐理由: 医疗设备安全直接关系患者生命安全,AI/ML引入的新攻击面需要系统性分析工具。SAMD填补了设计阶段自动化威胁建模的空白,可帮助安全团队提前发现数据注入场景。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Oleksandr Adamov, Davide Fucci, Felix Viktor Jedrzejewski, Ricardo Britto, Nishrith Saini

本文研究如何验证威胁建模结果的有效性。传统的验证方法通常依赖专家产生的参考模型或人工基线,但这些方法可能存在遗漏或意见不一致的问题。作者提出一种基于易受攻击的测试应用(vulnerable test applications)的互补验证方法:对已知存在特定漏洞集的系统进行威胁建模,然后测量发现了多少相关漏洞,从而量化威胁模型的覆盖度。作者将团队开发的 LLM 辅助威胁建模工具 ThreMoLIA 与微软威胁建模工具(MTMT)进行对比,在两个易受攻击的应用——AzureGoat 和 Vulnerable Bank Application(VulnBank)上进行了实验。输入仅限于架构图、数据流图及其描述。结果显示,ThreMoLIA 在两个系统上均实现了更高的漏洞覆盖率。研究表明,易受攻击的测试应用可以作为评估威胁覆盖度的实用基准,并补充基于专家的验证方法。

💡 推荐理由: 威胁建模结果的验证长期缺乏客观基准,本文提出的基于已知漏洞应用的评估方法为工具比较和模型改进提供了可重复的量化手段。

🎯 建议动作: 研究跟进,考虑将类似基准测试纳入内部威胁建模工具评估流程。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Tsafac Nkombong Regine Cyrille, Franziska Schwarz

本文提出STRIDE-AI框架,旨在解决传统网络安全方法论在应对生成式AI系统概率性质时的不足。研究背景指出,现有安全标准(如NIST AI RMF)和漏洞分类(如OWASP LLM Top 10)之间存在鸿沟,且多数部署AI的组织缺乏专用安全策略,对抗攻击每年快速增长。STRIDE-AI框架通过以下核心贡献弥合这一差距:首先,定义了一个六阶段评估生命周期,覆盖从资产识别到持续监控的完整流程;其次,将经典STRIDE威胁建模方法适配于AI系统,针对模型反转、数据投毒、提示注入等攻击向量进行威胁识别;最后,通过一个专用Web工具实现框架的自动化操作。为初步验证有效性,作者对一个已部署的LLM聊天机器人进行了黑盒评估,在沙盒案例研究中将攻击成功率从80%降低至15%。该框架主要面向AI安全工程师、风险管理人员及研究社区,提供了一种系统化的生成式AI安全评估方法。

💡 推荐理由: 为生成式AI提供正统威胁建模框架,填补了高层风险管理标准与技术漏洞分类之间的空白,有助于组织系统化防御AI对抗攻击。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Saba Pourhanifeh, AbdulAziz AbdulGhaffar, Ashraf Matrawy

本论文对领域自适应语言模型在结构化威胁建模任务中的有效性进行了系统性的实证评估。研究聚焦于5G安全场景,采用STRIDE威胁分类方法,共使用52种不同配置(涵盖8种语言模型)进行实验。核心变量包括:1)领域自适应(电信与网络安全领域)与否、2)模型规模(大语言模型LLM与小语言模型SLM)、3)解码策略(贪婪解码与随机采样)、4)提示工程技术。结果表明:领域自适应模型并不一致优于通用模型,解码策略对模型输出和行为影响显著;虽然大模型通常表现更好,但提升并不稳定,且远未达到可靠威胁建模的要求。研究还报告了无效输出的类型与频率,并提出了针对STRIDE威胁建模的提示工程建议。论文揭示了当前LLM在结构化威胁建模任务中的根本局限,强调仅靠增加训练数据或模型缩放无法解决,需要更强的任务特定推理与安全概念基础。

💡 推荐理由: 该研究为安全分析师使用LLM进行威胁建模提供了重要实证证据,指出领域自适应和模型规模并非万能,解码策略等细节对结果影响巨大。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Tim Van hamme, Thomas Vissers, Javier Carnerero-Cano, Mario Fritz, Emil C. Lupu, Lieven Desmet, Dinil Mon Divakaran

随着大型语言模型(LLM)被部署为具备访问工具、数据库和外部服务能力的自主智能体(Agent),不同行业从业者缺乏系统的方法来评估已知威胁类别如何在特定智能体部署中转化为具体风险。本文提出MATRA,一个针对智能体AI系统的实用威胁建模框架。该框架借鉴了既有的风险评估方法,并进行了调整,以系统性地评估已知的LLM威胁如何转化为部署特定的风险。MATRA首先进行基于资产的影影响评估,利用攻击树来确定这些影响在系统架构中发生的可能性。我们通过个人AI智能体部署案例来演示MATRA,该案例使用OpenClaw平台,量化了网络沙箱和最小权限访问等架构控制如何通过限制成功注入的爆炸半径来降低风险。实验结果表明,该框架能够有效评估和缓解智能体AI系统中的安全威胁,为从业者提供了结构化的方法。本文的主要贡献包括:提出了第一个针对智能体AI系统的系统性威胁建模框架;在真实系统中验证了框架的有效性;量化了架构控制措施对风险降低的效果。适用于AI安全研究人员、系统架构师和安全工程师。

💡 推荐理由: 智能体AI系统面临独特的攻击面,但缺乏系统化的威胁评估方法。MATRA提供了实用框架,帮助安全团队在部署前识别并量化风险,具有直接实践价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: XiangFan Wu, Lingyun Ying, Guoqiang Chen, Yacong Gu, Haipeng Qu

本文首次系统性地研究了大型语言模型(LLM)服务框架中缓存机制引发的安全威胁。随着LLM在生产环境中的广泛部署,服务框架(如vLLM、TGI等)广泛采用缓存技术(如键值缓存、前缀缓存)以降低推理延迟和成本。然而,这些缓存设计引入了新的攻击面。作者识别并分类了六种缓存相关威胁:缓存中毒(通过污染缓存数据导致恶意输出)、缓存窃取(通过侧信道推断其他用户的提示/响应)、缓存放大(利用缓存机制发起拒绝服务攻击)、缓存不一致(利用多租户环境下的缓存状态同步问题)、缓存数据泄露(缓存未清理导致敏感信息暴露)以及缓存旁路(绕过缓存验证直接操作底层存储)。通过分析主流LLM服务框架的缓存实现,作者构建了威胁模型并展示了实际攻击的原型验证。实验表明,攻击者可以在低权限条件下(如仅具备API访问权限)实施上述威胁,影响模型输出的完整性、机密性和可用性。论文提出了相应的防御策略,包括缓存隔离、访问控制、数据完整性校验以及缓存状态的严格刷新策略。研究强调了在LLM服务设计中安全与性能的平衡需求,为框架开发者和部署者提供了安全指南。

💡 推荐理由: 首次系统性地揭示LLM服务框架中缓存机制的安全威胁,填补了该领域的研究空白。对于使用缓存优化性能的LLM服务,这些攻击直接影响模型输出的安全性和用户隐私。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Neha Nagaraja, Hayretdin Bahsi, Carlo R. da Cunha

该论文针对集成大语言模型(LLM)的自主机器人系统进行威胁建模。背景方面,虽然已有研究分别关注机器人网络安全、对抗性感知攻击和LLM安全性,但尚未有工作将这些威胁类别在一个统一架构中追踪其相互作用与传播。作者通过将基于边缘-云架构的LLM赋能自主机器人建模为分层数据流图(DFD),并应用STRIDE-per-interaction分析,在六个跨边界交互点上使用三类威胁分类(传统网络威胁、对抗威胁、对话威胁)进行评估。分析发现这三类威胁在相同的边界交叉点汇聚,并追踪了三条从外部入口点到不安全物理驱动的跨边界攻击链,每条链揭示不同的架构缺陷:缺乏用户输入与致动器调度之间的独立语义验证、从视觉感知到语言模型指令的跨模态转换、以及通过提供方工具使用导致的未中介边界交叉。据作者所述,这是首个基于DFD的威胁分析,整合了LLM机器人系统全感知-规划-致动管道中的所有三类威胁。该研究适用于安全架构师、机器人系统开发者及LLM安全研究员,为设计安全边界和缓解措施提供系统化视角。

💡 推荐理由: 首次以统一数据流图模型分析LLM机器人系统中传统网络威胁、对抗攻击与对话安全的交互传播,揭示关键架构漏洞,对保障物理安全至关重要。

🎯 建议动作: 研究跟进:将威胁模型纳入机器人安全评估流程

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)

提出面向物联网设备的网络物理数据流图(CPDFD)威胁建模方法,支持硬件建模,实验表明能发现更多攻击场景。

💡 推荐理由: 现有IT威胁建模方法在物联网领域适用性有限,CPDFD专门针对IoT设备设计,可帮助制造商系统化识别物理与网络结合的攻击面,提升安全设计能力。

🎯 建议动作: 研究跟进

排序因子: Community 数据源 (+1) | LLM 评分加成 (+0.4)