#threat-modeling

共收录 18 条相关安全情报。

← 返回所有主题
👥 作者: Nicolás E. Díaz Ferreyra, Manish Mahesh Kumar, Nohemí Villarreal, Pankaj Pantel, Immo Brueggemann, Riccardo Scandariato

本文针对生成式人工智能(GenAI)日益融入软件系统后,传统威胁建模方法(如 STRIDE)在评估 GenAI 特有风险方面的不足,开展了一项面向中小企业(SME)的探索性评估研究。研究首先通过快速文献综述筛选出三种 GenAI 感知的威胁建模技术,然后将其系统地应用于一个包含 GenAI 增强组件的工业案例研究。结果表明,不同技术识别出的威胁集合存在显著差异,且现有方法对某些 GenAI 特定风险类别的支持有限,尤其是与软件供应链和以人为中心的安全问题(如提示注入、模型窃取、过度依赖、隐私泄露等)相关的风险。此外,研究还收集了从业人员对这些方法在 SME 开发流程中可用性和集成度的看法,包括感知到的努力程度和采用障碍。该工作为在资源受限的中小企业环境中实际落地 GenAI 威胁建模提供了初步经验和改进方向,强调了需要开发更轻量级、更贴合 GenAI 供应链特征的建模方法,并应在威胁模型中更系统地考虑人机交互带来的社会工程风险。

💡 推荐理由: 为蓝队和安全工程团队提供了 GenAI 威胁建模在真实中小企业环境中的适用性评估,揭示了现有方法的盲区,有助于改进针对 LLM 系统的风险识别流程。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Cristian Leo, Anton Dykyi, Danny Cortegaca, Daniel Begimher, Prakash Jha

该论文提出 ThreatForest,一个面向云原生架构威胁建模的多智能体系统。传统威胁建模依赖人工分析源代码仓库,速度慢且需要稀缺的安全专家。ThreatForest 将威胁建模分解为多阶段智能体流水线,包括仓库分析、上下文精炼、威胁生成、并行攻击树构建(含 TTP 映射与缓解措施综合)以及报告生成。整个流程以有向图形式编排,包含确定性验证门、有限重试和三个人类参与验证点。系统可插拔地映射多种对抗框架(MITRE ATT&CK、CAPEC 及云特定威胁矩阵),并使用领域特定的句子转换器通过余弦相似度将攻击步骤映射到候选技术。实验表明,嵌入阶段是准确性的主要瓶颈,而非整个流水线。作者在七个应用领域上使用十六维评分标准进行评估,由独立 LLM 评分器加对抗验证和专家评审打分。威胁陈述、攻击树和缓解措施的质量得分在 0.63-0.68(0-1 标度),而仅嵌入的 TTP 映射得分仅 0.29,且该差距在七个领域稳定存在。对照实验表明,单次调用基线在同一模型上将映射可辩护性提高了一倍以上,从而将限制定位在嵌入编码器而非多智能体设计上。据作者所知,ThreatForest 是首个将代码仓库端到端转换为跨对抗框架的 TTP 映射攻击树并带证据缓解措施的系统,同时提供了可复用的基准框架。该论文适合安全自动化研究人员、威胁建模工具开发者及关注云安全左移的蓝队工程师阅读。

💡 推荐理由: ThreatForest 展示了用多智能体流水线自动化威胁建模的可行路径,并明确指出嵌入模型是当前精度瓶颈,对安全自动化领域的后续优化方向具有指导意义。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Muhammad Shujaat Mirza, Labeeba Begum, Liang Niu, Sarah Pardo, Azza Abouzied, Paolo Papotti, Christina Pöpper

该论文系统性地研究了虚假信息(disinformation)的战术、威胁与目标,并提出了一种建模方法用于分析和缓解虚假信息。作者首先梳理了虚假信息传播的常见战术,包括利用社交媒体机器人、伪造账户、协调性不真实行为(CIB)、人肉搜索(doxing)、虚假新闻、深度伪造(deepfakes)等,并针对每种战术分析了其背后的威胁模式(如影响公众舆论、操纵选举、破坏信任等)。论文核心贡献在于提出了一个多层建模框架,该框架结合了攻击图(attack graph)、行为分析和社会网络分析,能够从传播链、参与者意图、目标受众和心理影响等多个维度刻画虚假信息事件。实验部分基于多个真实世界案例(包括2016年美国大选干预、COVID-19疫情虚假信息等)进行了验证,结果显示该框架能有效识别虚假信息的关键传播节点和策略,并生成可操作的缓解建议。此外,论文还讨论了当前检测技术的局限性,如基于NLP的检测容易被对抗性样本绕过,以及跨平台协同检测的挑战。最后,作者提出了一种基于博弈论的防御策略优化方法,帮助平台和监管机构在资源有限的情况下优先应对高风险虚假信息。该研究为网络安全分析师、社会媒体平台以及政策制定者提供了系统性的视角来理解和对抗虚假信息。

💡 推荐理由: 虚假信息是当前最复杂的网络安全威胁之一,常与社交工程、影响力作战结合。该论文提供了系统化的威胁建模与缓解框架,可帮助蓝队和SOC理解并防御此新型攻击向量。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: James Diggans, Kevin Flyangolts, Rami Puzis

本文提出将网络安全领域的威胁建模方法系统地应用于现代生物安全领域。传统生物安全主要关注病原体本身,但随着合成生物学和基因编辑技术的发展,生物系统面临与信息系统类似的安全挑战。作者借鉴了成熟的网络安全威胁建模框架(如STRIDE、攻击树、纵深防御等),针对生物安全场景进行了适应性改造。核心贡献包括:1)构建了面向生物系统(如DNA合成、基因电路、细胞工厂)的威胁模型抽象层;2)定义了生物资产、威胁源、攻击面及风险缓解策略的映射关系;3)通过案例分析验证了模型在预测合成生物学攻击路径上的有效性。研究指出,生物网络安全应该从“防御特定病原体”转向“保障生物系统的完整性与可靠性”,从而形成跨学科的主动防御能力。本文适合生物安全研究人员、网络安全从业者及政策制定者阅读。

💡 推荐理由: 将网络安全威胁建模引入生物安全领域,为应对合成生物学等新兴风险提供了系统化分析框架,有助于提前识别攻击路径并设计缓解措施。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
INFO
PAPER 2026-07-13

GDM AI Control Roadmap

推荐 3.6
Conf: 50%
👥 作者: Mary Phuong, Erik Jenner, Laurent Simon, Lewis Ho, Rohin Shah, Sebastian Farquhar, Scott Coull

该论文由Google DeepMind团队撰写,首次提出了面向内部安全的AI控制路线图(v0.1),旨在应对可能不协调(misaligned)的AI智能体。随着AI智能体在研发、网络防御和科学发现中加速应用,传统的安全假设(AI始终对齐)不再可靠,需要构建多层次防御体系。论文的核心贡献包括三部分:首先,提出了一种保守的威胁建模方法,假设存在一个追求不良目标的假设性AI对手,并基于MITRE ATT&CK框架构建了TRAIT&R分类法,系统梳理了此类对手可能使用的战术和技术。其次,提出了基于能力的缓解措施,将防御手段与模型能力(如透明推理、复杂网络攻击执行能力)挂钩,随着模型能力增强,防御措施相应升级,定义了四个检测等级(D1-D4)和三个预防与响应等级(R1-R3)。最后,给出了15种具体、分级的防御措施,从针对当前模型的低成本方案(如思维链监控、异步告警)到针对未来模型的先进防护(如实时访问控制、系统级异常检测、内部激活监控和关闭基础设施)。论文指出,AI控制是一个新兴领域,实施这些措施需要在安全性和开发速度之间权衡,路线图将随经验积累和领域发展而演进。该文适合AI安全研究人员、安全架构师及前沿AI公司的安全团队阅读。

💡 推荐理由: 首次系统化提出面向内部AI对手的防御框架,为前沿AI公司构建纵深防御提供了可操作蓝图,对AI安全治理具有里程碑意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
👥 作者: Benjamin Arp, Felix Schwickerath, Alexander Vogt, Tom Hüller, Nils Niehues, Nicolas Boltz

论文提出了 xDECAF,一个可扩展的数据流图(DFD)分析框架,专注于信息安全领域的架构级分析。该框架扩展了传统 DFD 元模型,引入了带标签的节点和边,以支持更丰富的安全属性标注;同时提供了一种领域特定约束语言,支持不同的流操作,允许分析师定义数据流相关的安全约束(如未经授权的数据流向、敏感数据驻留位置等)。框架包含一个基于浏览器的编辑器,后端集成分析引擎,能够自动检查模型是否符合定义的约束,并报告违规。作者还发布了包含超过 20 个示例模型的数据集,每个模型都附带文档化的约束和预期违规,可作为可复用的基准测试集。xDECAF 已被多个独立研究项目采用,证明了其实用性。工具、数据集和在线编辑器均公开可用。该研究面向安全架构师、软件设计师和安全研究人员,帮助他们系统地发现设计阶段的数据流安全隐患。

💡 推荐理由: xDECAF 提供了系统化的数据流安全分析能力,弥补了安全设计审查中工具化约束检查的缺失;其公开的数据集可促进该领域的基准研究。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Stefan Beyer

现代组织越来越多地采用分布式、云优先和去中心化的架构,这打破了传统威胁建模方法(如STRIDE、PASTA、Trike、OCTAVE、LINDDUN、攻击树和MITRE ATT&CK)所依赖的三个基本假设:明确的安全边界、单一的所有者组织以及技术与操作风险的清晰分离。在这些新场景中,主要的安全威胁不再是外部攻击者,而是授权但恶意的内部人员、名义上独立方之间的合谋、控制平面和CI/CD的入侵,以及高价值操作的误操作。现有的威胁建模方法很大程度上忽略了这些威胁。本文提出了TRACE(Threat modelling for distRibuted, cloud-first, And dECEntralised organisations)方法,将威胁行为者、角色、资产、关键不变量以及信任/权威边作为一等公民,并通过证据关联,跨越协议、系统和组织三个层次进行建模。TRACE包含核心模型、三个应用支柱、一个顺序化的门控工作流,以及一个支持人机协作的证据与可追溯性规范,其中语言模型加速覆盖,而高级审查者保留对不变量、严重性和合谋的判断。TRACE方法源于Web3安全实践,但与具体技术栈无关。本文还讨论了它与零信任架构和可问责拜占庭共识的关系、局限性以及实证验证的开放问题。该论文对安全从业者理解现代分布式系统的威胁建模有重要参考价值。

💡 推荐理由: TRACE填补了传统威胁建模方法在分布式、云优先和去中心化组织场景下的空白,关注内部威胁和合谋攻击,对安全架构师和威胁建模者具有指导意义。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 8.5
Conf: 50%
👥 作者: Manoj Parmar

该论文对神经符号AI(NeSy)的安全、安保与认知风险进行了系统性研究。神经符号AI融合了神经感知与符号推理,适用于需要可解释性和结构化推理的高风险领域(如医疗诊断、自动驾驶)。然而,这种混合架构引入了扩大的攻击面,涵盖五个层次:神经感知层、符号知识库层、推理引擎层、智能体编排层和数据存储层,每个层次都存在纯神经系统中不存在的可利用漏洞。论文做出了六项贡献:(1) 形式化定义了NeSy攻击面、符号完整性违背(SIV)和跨层放大比X,并将其分解为神经引起的和自主符号敏感性两部分;(2) 提出了统一威胁模型,扩展了MITRE ATLAS,增加了11个NeSy特有的策略扩展和五类攻击者画像;(3) 构建了符号层威胁目录,涵盖知识图谱投毒、本体合并攻击和推理引擎颠覆;(4) 分析了认知风险——自动化偏差、权威偏差和谄媚强化——这些风险因NeSy的显式逻辑解释相对于黑箱神经输出而被结构性放大;(5) 提出了跨学科缓解措施,并给出了与NIST AI 600-1和欧盟AI法案一致的可衡量验收标准;(6) 进行了三项实证基准测试:(E1) 在包含205个实体的医学知识图谱上,针对性知识图谱投毒在注入预算B=5时达到SIV盈亏平衡点,存在隐蔽性与SIV之间的权衡;(E2) 在DistilBERT+ProbLog流水线上,PGD-10在ε=0.01时产生X=5.884(95%置信区间[4.64, 8.00], p<0.0001),并通过匹配随机基线(E^R_rand=0)确认为对抗性特定;(E3) 单公理OWL编辑实现93.3%的SIV成功率,且100%保持Pellet一致性隐蔽,但基于STIX的检测在50%水平(随机猜测)失败,这是一个开放问题。该研究为NeSy系统的安全分析提供了理论基础和实验基准,适合AI安全研究员、系统设计者和监管机构阅读。

💡 推荐理由: 神经符号AI在医疗、自动驾驶等高风险场景应用日益增多,但此前缺乏对其独特攻击面和认知风险的系统化研究。本文首次量化了跨层放大效应并提出了统一威胁模型,对防御者识别和缓解NeSy系统的安全漏洞具有重要指导意义。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ahmed Mohammed Almalki, Mehedi Masud

该论文对长期任务型自主AI系统的安全挑战进行了结构化分析。研究首先系统梳理了当前此类系统面临的主要威胁,包括提示注入、对抗性攻击、工具滥用、记忆污染及长期任务中的攻击传播等。接着,论文评估了现有的安全评估方法,指出它们在覆盖度和深度上的不足。核心贡献在于提出了一套全面的安全威胁分类法(Taxonomy),将威胁按攻击面、攻击阶段和影响类型进行层次化归类;同时设计了一个分析攻击传播的框架(Framework for Analyzing Attack Propagation),用于建模恶意输入如何通过代理的长期决策链逐步扩散并最终导致有害输出。论文还讨论了现有安全框架的局限性,并为未来研究方向给出了建议,例如开发动态防御机制和可证明的安全保证。本工作旨在为自主AI系统的安全研究者提供理论基线和分析工具,帮助设计更鲁棒的安全防护方案。

💡 推荐理由: 随着长期任务型AI代理在自动化、机器人、个人助理等场景的广泛应用,其安全风险日益突出。本文首次系统化整理了该领域的威胁分类和攻击传播模型,为后续防御研究提供了理论框架。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 9.5
Conf: 50%
👥 作者: Stef Verreydt, Koen Yskout, Laurens Sion, Wouter Joosen

本研究调查了荷兰组织在威胁建模实践中的现状。通过案例研究和问卷调查,作者收集了来自不同行业(如金融、政府、医疗)的安全从业者的反馈。研究发现,虽然威胁建模被认为是安全设计的关键活动,但实际采用率较低,主要障碍包括缺乏时间、专业知识不足、工具支持有限以及难以融入现有开发流程。组织普遍采用非正式方法,如白板讨论或头脑风暴,而结构化方法(如STRIDE、PASTA)使用较少。研究还揭示了威胁建模文档通常未被及时更新,且与风险管理过程脱节。主要贡献包括:提供了威胁建模实践现状的实证数据,识别了常见挑战,并为改进工具和流程提出了建议。适合安全架构师、风险管理者和DevSecOps团队阅读,以了解威胁建模在现实中的落实现状。

💡 推荐理由: 揭示了威胁建模在实践中的实际采纳障碍,为安全团队改进流程、选择工具和制定培训计划提供了实证依据。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Mohammadreza Hallajiyan, Xueren Ge, Athish Pranav Dharmalingam, Gargi Mitra, Shahrear Iqbal, Homa Alemzadeh, Karthik Pattabiraman

本论文提出了一种名为SAMD的自动化工具,用于在AI/ML赋能的医疗设备设计阶段进行安全分析。随着AI/ML在医疗系统中的广泛应用,安全风险日益突出,尤其是对手通过脆弱组件注入虚假数据导致误诊或错误治疗的风险。这些风险在设计阶段难以预见,因为系统组装部分发生在最终用户实际使用过程中。SAMD基于系统理论过程分析安全(STPA-Sec)方法,将医疗系统建模为控制结构,将所有组件视为向ML引擎注入虚假数据的潜在点。它利用最新的漏洞数据库和大语言模型(LLM)来自动化漏洞发现,并生成潜在攻击场景列表。作者通过五个FDA批准的医疗设备案例研究验证了SAMD的有效性,结果显示:在识别目标设备技术方面精确率达100%;检索相关已知漏洞的精确率为63.2%;生成高度相关的ML模型攻击场景(包含对手可能采取的详细步骤)准确率达95.3%,且最长运行时间为191.64秒。该工具旨在帮助医疗设备制造商在设计阶段提前识别和缓解安全威胁。

💡 推荐理由: 医疗设备安全直接关系患者生命安全,AI/ML引入的新攻击面需要系统性分析工具。SAMD填补了设计阶段自动化威胁建模的空白,可帮助安全团队提前发现数据注入场景。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Oleksandr Adamov, Davide Fucci, Felix Viktor Jedrzejewski, Ricardo Britto, Nishrith Saini

本文研究如何验证威胁建模结果的有效性。传统的验证方法通常依赖专家产生的参考模型或人工基线,但这些方法可能存在遗漏或意见不一致的问题。作者提出一种基于易受攻击的测试应用(vulnerable test applications)的互补验证方法:对已知存在特定漏洞集的系统进行威胁建模,然后测量发现了多少相关漏洞,从而量化威胁模型的覆盖度。作者将团队开发的 LLM 辅助威胁建模工具 ThreMoLIA 与微软威胁建模工具(MTMT)进行对比,在两个易受攻击的应用——AzureGoat 和 Vulnerable Bank Application(VulnBank)上进行了实验。输入仅限于架构图、数据流图及其描述。结果显示,ThreMoLIA 在两个系统上均实现了更高的漏洞覆盖率。研究表明,易受攻击的测试应用可以作为评估威胁覆盖度的实用基准,并补充基于专家的验证方法。

💡 推荐理由: 威胁建模结果的验证长期缺乏客观基准,本文提出的基于已知漏洞应用的评估方法为工具比较和模型改进提供了可重复的量化手段。

🎯 建议动作: 研究跟进,考虑将类似基准测试纳入内部威胁建模工具评估流程。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Tsafac Nkombong Regine Cyrille, Franziska Schwarz

本文提出STRIDE-AI框架,旨在解决传统网络安全方法论在应对生成式AI系统概率性质时的不足。研究背景指出,现有安全标准(如NIST AI RMF)和漏洞分类(如OWASP LLM Top 10)之间存在鸿沟,且多数部署AI的组织缺乏专用安全策略,对抗攻击每年快速增长。STRIDE-AI框架通过以下核心贡献弥合这一差距:首先,定义了一个六阶段评估生命周期,覆盖从资产识别到持续监控的完整流程;其次,将经典STRIDE威胁建模方法适配于AI系统,针对模型反转、数据投毒、提示注入等攻击向量进行威胁识别;最后,通过一个专用Web工具实现框架的自动化操作。为初步验证有效性,作者对一个已部署的LLM聊天机器人进行了黑盒评估,在沙盒案例研究中将攻击成功率从80%降低至15%。该框架主要面向AI安全工程师、风险管理人员及研究社区,提供了一种系统化的生成式AI安全评估方法。

💡 推荐理由: 为生成式AI提供正统威胁建模框架,填补了高层风险管理标准与技术漏洞分类之间的空白,有助于组织系统化防御AI对抗攻击。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Saba Pourhanifeh, AbdulAziz AbdulGhaffar, Ashraf Matrawy

本论文对领域自适应语言模型在结构化威胁建模任务中的有效性进行了系统性的实证评估。研究聚焦于5G安全场景,采用STRIDE威胁分类方法,共使用52种不同配置(涵盖8种语言模型)进行实验。核心变量包括:1)领域自适应(电信与网络安全领域)与否、2)模型规模(大语言模型LLM与小语言模型SLM)、3)解码策略(贪婪解码与随机采样)、4)提示工程技术。结果表明:领域自适应模型并不一致优于通用模型,解码策略对模型输出和行为影响显著;虽然大模型通常表现更好,但提升并不稳定,且远未达到可靠威胁建模的要求。研究还报告了无效输出的类型与频率,并提出了针对STRIDE威胁建模的提示工程建议。论文揭示了当前LLM在结构化威胁建模任务中的根本局限,强调仅靠增加训练数据或模型缩放无法解决,需要更强的任务特定推理与安全概念基础。

💡 推荐理由: 该研究为安全分析师使用LLM进行威胁建模提供了重要实证证据,指出领域自适应和模型规模并非万能,解码策略等细节对结果影响巨大。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Tim Van hamme, Thomas Vissers, Javier Carnerero-Cano, Mario Fritz, Emil C. Lupu, Lieven Desmet, Dinil Mon Divakaran

随着大型语言模型(LLM)被部署为具备访问工具、数据库和外部服务能力的自主智能体(Agent),不同行业从业者缺乏系统的方法来评估已知威胁类别如何在特定智能体部署中转化为具体风险。本文提出MATRA,一个针对智能体AI系统的实用威胁建模框架。该框架借鉴了既有的风险评估方法,并进行了调整,以系统性地评估已知的LLM威胁如何转化为部署特定的风险。MATRA首先进行基于资产的影影响评估,利用攻击树来确定这些影响在系统架构中发生的可能性。我们通过个人AI智能体部署案例来演示MATRA,该案例使用OpenClaw平台,量化了网络沙箱和最小权限访问等架构控制如何通过限制成功注入的爆炸半径来降低风险。实验结果表明,该框架能够有效评估和缓解智能体AI系统中的安全威胁,为从业者提供了结构化的方法。本文的主要贡献包括:提出了第一个针对智能体AI系统的系统性威胁建模框架;在真实系统中验证了框架的有效性;量化了架构控制措施对风险降低的效果。适用于AI安全研究人员、系统架构师和安全工程师。

💡 推荐理由: 智能体AI系统面临独特的攻击面,但缺乏系统化的威胁评估方法。MATRA提供了实用框架,帮助安全团队在部署前识别并量化风险,具有直接实践价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: XiangFan Wu, Lingyun Ying, Guoqiang Chen, Yacong Gu, Haipeng Qu

本文首次系统性地研究了大型语言模型(LLM)服务框架中缓存机制引发的安全威胁。随着LLM在生产环境中的广泛部署,服务框架(如vLLM、TGI等)广泛采用缓存技术(如键值缓存、前缀缓存)以降低推理延迟和成本。然而,这些缓存设计引入了新的攻击面。作者识别并分类了六种缓存相关威胁:缓存中毒(通过污染缓存数据导致恶意输出)、缓存窃取(通过侧信道推断其他用户的提示/响应)、缓存放大(利用缓存机制发起拒绝服务攻击)、缓存不一致(利用多租户环境下的缓存状态同步问题)、缓存数据泄露(缓存未清理导致敏感信息暴露)以及缓存旁路(绕过缓存验证直接操作底层存储)。通过分析主流LLM服务框架的缓存实现,作者构建了威胁模型并展示了实际攻击的原型验证。实验表明,攻击者可以在低权限条件下(如仅具备API访问权限)实施上述威胁,影响模型输出的完整性、机密性和可用性。论文提出了相应的防御策略,包括缓存隔离、访问控制、数据完整性校验以及缓存状态的严格刷新策略。研究强调了在LLM服务设计中安全与性能的平衡需求,为框架开发者和部署者提供了安全指南。

💡 推荐理由: 首次系统性地揭示LLM服务框架中缓存机制的安全威胁,填补了该领域的研究空白。对于使用缓存优化性能的LLM服务,这些攻击直接影响模型输出的安全性和用户隐私。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Neha Nagaraja, Hayretdin Bahsi, Carlo R. da Cunha

该论文针对集成大语言模型(LLM)的自主机器人系统进行威胁建模。背景方面,虽然已有研究分别关注机器人网络安全、对抗性感知攻击和LLM安全性,但尚未有工作将这些威胁类别在一个统一架构中追踪其相互作用与传播。作者通过将基于边缘-云架构的LLM赋能自主机器人建模为分层数据流图(DFD),并应用STRIDE-per-interaction分析,在六个跨边界交互点上使用三类威胁分类(传统网络威胁、对抗威胁、对话威胁)进行评估。分析发现这三类威胁在相同的边界交叉点汇聚,并追踪了三条从外部入口点到不安全物理驱动的跨边界攻击链,每条链揭示不同的架构缺陷:缺乏用户输入与致动器调度之间的独立语义验证、从视觉感知到语言模型指令的跨模态转换、以及通过提供方工具使用导致的未中介边界交叉。据作者所述,这是首个基于DFD的威胁分析,整合了LLM机器人系统全感知-规划-致动管道中的所有三类威胁。该研究适用于安全架构师、机器人系统开发者及LLM安全研究员,为设计安全边界和缓解措施提供系统化视角。

💡 推荐理由: 首次以统一数据流图模型分析LLM机器人系统中传统网络威胁、对抗攻击与对话安全的交互传播,揭示关键架构漏洞,对保障物理安全至关重要。

🎯 建议动作: 研究跟进:将威胁模型纳入机器人安全评估流程

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)

提出面向物联网设备的网络物理数据流图(CPDFD)威胁建模方法,支持硬件建模,实验表明能发现更多攻击场景。

💡 推荐理由: 现有IT威胁建模方法在物联网领域适用性有限,CPDFD专门针对IoT设备设计,可帮助制造商系统化识别物理与网络结合的攻击面,提升安全设计能力。

🎯 建议动作: 研究跟进

排序因子: Community 数据源 (+1) | LLM 评分加成 (+0.4)