#threat-modeling

共收录 23 条相关安全情报。

← 返回所有主题
👥 作者: Rahul Dev T Y, Hiran V Nath

该论文聚焦于 LLM 驱动的自主渗透测试代理(AI-powered pentesting agent)的安全性问题。这类代理与传统的对话式 LLM 存在本质差异:它们具备持久化记忆、可调用外部安全工具(扫描器、漏洞利用框架、后渗透工具等)、能够在真实环境中执行动作,并支持长周期(long-horizon)推理与多步规划。作者指出,正因为这些能力,代理可以自主完成侦察、漏洞识别、利用方案编排乃至后渗透操作,仅需极少人工监督,其安全风险也属"质变"级别——对话式 AI 的护栏机制(内容过滤、拒答、话题限制等)无法覆盖工具调用、记忆写入、跨会话持久化等新型攻击面。围绕这一问题,论文开展了一次系统性的安全分析:首先梳理若干具有代表性的自主渗透测试代理架构,刻画其组件构成与执行流程;其次明确各架构中的信任边界(trust boundaries)与攻击面(attack surfaces);随后提出一套与代理生命周期对齐的威胁分类体系(threat taxonomy),将威胁划分为 LLM 生命周期攻击、代理架构攻击以及横切性的行为攻击三大类;最后分析现有护栏机制在上述威胁面前的局限性,识别关键研究空白,并讨论未来的研究方向,即构建面向此类代理的、具备上下文感知与架构感知能力的专用护栏。论文整体属于威胁建模与研究议程性质的工作,其核心贡献是问题空间的结构化定义与分类框架,而非具体攻击实现或经验性评测数据。适合关注 LLM 代理安全、AI 红队工具治理、自动化渗透平台建设与合规评审的研究人员、安全架构师与 SOC 管理者阅读。

💡 推荐理由: 自主渗透测试代理正在被安全团队实际采用,但现有 LLM 护栏是为对话场景设计的,无法约束工具调用、持久记忆与长周期自主决策。论文给出的信任边界与威胁分类可作为评估、采购和加固此类代理的参考框架。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.6
Conf: 50%
👥 作者: Zahra Tarkhani, Georgios Akkogiounoglou, Lorena Qendro, Isabel Tscherniak, Anil Madhavapeddy

该论文聚焦于 AI 与脑机接口 (BCI) 融合后新出现的、此前缺乏系统研究的攻击面。随着 AI 被广泛嵌入以人为中心的系统,神经信号与物理执行设备之间形成了一条新的信任链:一端是采集到的脑电等神经生理信号,另一端是假肢、外骨骼、轮椅、神经刺激器等可被驱动的物理装置。作者指出,这一链路一旦被滥用,直接威胁认知自主权、精神隐私与人身安全,风险范围从神经数据外泄一直延伸到对 BCI 所连接设备的恶意操控。为把零散的个案研究上升为系统性分析,论文提出 NERVE Attacks 攻击分类学,用五个正交维度覆盖完整 BCI 技术栈:神经模仿式伪造 (Neuro-mimetic Forgery)、基于失同步的规避 (Evasion via Desynchronization)、重放式劫持 (Replay-based Hijacking)、静脉窃听/传感通路窃取 (Vein Tapping) 以及嵌入式后门 (Embedded Backdoors)。为对该分类进行实证评估,作者构建了 EEGle——一个 AI 辅助、可扩展的 BCI 安全分析框架,用于系统化地构造与验证神经域特有的安全问题。评估结果显示 17 个此前未被报道的神经特异性攻击实例,并揭示出 BCI 后门设计中独有的一条“隐蔽性—有效性”权衡谱系,说明在神经信号场景下,隐蔽性与攻击效果之间存在不同于传统软件后门的取舍关系。论文进一步指出,生成式 AI 显著降低了非专业攻击者的入门门槛,使原本需要神经科学与信号处理专业知识的操作变得更容易复现。作者将 EEGle 开放给社区,用于构建和验证这类高度个人化设备的安全性。整体而言,该工作属于面向 BCI 的威胁建模与安全评估方法论贡献,论文视角强调研究问题定义、分类学构建、可复用评估框架,以及为后续防御研究提供基准;适合 BCI/神经工程研发者、医疗设备安全团队、AI 安全与隐私研究人员,以及关注人机融合系统合规与伦理的从业者阅读。

💡 推荐理由: 脑机接口正从实验室走向医疗与消费场景,而神经信号到物理执行器的链路此前缺少系统性威胁模型。该论文提供的分类学与开源评估框架,可帮助蓝队在 BCI 产品设计早期识别神经域特有问题(伪造、失同步、重放、后门等),避免把传统 IT 安全思路直接套用到人身安全攸关的设备上。

🎯 建议动作: 研究跟进:阅读原文并将 NERVE 分类学与 EEGle 纳入内部 BCI/医疗设备安全评估清单。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Luca Turchet, Michał Kłosinski

本文面向音乐元宇宙(Musical Metaverse, MM)这一新兴领域,系统分析了其独特的安全与隐私威胁,并提出设计启示。MM是指用于实时协作音乐创作的沉浸式虚拟环境,具有超低延迟、连续多模态数据流、异构设备等特征,其安全与隐私问题显著不同于传统XR或多媒体系统。作者首先对MM生态系统进行了多层威胁建模,识别了关键资产,包括实时音乐内容、表达性交互数据、身份与会话元数据、知识产权等。威胁分析覆盖网络层、应用层、数据/AI层、设备层、知识产权层和社会层,特别关注表达性数据与神经生理数据带来的推断、重识别和隐私侵犯风险。随后,研究者开展了由来自13个组织的14名参与者的利益相关者调查,结果显示神经生理数据泄露和实时流中断被视为最高风险,其次是知识产权侵犯和虚拟化身冒用。针对实时音乐严苛的时延约束,论文评估了现有安全协议的适用性,发现TLS over TCP等常规方案往往难以满足实时交互需求,而面向流的轻量级机制(如SRTP、DTLS)能在安全与性能间取得更佳平衡。基于上述发现,作者提出了一套针对MM系统的设计指南,强调时延感知的安全、交互路径区分、数据最小化以及边缘中心处理。研究支持“安全设计”(security by design)路径,旨在不损害实时性能的前提下实现信任与合规。

💡 推荐理由: 音乐元宇宙融合实时交互与多模态传感,引入全新隐私攻击面,特别是神经生理数据泄露风险。现有安全协议难以适应超低延迟要求,安全从业者需理解这一特殊场景并调整威胁建模与防护策略,本文为此提供了系统性威胁分层和设计建议。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yuqiao Yang, Yongzhao Zhang, Wenhao Liu, Jun Li, Pengtao Shi, DingYu Zhong, Jie Yang 0003, Ting Chen 0002, Sheng Cao, Yuntao Ren, Yongyue Wu, Xiaosong Zhang 0001

随着现代汽车向智能网联化发展,其复杂性带来了严峻的网络安全风险。威胁分析与风险评估(TARA)已成为满足法规要求、管理这些风险的关键手段。然而,现有的TARA自动化方法大多依赖静态威胁库,难以支撑行业所需的函数级(function-level)精细分析。本文提出DefenseWeaver,这是首个利用组件特定细节和大语言模型(LLM)实现函数级TARA自动化的系统。DefenseWeaver基于扩展的OpenXSAM++格式描述系统配置,动态生成攻击树和风险评估结果,并采用多智能体框架协调多个专门化的LLM角色,以提升分析的鲁棒性。为适应不断演进的威胁和多样化标准,DefenseWeaver还引入了低秩自适应(LoRA)微调和检索增强生成(RAG)技术,结合专家编制的TARA报告。作者在四个汽车安全项目中部署验证了DefenseWeaver,识别出11条关键攻击路径,这些路径均通过渗透测试验证,并由相关汽车制造商和供应商上报及修复。此外,DefenseWeaver展现了跨领域适应性,成功应用于无人机(UAV)和海事导航系统。在与人类专家的对比中,DefenseWeaver在六个评估场景下均优于手动攻击树生成。该系统已集成到联合汽车电子(UAES)和小米等商业网络安全平台中,累计生成超过8200棵攻击树。这些结果证明了DefenseWeaver在缩短处理时间、提升可扩展性方面的能力,并为网络安全行业带来了变革性影响。

💡 推荐理由: 展示了LLM在威胁建模中的实际应用,自动化TARA可显著降低安全评估成本,尤其在汽车等合规严格的行业。函数级分析能更精准定位风险,值得安全工程师关注。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Badhon Rahman, Majid Haghparast, Tommi Mikkonen

该论文针对量子计算即服务(Quantum-as-a-Service, QaaS)平台(如 IBM Quantum、IonQ Cloud、Amazon Braket)的端到端威胁建模问题展开研究。随着云化量子计算日益普及,混合量子-经典算法(如 VQE、QAOA、QML)依赖于编排、编译、执行等多层管道进行数据传输,然而各阶段已被证实存在多种攻击向量,例如校准篡改(Calibration tampering)、SWAP 攻击、QubitHammer 等。由于这些攻击通常使用各自独立的术语体系,且现有的基于 STRIDE 的威胁模型缺乏面向 QaaS 整体架构的结构化视角,导致安全分析碎片化。本文提出将 QaaS 工作流分解为六个阶段,并应用 STRIDE 威胁模型对每个阶段进行系统化分析。作者构建了一个威胁矩阵,区分了量子特有(quantum-specific)、从经典系统继承(inherited classical)以及潜在(plausible)三类攻击向量,覆盖每个阶段。进一步地,论文深入探讨了以往未被充分研究的两个 STRIDE 类别——否认(repudiation)和权限提升(elevation-of-privilege),并提出了三条跨阶段、具有更高影响的攻击链。该研究的主要贡献在于提供了一种结构化的端到端威胁建模方法,帮助安全从业者从整体上理解 QaaS 管道的风险全貌,弥补了现有研究仅关注单点攻击的不足。适合云安全研究者、量子计算平台的安全工程师、以及对威胁建模感兴趣的蓝队成员阅读。由于仅基于摘要,无法验证实验细节,但方法本身具有较高的参考价值。

💡 推荐理由: 量子计算云服务正走向实用化,但其安全威胁模型尚不成熟。该论文提供的六阶段 STRIDE 建模方法,能帮助蓝队系统梳理 QaaS 管道中的攻击面,尤其弥补了对否认与权限提升环节的忽视,为评估量子平台风险提供了可落地的分析框架。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Nicolás E. Díaz Ferreyra, Manish Mahesh Kumar, Nohemí Villarreal, Pankaj Pantel, Immo Brueggemann, Riccardo Scandariato

该论文针对生成式人工智能(GenAI)日益融入软件系统的背景下,传统威胁建模方法(如STRIDE)在评估GenAI特有风险时显得不足的问题,开展了一项面向中小型企业(SME)的探索性评估研究。研究首先通过快速文献综述筛选出多种GenAI感知的威胁建模技术,然后从中选出三种方法,并将其系统性地应用于一个包含GenAI增强组件的工业案例研究。通过对比不同方法的分析结果,论文揭示了各技术在识别威胁类型上的显著差异,并指出现有方法对某些GenAI特有风险类别的覆盖有限,尤其是与软件供应链及以人为中心的安全问题相关的风险。此外,研究还收集了从业人员对这些方法在SME开发流程中的可用性和集成度的看法,包括感知到的努力程度、易用性以及采纳过程中遇到的挑战。该研究是首批在真实SME环境中评估GenAI威胁建模方法的实证工作之一,为后续方法改进和工具开发提供了实践依据,同时也为安全社区理解GenAI系统威胁建模的落地难点提供了第一手资料。适合软件工程、安全需求工程以及希望将人工智能安全融入开发流程的从业者和研究者阅读。

💡 推荐理由: 首次在SME真实场景系统评估GenAI威胁建模方法,指出STRIDE等传统方法覆盖不足,尤其供应链和人的因素,为安全团队选择或改进建模技术提供实证参考。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Cristian Leo, Anton Dykyi, Danny Cortegaca, Daniel Begimher, Prakash Jha

该论文提出 ThreatForest,一个面向云原生架构威胁建模的多智能体系统。传统威胁建模依赖人工分析源代码仓库,速度慢且需要稀缺的安全专家。ThreatForest 将威胁建模分解为多阶段智能体流水线,包括仓库分析、上下文精炼、威胁生成、并行攻击树构建(含 TTP 映射与缓解措施综合)以及报告生成。整个流程以有向图形式编排,包含确定性验证门、有限重试和三个人类参与验证点。系统可插拔地映射多种对抗框架(MITRE ATT&CK、CAPEC 及云特定威胁矩阵),并使用领域特定的句子转换器通过余弦相似度将攻击步骤映射到候选技术。实验表明,嵌入阶段是准确性的主要瓶颈,而非整个流水线。作者在七个应用领域上使用十六维评分标准进行评估,由独立 LLM 评分器加对抗验证和专家评审打分。威胁陈述、攻击树和缓解措施的质量得分在 0.63-0.68(0-1 标度),而仅嵌入的 TTP 映射得分仅 0.29,且该差距在七个领域稳定存在。对照实验表明,单次调用基线在同一模型上将映射可辩护性提高了一倍以上,从而将限制定位在嵌入编码器而非多智能体设计上。据作者所知,ThreatForest 是首个将代码仓库端到端转换为跨对抗框架的 TTP 映射攻击树并带证据缓解措施的系统,同时提供了可复用的基准框架。该论文适合安全自动化研究人员、威胁建模工具开发者及关注云安全左移的蓝队工程师阅读。

💡 推荐理由: ThreatForest 展示了用多智能体流水线自动化威胁建模的可行路径,并明确指出嵌入模型是当前精度瓶颈,对安全自动化领域的后续优化方向具有指导意义。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Muhammad Shujaat Mirza, Labeeba Begum, Liang Niu, Sarah Pardo, Azza Abouzied, Paolo Papotti, Christina Pöpper

该论文系统性地研究了虚假信息(disinformation)的战术、威胁与目标,并提出了一种建模方法用于分析和缓解虚假信息。作者首先梳理了虚假信息传播的常见战术,包括利用社交媒体机器人、伪造账户、协调性不真实行为(CIB)、人肉搜索(doxing)、虚假新闻、深度伪造(deepfakes)等,并针对每种战术分析了其背后的威胁模式(如影响公众舆论、操纵选举、破坏信任等)。论文核心贡献在于提出了一个多层建模框架,该框架结合了攻击图(attack graph)、行为分析和社会网络分析,能够从传播链、参与者意图、目标受众和心理影响等多个维度刻画虚假信息事件。实验部分基于多个真实世界案例(包括2016年美国大选干预、COVID-19疫情虚假信息等)进行了验证,结果显示该框架能有效识别虚假信息的关键传播节点和策略,并生成可操作的缓解建议。此外,论文还讨论了当前检测技术的局限性,如基于NLP的检测容易被对抗性样本绕过,以及跨平台协同检测的挑战。最后,作者提出了一种基于博弈论的防御策略优化方法,帮助平台和监管机构在资源有限的情况下优先应对高风险虚假信息。该研究为网络安全分析师、社会媒体平台以及政策制定者提供了系统性的视角来理解和对抗虚假信息。

💡 推荐理由: 虚假信息是当前最复杂的网络安全威胁之一,常与社交工程、影响力作战结合。该论文提供了系统化的威胁建模与缓解框架,可帮助蓝队和SOC理解并防御此新型攻击向量。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: James Diggans, Kevin Flyangolts, Rami Puzis

本文提出将网络安全领域的威胁建模方法系统地应用于现代生物安全领域。传统生物安全主要关注病原体本身,但随着合成生物学和基因编辑技术的发展,生物系统面临与信息系统类似的安全挑战。作者借鉴了成熟的网络安全威胁建模框架(如STRIDE、攻击树、纵深防御等),针对生物安全场景进行了适应性改造。核心贡献包括:1)构建了面向生物系统(如DNA合成、基因电路、细胞工厂)的威胁模型抽象层;2)定义了生物资产、威胁源、攻击面及风险缓解策略的映射关系;3)通过案例分析验证了模型在预测合成生物学攻击路径上的有效性。研究指出,生物网络安全应该从“防御特定病原体”转向“保障生物系统的完整性与可靠性”,从而形成跨学科的主动防御能力。本文适合生物安全研究人员、网络安全从业者及政策制定者阅读。

💡 推荐理由: 将网络安全威胁建模引入生物安全领域,为应对合成生物学等新兴风险提供了系统化分析框架,有助于提前识别攻击路径并设计缓解措施。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
INFO
PAPER 2026-07-13

GDM AI Control Roadmap

推荐 3.6
Conf: 50%
👥 作者: Mary Phuong, Erik Jenner, Laurent Simon, Lewis Ho, Rohin Shah, Sebastian Farquhar, Scott Coull

该论文由Google DeepMind团队撰写,首次提出了面向内部安全的AI控制路线图(v0.1),旨在应对可能不协调(misaligned)的AI智能体。随着AI智能体在研发、网络防御和科学发现中加速应用,传统的安全假设(AI始终对齐)不再可靠,需要构建多层次防御体系。论文的核心贡献包括三部分:首先,提出了一种保守的威胁建模方法,假设存在一个追求不良目标的假设性AI对手,并基于MITRE ATT&CK框架构建了TRAIT&R分类法,系统梳理了此类对手可能使用的战术和技术。其次,提出了基于能力的缓解措施,将防御手段与模型能力(如透明推理、复杂网络攻击执行能力)挂钩,随着模型能力增强,防御措施相应升级,定义了四个检测等级(D1-D4)和三个预防与响应等级(R1-R3)。最后,给出了15种具体、分级的防御措施,从针对当前模型的低成本方案(如思维链监控、异步告警)到针对未来模型的先进防护(如实时访问控制、系统级异常检测、内部激活监控和关闭基础设施)。论文指出,AI控制是一个新兴领域,实施这些措施需要在安全性和开发速度之间权衡,路线图将随经验积累和领域发展而演进。该文适合AI安全研究人员、安全架构师及前沿AI公司的安全团队阅读。

💡 推荐理由: 首次系统化提出面向内部AI对手的防御框架,为前沿AI公司构建纵深防御提供了可操作蓝图,对AI安全治理具有里程碑意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
👥 作者: Benjamin Arp, Felix Schwickerath, Alexander Vogt, Tom Hüller, Nils Niehues, Nicolas Boltz

论文提出了 xDECAF,一个可扩展的数据流图(DFD)分析框架,专注于信息安全领域的架构级分析。该框架扩展了传统 DFD 元模型,引入了带标签的节点和边,以支持更丰富的安全属性标注;同时提供了一种领域特定约束语言,支持不同的流操作,允许分析师定义数据流相关的安全约束(如未经授权的数据流向、敏感数据驻留位置等)。框架包含一个基于浏览器的编辑器,后端集成分析引擎,能够自动检查模型是否符合定义的约束,并报告违规。作者还发布了包含超过 20 个示例模型的数据集,每个模型都附带文档化的约束和预期违规,可作为可复用的基准测试集。xDECAF 已被多个独立研究项目采用,证明了其实用性。工具、数据集和在线编辑器均公开可用。该研究面向安全架构师、软件设计师和安全研究人员,帮助他们系统地发现设计阶段的数据流安全隐患。

💡 推荐理由: xDECAF 提供了系统化的数据流安全分析能力,弥补了安全设计审查中工具化约束检查的缺失;其公开的数据集可促进该领域的基准研究。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Stefan Beyer

现代组织越来越多地采用分布式、云优先和去中心化的架构,这打破了传统威胁建模方法(如STRIDE、PASTA、Trike、OCTAVE、LINDDUN、攻击树和MITRE ATT&CK)所依赖的三个基本假设:明确的安全边界、单一的所有者组织以及技术与操作风险的清晰分离。在这些新场景中,主要的安全威胁不再是外部攻击者,而是授权但恶意的内部人员、名义上独立方之间的合谋、控制平面和CI/CD的入侵,以及高价值操作的误操作。现有的威胁建模方法很大程度上忽略了这些威胁。本文提出了TRACE(Threat modelling for distRibuted, cloud-first, And dECEntralised organisations)方法,将威胁行为者、角色、资产、关键不变量以及信任/权威边作为一等公民,并通过证据关联,跨越协议、系统和组织三个层次进行建模。TRACE包含核心模型、三个应用支柱、一个顺序化的门控工作流,以及一个支持人机协作的证据与可追溯性规范,其中语言模型加速覆盖,而高级审查者保留对不变量、严重性和合谋的判断。TRACE方法源于Web3安全实践,但与具体技术栈无关。本文还讨论了它与零信任架构和可问责拜占庭共识的关系、局限性以及实证验证的开放问题。该论文对安全从业者理解现代分布式系统的威胁建模有重要参考价值。

💡 推荐理由: TRACE填补了传统威胁建模方法在分布式、云优先和去中心化组织场景下的空白,关注内部威胁和合谋攻击,对安全架构师和威胁建模者具有指导意义。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 8.5
Conf: 50%
👥 作者: Manoj Parmar

该论文对神经符号AI(NeSy)的安全、安保与认知风险进行了系统性研究。神经符号AI融合了神经感知与符号推理,适用于需要可解释性和结构化推理的高风险领域(如医疗诊断、自动驾驶)。然而,这种混合架构引入了扩大的攻击面,涵盖五个层次:神经感知层、符号知识库层、推理引擎层、智能体编排层和数据存储层,每个层次都存在纯神经系统中不存在的可利用漏洞。论文做出了六项贡献:(1) 形式化定义了NeSy攻击面、符号完整性违背(SIV)和跨层放大比X,并将其分解为神经引起的和自主符号敏感性两部分;(2) 提出了统一威胁模型,扩展了MITRE ATLAS,增加了11个NeSy特有的策略扩展和五类攻击者画像;(3) 构建了符号层威胁目录,涵盖知识图谱投毒、本体合并攻击和推理引擎颠覆;(4) 分析了认知风险——自动化偏差、权威偏差和谄媚强化——这些风险因NeSy的显式逻辑解释相对于黑箱神经输出而被结构性放大;(5) 提出了跨学科缓解措施,并给出了与NIST AI 600-1和欧盟AI法案一致的可衡量验收标准;(6) 进行了三项实证基准测试:(E1) 在包含205个实体的医学知识图谱上,针对性知识图谱投毒在注入预算B=5时达到SIV盈亏平衡点,存在隐蔽性与SIV之间的权衡;(E2) 在DistilBERT+ProbLog流水线上,PGD-10在ε=0.01时产生X=5.884(95%置信区间[4.64, 8.00], p<0.0001),并通过匹配随机基线(E^R_rand=0)确认为对抗性特定;(E3) 单公理OWL编辑实现93.3%的SIV成功率,且100%保持Pellet一致性隐蔽,但基于STIX的检测在50%水平(随机猜测)失败,这是一个开放问题。该研究为NeSy系统的安全分析提供了理论基础和实验基准,适合AI安全研究员、系统设计者和监管机构阅读。

💡 推荐理由: 神经符号AI在医疗、自动驾驶等高风险场景应用日益增多,但此前缺乏对其独特攻击面和认知风险的系统化研究。本文首次量化了跨层放大效应并提出了统一威胁模型,对防御者识别和缓解NeSy系统的安全漏洞具有重要指导意义。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ahmed Mohammed Almalki, Mehedi Masud

该论文对长期任务型自主AI系统的安全挑战进行了结构化分析。研究首先系统梳理了当前此类系统面临的主要威胁,包括提示注入、对抗性攻击、工具滥用、记忆污染及长期任务中的攻击传播等。接着,论文评估了现有的安全评估方法,指出它们在覆盖度和深度上的不足。核心贡献在于提出了一套全面的安全威胁分类法(Taxonomy),将威胁按攻击面、攻击阶段和影响类型进行层次化归类;同时设计了一个分析攻击传播的框架(Framework for Analyzing Attack Propagation),用于建模恶意输入如何通过代理的长期决策链逐步扩散并最终导致有害输出。论文还讨论了现有安全框架的局限性,并为未来研究方向给出了建议,例如开发动态防御机制和可证明的安全保证。本工作旨在为自主AI系统的安全研究者提供理论基线和分析工具,帮助设计更鲁棒的安全防护方案。

💡 推荐理由: 随着长期任务型AI代理在自动化、机器人、个人助理等场景的广泛应用,其安全风险日益突出。本文首次系统化整理了该领域的威胁分类和攻击传播模型,为后续防御研究提供了理论框架。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 9.5
Conf: 50%
👥 作者: Stef Verreydt, Koen Yskout, Laurens Sion, Wouter Joosen

本研究调查了荷兰组织在威胁建模实践中的现状。通过案例研究和问卷调查,作者收集了来自不同行业(如金融、政府、医疗)的安全从业者的反馈。研究发现,虽然威胁建模被认为是安全设计的关键活动,但实际采用率较低,主要障碍包括缺乏时间、专业知识不足、工具支持有限以及难以融入现有开发流程。组织普遍采用非正式方法,如白板讨论或头脑风暴,而结构化方法(如STRIDE、PASTA)使用较少。研究还揭示了威胁建模文档通常未被及时更新,且与风险管理过程脱节。主要贡献包括:提供了威胁建模实践现状的实证数据,识别了常见挑战,并为改进工具和流程提出了建议。适合安全架构师、风险管理者和DevSecOps团队阅读,以了解威胁建模在现实中的落实现状。

💡 推荐理由: 揭示了威胁建模在实践中的实际采纳障碍,为安全团队改进流程、选择工具和制定培训计划提供了实证依据。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Mohammadreza Hallajiyan, Xueren Ge, Athish Pranav Dharmalingam, Gargi Mitra, Shahrear Iqbal, Homa Alemzadeh, Karthik Pattabiraman

本论文提出了一种名为SAMD的自动化工具,用于在AI/ML赋能的医疗设备设计阶段进行安全分析。随着AI/ML在医疗系统中的广泛应用,安全风险日益突出,尤其是对手通过脆弱组件注入虚假数据导致误诊或错误治疗的风险。这些风险在设计阶段难以预见,因为系统组装部分发生在最终用户实际使用过程中。SAMD基于系统理论过程分析安全(STPA-Sec)方法,将医疗系统建模为控制结构,将所有组件视为向ML引擎注入虚假数据的潜在点。它利用最新的漏洞数据库和大语言模型(LLM)来自动化漏洞发现,并生成潜在攻击场景列表。作者通过五个FDA批准的医疗设备案例研究验证了SAMD的有效性,结果显示:在识别目标设备技术方面精确率达100%;检索相关已知漏洞的精确率为63.2%;生成高度相关的ML模型攻击场景(包含对手可能采取的详细步骤)准确率达95.3%,且最长运行时间为191.64秒。该工具旨在帮助医疗设备制造商在设计阶段提前识别和缓解安全威胁。

💡 推荐理由: 医疗设备安全直接关系患者生命安全,AI/ML引入的新攻击面需要系统性分析工具。SAMD填补了设计阶段自动化威胁建模的空白,可帮助安全团队提前发现数据注入场景。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Oleksandr Adamov, Davide Fucci, Felix Viktor Jedrzejewski, Ricardo Britto, Nishrith Saini

本文研究如何验证威胁建模结果的有效性。传统的验证方法通常依赖专家产生的参考模型或人工基线,但这些方法可能存在遗漏或意见不一致的问题。作者提出一种基于易受攻击的测试应用(vulnerable test applications)的互补验证方法:对已知存在特定漏洞集的系统进行威胁建模,然后测量发现了多少相关漏洞,从而量化威胁模型的覆盖度。作者将团队开发的 LLM 辅助威胁建模工具 ThreMoLIA 与微软威胁建模工具(MTMT)进行对比,在两个易受攻击的应用——AzureGoat 和 Vulnerable Bank Application(VulnBank)上进行了实验。输入仅限于架构图、数据流图及其描述。结果显示,ThreMoLIA 在两个系统上均实现了更高的漏洞覆盖率。研究表明,易受攻击的测试应用可以作为评估威胁覆盖度的实用基准,并补充基于专家的验证方法。

💡 推荐理由: 威胁建模结果的验证长期缺乏客观基准,本文提出的基于已知漏洞应用的评估方法为工具比较和模型改进提供了可重复的量化手段。

🎯 建议动作: 研究跟进,考虑将类似基准测试纳入内部威胁建模工具评估流程。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Tsafac Nkombong Regine Cyrille, Franziska Schwarz

本文提出STRIDE-AI框架,旨在解决传统网络安全方法论在应对生成式AI系统概率性质时的不足。研究背景指出,现有安全标准(如NIST AI RMF)和漏洞分类(如OWASP LLM Top 10)之间存在鸿沟,且多数部署AI的组织缺乏专用安全策略,对抗攻击每年快速增长。STRIDE-AI框架通过以下核心贡献弥合这一差距:首先,定义了一个六阶段评估生命周期,覆盖从资产识别到持续监控的完整流程;其次,将经典STRIDE威胁建模方法适配于AI系统,针对模型反转、数据投毒、提示注入等攻击向量进行威胁识别;最后,通过一个专用Web工具实现框架的自动化操作。为初步验证有效性,作者对一个已部署的LLM聊天机器人进行了黑盒评估,在沙盒案例研究中将攻击成功率从80%降低至15%。该框架主要面向AI安全工程师、风险管理人员及研究社区,提供了一种系统化的生成式AI安全评估方法。

💡 推荐理由: 为生成式AI提供正统威胁建模框架,填补了高层风险管理标准与技术漏洞分类之间的空白,有助于组织系统化防御AI对抗攻击。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Saba Pourhanifeh, AbdulAziz AbdulGhaffar, Ashraf Matrawy

本论文对领域自适应语言模型在结构化威胁建模任务中的有效性进行了系统性的实证评估。研究聚焦于5G安全场景,采用STRIDE威胁分类方法,共使用52种不同配置(涵盖8种语言模型)进行实验。核心变量包括:1)领域自适应(电信与网络安全领域)与否、2)模型规模(大语言模型LLM与小语言模型SLM)、3)解码策略(贪婪解码与随机采样)、4)提示工程技术。结果表明:领域自适应模型并不一致优于通用模型,解码策略对模型输出和行为影响显著;虽然大模型通常表现更好,但提升并不稳定,且远未达到可靠威胁建模的要求。研究还报告了无效输出的类型与频率,并提出了针对STRIDE威胁建模的提示工程建议。论文揭示了当前LLM在结构化威胁建模任务中的根本局限,强调仅靠增加训练数据或模型缩放无法解决,需要更强的任务特定推理与安全概念基础。

💡 推荐理由: 该研究为安全分析师使用LLM进行威胁建模提供了重要实证证据,指出领域自适应和模型规模并非万能,解码策略等细节对结果影响巨大。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Tim Van hamme, Thomas Vissers, Javier Carnerero-Cano, Mario Fritz, Emil C. Lupu, Lieven Desmet, Dinil Mon Divakaran

随着大型语言模型(LLM)被部署为具备访问工具、数据库和外部服务能力的自主智能体(Agent),不同行业从业者缺乏系统的方法来评估已知威胁类别如何在特定智能体部署中转化为具体风险。本文提出MATRA,一个针对智能体AI系统的实用威胁建模框架。该框架借鉴了既有的风险评估方法,并进行了调整,以系统性地评估已知的LLM威胁如何转化为部署特定的风险。MATRA首先进行基于资产的影影响评估,利用攻击树来确定这些影响在系统架构中发生的可能性。我们通过个人AI智能体部署案例来演示MATRA,该案例使用OpenClaw平台,量化了网络沙箱和最小权限访问等架构控制如何通过限制成功注入的爆炸半径来降低风险。实验结果表明,该框架能够有效评估和缓解智能体AI系统中的安全威胁,为从业者提供了结构化的方法。本文的主要贡献包括:提出了第一个针对智能体AI系统的系统性威胁建模框架;在真实系统中验证了框架的有效性;量化了架构控制措施对风险降低的效果。适用于AI安全研究人员、系统架构师和安全工程师。

💡 推荐理由: 智能体AI系统面临独特的攻击面,但缺乏系统化的威胁评估方法。MATRA提供了实用框架,帮助安全团队在部署前识别并量化风险,具有直接实践价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: XiangFan Wu, Lingyun Ying, Guoqiang Chen, Yacong Gu, Haipeng Qu

本文首次系统性地研究了大型语言模型(LLM)服务框架中缓存机制引发的安全威胁。随着LLM在生产环境中的广泛部署,服务框架(如vLLM、TGI等)广泛采用缓存技术(如键值缓存、前缀缓存)以降低推理延迟和成本。然而,这些缓存设计引入了新的攻击面。作者识别并分类了六种缓存相关威胁:缓存中毒(通过污染缓存数据导致恶意输出)、缓存窃取(通过侧信道推断其他用户的提示/响应)、缓存放大(利用缓存机制发起拒绝服务攻击)、缓存不一致(利用多租户环境下的缓存状态同步问题)、缓存数据泄露(缓存未清理导致敏感信息暴露)以及缓存旁路(绕过缓存验证直接操作底层存储)。通过分析主流LLM服务框架的缓存实现,作者构建了威胁模型并展示了实际攻击的原型验证。实验表明,攻击者可以在低权限条件下(如仅具备API访问权限)实施上述威胁,影响模型输出的完整性、机密性和可用性。论文提出了相应的防御策略,包括缓存隔离、访问控制、数据完整性校验以及缓存状态的严格刷新策略。研究强调了在LLM服务设计中安全与性能的平衡需求,为框架开发者和部署者提供了安全指南。

💡 推荐理由: 首次系统性地揭示LLM服务框架中缓存机制的安全威胁,填补了该领域的研究空白。对于使用缓存优化性能的LLM服务,这些攻击直接影响模型输出的安全性和用户隐私。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Neha Nagaraja, Hayretdin Bahsi, Carlo R. da Cunha

该论文针对集成大语言模型(LLM)的自主机器人系统进行威胁建模。背景方面,虽然已有研究分别关注机器人网络安全、对抗性感知攻击和LLM安全性,但尚未有工作将这些威胁类别在一个统一架构中追踪其相互作用与传播。作者通过将基于边缘-云架构的LLM赋能自主机器人建模为分层数据流图(DFD),并应用STRIDE-per-interaction分析,在六个跨边界交互点上使用三类威胁分类(传统网络威胁、对抗威胁、对话威胁)进行评估。分析发现这三类威胁在相同的边界交叉点汇聚,并追踪了三条从外部入口点到不安全物理驱动的跨边界攻击链,每条链揭示不同的架构缺陷:缺乏用户输入与致动器调度之间的独立语义验证、从视觉感知到语言模型指令的跨模态转换、以及通过提供方工具使用导致的未中介边界交叉。据作者所述,这是首个基于DFD的威胁分析,整合了LLM机器人系统全感知-规划-致动管道中的所有三类威胁。该研究适用于安全架构师、机器人系统开发者及LLM安全研究员,为设计安全边界和缓解措施提供系统化视角。

💡 推荐理由: 首次以统一数据流图模型分析LLM机器人系统中传统网络威胁、对抗攻击与对话安全的交互传播,揭示关键架构漏洞,对保障物理安全至关重要。

🎯 建议动作: 研究跟进:将威胁模型纳入机器人安全评估流程

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)

提出面向物联网设备的网络物理数据流图(CPDFD)威胁建模方法,支持硬件建模,实验表明能发现更多攻击场景。

💡 推荐理由: 现有IT威胁建模方法在物联网领域适用性有限,CPDFD专门针对IoT设备设计,可帮助制造商系统化识别物理与网络结合的攻击面,提升安全设计能力。

🎯 建议动作: 研究跟进

排序因子: Community 数据源 (+1) | LLM 评分加成 (+0.4)