Beware EviLLM: Enabling Vulnerability Injection via Large Language Models
该论文研究了 AI 辅助代码生成(LLM 根据自然语言需求生成代码)场景下的一种新型供应链攻击面,作者将其命名为 EviLLM 攻击。此前相关研究多集中在两类不太现实的威胁模型:一是良性场景,即漏洞是 LLM 无意中引入的;二是非常规威胁模
共收录 24 条相关情报。
← 返回所有主题该论文研究了 AI 辅助代码生成(LLM 根据自然语言需求生成代码)场景下的一种新型供应链攻击面,作者将其命名为 EviLLM 攻击。此前相关研究多集中在两类不太现实的威胁模型:一是良性场景,即漏洞是 LLM 无意中引入的;二是非常规威胁模
该论文关注的是由大语言模型驱动的自主渗透测试智能体(AI-powered penetration testing agents)所引入的新型安全风险。作者指出,这类智能体与传统的对话式 LLM 系统存在本质差异:它们具备持久化记忆、能够在真
该论文聚焦于 AI 与脑机接口 (BCI) 融合后新出现的、此前缺乏系统研究的攻击面。随着 AI 被广泛嵌入以人为中心的系统,神经信号与物理执行设备之间形成了一条新的信任链:一端是采集到的脑电等神经生理信号,另一端是假肢、外骨骼、轮椅、神经
本文面向音乐元宇宙(Musical Metaverse, MM)这一新兴领域,系统分析了其独特的安全与隐私威胁,并提出设计启示。MM是指用于实时协作音乐创作的沉浸式虚拟环境,具有超低延迟、连续多模态数据流、异构设备等特征,其安全与隐私问题显
随着现代汽车向智能网联化发展,其复杂性带来了严峻的网络安全风险。威胁分析与风险评估(TARA)已成为满足法规要求、管理这些风险的关键手段。然而,现有的TARA自动化方法大多依赖静态威胁库,难以支撑行业所需的函数级(function-leve
该论文针对量子计算即服务(Quantum-as-a-Service, QaaS)平台(如 IBM Quantum、IonQ Cloud、Amazon Braket)的端到端威胁建模问题展开研究。随着云化量子计算日益普及,混合量子-经典算法(
该论文针对生成式人工智能(GenAI)日益融入软件系统的背景下,传统威胁建模方法(如STRIDE)在评估GenAI特有风险时显得不足的问题,开展了一项面向中小型企业(SME)的探索性评估研究。研究首先通过快速文献综述筛选出多种GenAI感知
该论文提出 ThreatForest,一个面向云原生架构威胁建模的多智能体系统。传统威胁建模依赖人工分析源代码仓库,速度慢且需要稀缺的安全专家。ThreatForest 将威胁建模分解为多阶段智能体流水线,包括仓库分析、上下文精炼、威胁生成
该论文系统性地研究了虚假信息(disinformation)的战术、威胁与目标,并提出了一种建模方法用于分析和缓解虚假信息。作者首先梳理了虚假信息传播的常见战术,包括利用社交媒体机器人、伪造账户、协调性不真实行为(CIB)、人肉搜索(dox
本文提出将网络安全领域的威胁建模方法系统地应用于现代生物安全领域。传统生物安全主要关注病原体本身,但随着合成生物学和基因编辑技术的发展,生物系统面临与信息系统类似的安全挑战。作者借鉴了成熟的网络安全威胁建模框架(如STRIDE、攻击树、纵深
该论文由Google DeepMind团队撰写,首次提出了面向内部安全的AI控制路线图(v0.1),旨在应对可能不协调(misaligned)的AI智能体。随着AI智能体在研发、网络防御和科学发现中加速应用,传统的安全假设(AI始终对齐)不
论文提出了 xDECAF,一个可扩展的数据流图(DFD)分析框架,专注于信息安全领域的架构级分析。该框架扩展了传统 DFD 元模型,引入了带标签的节点和边,以支持更丰富的安全属性标注;同时提供了一种领域特定约束语言,支持不同的流操作,允许分
现代组织越来越多地采用分布式、云优先和去中心化的架构,这打破了传统威胁建模方法(如STRIDE、PASTA、Trike、OCTAVE、LINDDUN、攻击树和MITRE ATT&CK)所依赖的三个基本假设:明确的安全边界、单一的所有者组织以
该论文对神经符号AI(NeSy)的安全、安保与认知风险进行了系统性研究。神经符号AI融合了神经感知与符号推理,适用于需要可解释性和结构化推理的高风险领域(如医疗诊断、自动驾驶)。然而,这种混合架构引入了扩大的攻击面,涵盖五个层次:神经感知层
该论文对长期任务型自主AI系统的安全挑战进行了结构化分析。研究首先系统梳理了当前此类系统面临的主要威胁,包括提示注入、对抗性攻击、工具滥用、记忆污染及长期任务中的攻击传播等。接着,论文评估了现有的安全评估方法,指出它们在覆盖度和深度上的不足
本研究调查了荷兰组织在威胁建模实践中的现状。通过案例研究和问卷调查,作者收集了来自不同行业(如金融、政府、医疗)的安全从业者的反馈。研究发现,虽然威胁建模被认为是安全设计的关键活动,但实际采用率较低,主要障碍包括缺乏时间、专业知识不足、工具
本论文提出了一种名为SAMD的自动化工具,用于在AI/ML赋能的医疗设备设计阶段进行安全分析。随着AI/ML在医疗系统中的广泛应用,安全风险日益突出,尤其是对手通过脆弱组件注入虚假数据导致误诊或错误治疗的风险。这些风险在设计阶段难以预见,因
本文研究如何验证威胁建模结果的有效性。传统的验证方法通常依赖专家产生的参考模型或人工基线,但这些方法可能存在遗漏或意见不一致的问题。作者提出一种基于易受攻击的测试应用(vulnerable test applications)的互补验证方法
本文提出STRIDE-AI框架,旨在解决传统网络安全方法论在应对生成式AI系统概率性质时的不足。研究背景指出,现有安全标准(如NIST AI RMF)和漏洞分类(如OWASP LLM Top 10)之间存在鸿沟,且多数部署AI的组织缺乏专用
本论文对领域自适应语言模型在结构化威胁建模任务中的有效性进行了系统性的实证评估。研究聚焦于5G安全场景,采用STRIDE威胁分类方法,共使用52种不同配置(涵盖8种语言模型)进行实验。核心变量包括:1)领域自适应(电信与网络安全领域)与否、