#threat-model

共收录 10 条相关安全情报。

← 返回所有主题
👥 作者: Aditya Mitra, Kolluru Sai Abhiram, Sibi Chakkaravarthy Sethuraman, Anitha S

本文对 FIDO2/WebAuthn 威胁模型进行了批判性重新评估。FIDO2 作为抗钓鱼认证方案已被广泛部署,其安全性通常被认为由设计保证,只要密码学实现正确。然而,作者指出在现实部署条件下,若干常见的安全假设并不成立。他们将威胁模型扩展到密码学层之外,系统分析了横跨 FIDO2 协议栈的八类攻击向量:恶意浏览器扩展、平台处理器恶意软件、被动嗅探、虚拟设备驱动、CTAP2 特定恶意软件、USB/硬件植入、恶意 USB 集线器/扩展坞/延长线,以及 NFC 中继攻击。分析表明,FIDO2 依赖的环境假设在实际中可能失效。作者演示了如何利用 AAGUID 和时间信息进行用户画像与定向攻击,并说明即使底层密码学原语未被攻破,浏览器、操作系统或硬件的沦陷也会破坏 FIDO2 的安全性。进一步,跨多层的攻击链可以绕过 FIDO2 预期的安全保证。这些发现表明 FIDO2 部署中的主要弱点往往不是密码学层,而是其周围的可信环境。作者还探讨了这些攻击如何通过针对 FIDO 元数据服务(MDS3)来破坏设备证明——MDS3 是认证器元数据的信任根。最后,他们根据权限、技能和资源需求对攻击进行了分类。结论是,有效的 FIDO2 安全需要涵盖浏览器、操作系统、硬件、协议栈和元数据基础设施的分层缓解措施。该研究适合安全架构师、认证协议开发者及部署 FIDO2 的企业组织阅读,以重新审视其信任边界与防护策略。

💡 推荐理由: FIDO2 被普遍认为是抗钓鱼认证的黄金标准,但本文揭示了其安全边界依赖于浏览器、OS、硬件等多层环境的可信性。安全团队不能仅依赖密码学正确性,必须补齐围绕 FIDO2 的生态防护,否则现实攻击仍可能绕过。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Panduranga Sai Varma Dantuluri, Jyotirmoy Sundi

本文针对多智能体大语言模型(LLM)系统中的授权与运行时治理问题展开研究。作者指出,自主 LLM 智能体日益代表用户持有凭证、调用工具与服务,并能派生子智能体进一步行动,这使得分布式系统中经典的“谁被授权做什么、依据谁的授权”问题变得紧迫且基本未解决,因为驱动每个智能体的组件是可被对手劫持的语言模型。作者提出“不可信模型假设”:一个安全的系统应当保证,即使智能体被完全提示注入,也无法超越被显式授予的权限。基于该标准,论文有三项贡献:第一,构建了针对多智能体委托的威胁模型,聚焦四种对手——混乱的代理、令牌窃取与重放、提示注入特权提升、失陷子智能体,并推导出受治理智能体系统必须满足的八项安全要求;第二,通过实验证明现实差距:模拟常见实践的默认智能体运行时(广泛承载凭证、模型内部授权)在全部四种威胁下均失效;在 LangGraph、CrewAI、AutoGen 和模型上下文协议(MCP)授权模型这四个广泛使用的框架中,三个没有内置隔离机制,一个仅部分满足;现有标准单独均无法覆盖全部要求;第三,作者实现并对抗性评估了一个授权代理(authorization broker),它能阻断全部四种威胁:抵抗了对其设计的 11 次直接攻击,拒绝了 200,000 个伪造令牌中的全部;在 2,000 个随机场景中,能将失陷子智能体限制在其被委托的任务上(平均仅可触达 1.5 个操作,而承载委托可达 8,100 个);并以微秒级开销强制执行(每个决策约 2.6 微秒),相比模型推理时间可忽略。这些原则已在 VotalAI 的 LLM Shield 产品中实现。论文面向 LLM 安全、多智能体系统设计者和安全架构师,提供了从威胁建模到实际防御的完整方案。

💡 推荐理由: 明确了 LLM 智能体委托场景中的安全边界,提出“不可信模型”标准,揭示了主流框架(LangGraph、CrewAI、AutoGen、MCP)缺乏内置隔离的严重问题,对设计安全的自主智能体系统具有直接指导意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Kathrin Grosse, Lukas Bieringer, Tarek R. Besold, Alexandre Alahi

本文针对人工智能安全研究中威胁模型与工业实践脱节的问题进行了系统性分析。作者指出,近年来学术研究关注的 AI 安全威胁往往不能反映实际部署场景,例如模型在真实环境中通常不是孤立运行的,而是作为更大机器学习流水线的一部分;同时,学术攻击所依赖的对抗扰动条件在实际中难以满足。为量化这一差距,作者回顾了 AI 安全研究中最常被研究的六类攻击(如对抗样本、数据投毒、模型窃取等)的威胁模型,并通过一项包含 271 名工业从业者的问卷调查,将这些威胁模型与实际的 AI 使用情况进行匹配。研究主要发现:第一,现有威胁模型均可在现实场景中找到对应实例,并非完全脱离实际;第二,研究设定与工业实践之间存在显著错配——学术研究常常赋予攻击者过多能力,例如假设攻击者能够访问到真实环境中很少能获取的信息或控制权限。通过揭示这些差距,本文呼吁 AI 安全社区应转向更贴近实际部署条件的威胁模型,以提升研究的实用性和可迁移性。该论文适合 AI 安全研究人员、工业界安全工程师以及制定 AI 安全标准的从业者阅读,有助于重新审视研究优先级,并推动更具现实意义的攻防研究。

💡 推荐理由: 本文首次通过大规模工业调研量化了 AI 安全学术研究与实际场景的差距,为蓝队和安全评估者提供了调整威胁建模优先级的参考依据,避免过度关注不切实际的攻击场景。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 9.4
Conf: 50%
👥 作者: Naor Dalal, Yossi Oren, Jacob Moran-Gilad, Rami Puzis

该论文研究了自动化PCR(聚合酶链反应)过程中面临的安全威胁,并提出了相应的缓解措施。自动化PCR在生物医学研究中日益重要,但其自动化特性也引入了新的攻击面,如设备操控、数据篡改或程序干扰。论文可能分析了攻击向量,并设计了防护框架或安全协议。实验或案例分析展示了所提措施的有效性,有助于保障生物实验的可靠性和安全性。

💡 推荐理由: 自动化PCR是生物医学关键基础设施,安全漏洞可能导致实验失败或数据污染,对生物安全构成威胁。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.4)
推荐 5.5
Conf: 50%
👥 作者: Lena Libon, Pura Peetathawatchai, Michael Aerni, Daniel Paleka, Florian Tramèr

本文针对黑盒大语言模型(LLM)的蒸馏攻击防御问题展开研究。蒸馏攻击指攻击者通过查询API接口获取教师模型输出,并训练学生模型来复制其能力。近期研究提出输出扰动防御方法,通过修改教师模型输出降低学生模型性能,同时保持对合法用户的可用性。然而,作为较新的防御家族,输出扰动防御缺乏统一的威胁模型,导致难以比较不同方法、评估其与其他攻击的组合效果,或验证其对真实世界攻击者的鲁棒性。这种威胁模型不完备会带来安全隐患:当防御被用于保护知识产权或满足监管合规要求时,模糊的威胁模型可能造成虚假的安全感。作者提出一个三维威胁模型框架,将攻击者能力描述为:查询预算(API调用次数)、数据预算(训练学生模型的数据量)以及接口配置文件(攻击者与API的交互方式)。以anti-distillation采样为案例,作者展示防御是否有效取决于假定的威胁模型。论文主张,未来的蒸馏防御研究以及基于其构建的治理或政策框架,应明确指定并压力测试攻击者在三个维度上的能力。

💡 推荐理由: 该研究揭示了当前蒸馏防御评估中威胁模型不统一的关键问题,为安全从业者提供了评估防御有效性的系统框架,避免因模糊假设导致虚假安全感。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Inderjeet Singh, Haitham Mahmoud, Andrés Murillo

本文提出了一个针对AI沙箱的威胁模型、分类法和测量框架。随着AI系统越来越多地在受限环境中进行评估(结合隔离、仿真、检测、监督和证据捕获),尤其是物理AI、AIoT和网络物理系统,测试环境的可信度和安全性变得至关重要。作者首先形式化了沙箱边界的概念,并定义了将各维度证据组合成有界部署声明的最弱链规则。接着,他们区分了主要的沙箱原型(如数字AI沙箱、具身自主沙箱和网络物理沙箱)。在此基础上,提出了一个涵盖物理过程和网络设备的网络物理威胁模型,该模型不仅考虑对被测系统的攻击,还考虑对保证装置本身的攻击(例如操纵传感器数据、干扰通信链路或欺骗监督机制)。最后,引入了一个测量框架,包括保真度、可控性、可观察性、隔离性、可重复性和治理工件等维度,并通过三个真实沙箱的案例研究进行了实例化。该框架帮助从业者理解沙箱能够有效测试什么、可以控制哪些风险以及能支持哪些形式的安全、安保和监管保证证据。本文的主要贡献在于为AI沙箱的安全评估提供了系统化的理论基础和实践指导,适合AI安全工程师、测试验证团队及监管机构阅读。

💡 推荐理由: AI沙箱是评估AI系统安全性和可靠性的关键手段,但沙箱本身可能成为攻击目标。本文首次系统化地分析了沙箱的威胁模型和测量方法,帮助蓝队和安全工程师构建可信的测试环境,确保评估结果不被篡改或欺骗。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Joel Samper, Bernardo Ferreira

本文是一篇系统化知识综述(SoK),针对移动应用中用户自拍裸照(self-generated nudes)分享行为的安全、隐私与问责问题展开研究。作者首先通过系统文献综述,从10,026篇搜索结果及交叉引用中筛选出相关学术论文,同时调查了主流操作系统功能及52款约会、社交、即时通讯应用中的实际解决方案。在此基础上,本文提出了一个针对“安全色聊(safer sexting)”的威胁模型,涵盖了攻击者类型、隐私泄露、未授权传播等风险。根据威胁模型,作者将所有技术辅助方案/功能划分为多个类别,如:裸照检测(检测是否包含裸体内容)、模糊化处理、可撤销发送、到期自动销毁、水印追踪、同意验证、举报机制等。文章指出,没有任何单一方案能应对所有威胁,不同方案在不同维度上提升安全性。本文还总结了现有方案的不足,例如:检测准确性问题、隐私保护与功能可用性的权衡、以及滥用/规避风险。最后,作者提出了未来研究方向的建议,包括更细粒度的威胁模型、跨平台互操作性、用户隐私与安全增强的平衡等。本文适合安全研究人员、隐私工程师、应用开发者以及政策制定者阅读,旨在为构建更安全的在线性表达环境提供技术路线图。

💡 推荐理由: 本文系统梳理了色聊场景下的安全/隐私技术方案,为防御者提供了威胁模型分类和现有方案局限性,有助于设计更稳健的检测与防护机制。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 9.6
Conf: 50%
👥 作者: Shubham Agarwal 0006

本文研究浏览器扩展对用户安全的影响。浏览器扩展是轻量级软件,用于增强浏览器功能,但常被授予高权限,可访问、修改网页内容,甚至拦截网络请求。尽管用户依赖扩展提升效率,但许多扩展存在安全漏洞,如滥用权限、数据泄露、注入恶意代码或成为攻击向量。作者通过系统化分析,揭示了扩展如何破坏安全:一方面,合法扩展可能因设计缺陷泄露敏感信息;另一方面,恶意扩展伪装成有用工具窃取凭据或监视浏览活动。论文提出了一个分类框架,区分扩展带来的安全威胁类型,包括隐私泄露、中间人攻击、凭证盗窃等,并评估了当前浏览器安全模型(如最小权限原则)的不足。实验部分基于对Chrome Web Store中数千个扩展的静态分析,发现大量扩展请求超出功能的权限,部分存在已知安全漏洞。研究还通过案例展示了攻击者如何利用扩展进行持久化控制。本文贡献在于提供了一个全面的扩展安全威胁模型,并建议浏览器厂商加强权限审查和运行时监控。适合安全研究员、浏览器开发者及企业安全管理员阅读。

💡 推荐理由: 浏览器扩展拥有广泛用户基数,其安全漏洞直接影响数亿用户的隐私与凭证安全,是攻击面中常被忽视的环节。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Peng Jiang 0007, Ruizhe Huang, Ding Li 0001, Yao Guo 0001, Xiangqun Chen, Jianhai Luan, Yuxin Ren 0001, Xinwei Hu

系统审计是检测高级持续性威胁(APT)攻击的关键技术,但攻击者可能尝试破坏审计框架本身以隐藏恶意活动。本文对审计框架中的“超级生产者威胁”进行了全面系统的研究。该威胁使攻击者能够通过产生大量审计数据来淹没审计框架,导致其崩溃或性能严重下降,甚至瘫痪整个系统。作者分析认为,现有集中式审计架构缺乏数据隔离是导致该威胁的根本原因。为此,他们提出了一种新型审计框架NODROP,采用基于线程(threadlet)的架构设计,实现了不同进程产生的溯源数据之间的隔离。NODROP的核心思想是将审计数据的产生和处理分配到多个独立线程中,每个线程管理特定进程的审计数据,从而防止单一进程的恶意行为影响其他进程或整个系统。实验评估使用了八种不同的硬件配置,结果表明NODROP在保证审计框架完整性的同时,平均应用程序开销仅比原生Linux高6.58%,比业界领先的商业审计框架Sysdig低6.30%。该研究揭示了审计框架设计中一个被忽视的安全问题,并提供了一个可行的解决方案,对于系统审计领域的安全研究人员和开发人员具有重要参考价值。

💡 推荐理由: 该研究揭示了审计框架自身的脆弱性——超级生产者威胁可被攻击者利用来破坏审计系统,从而掩盖APT攻击痕迹。NODROP架构提供了有效的防御思路,对提升系统审计的鲁棒性和安全性意义重大。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.4)
👥 作者: Shaina Raza

本文是一篇立场论文,系统反思了过去近十年机器学习领域在深度伪造检测上的研究方向与实际威胁之间的错位。自2017-2019年起,该领域的研究主要围绕公共人物的换脸和说话头操控展开,担忧大规模虚假信息传播和视频证据欺诈。然而,作者通过统计2022-2026年间的深度伪造事件发现,实际造成危害的主要是三类:同龄人生成的非自愿亲密图像(NCII)、针对家庭和金融从业者的语音克隆诈骗电话,以及情感操纵欺诈。预测中的大规模公共人物深度伪造灾难在2024年全球信息环境中并未发生,尽管该领域已投入大量准备。研究力量、基准测试和检测方法仍然集中在过时的威胁模型上。本文的核心主张是,这种错位已成为阻碍真实世界深度伪造防御的主要瓶颈,而非模型能力不足。作者呼吁机器学习研究社区应大幅调整研究议程,转向实际增长的危害类别。论文通过实证统计展示了研究投入与危害分布的不匹配,分析了错位持续存在的结构性原因,并为三类防御不足的危害类别提出了具体的技术研究议程(如:面向NCII的细粒度检测、面向诈骗语音的鲁棒鉴别、面向情感操纵的多模态分析)。适合安全研究人员、政策制定者和AI伦理从业者阅读。

💡 推荐理由: 本文揭示了深度伪造检测领域长期忽视真实威胁分布的问题:防御者可能浪费了大量资源应对并未大规模发生的场景,而真正肆虐的NCII、语音诈骗等却缺乏有效检测。安全团队需据此调整防御优先级和研发方向。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)