#genai

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Nicolás E. Díaz Ferreyra, Manish Mahesh Kumar, Nohemí Villarreal, Pankaj Pantel, Immo Brueggemann, Riccardo Scandariato

本文针对生成式人工智能(GenAI)日益融入软件系统后,传统威胁建模方法(如 STRIDE)在评估 GenAI 特有风险方面的不足,开展了一项面向中小企业(SME)的探索性评估研究。研究首先通过快速文献综述筛选出三种 GenAI 感知的威胁建模技术,然后将其系统地应用于一个包含 GenAI 增强组件的工业案例研究。结果表明,不同技术识别出的威胁集合存在显著差异,且现有方法对某些 GenAI 特定风险类别的支持有限,尤其是与软件供应链和以人为中心的安全问题(如提示注入、模型窃取、过度依赖、隐私泄露等)相关的风险。此外,研究还收集了从业人员对这些方法在 SME 开发流程中可用性和集成度的看法,包括感知到的努力程度和采用障碍。该工作为在资源受限的中小企业环境中实际落地 GenAI 威胁建模提供了初步经验和改进方向,强调了需要开发更轻量级、更贴合 GenAI 供应链特征的建模方法,并应在威胁模型中更系统地考虑人机交互带来的社会工程风险。

💡 推荐理由: 为蓝队和安全工程团队提供了 GenAI 威胁建模在真实中小企业环境中的适用性评估,揭示了现有方法的盲区,有助于改进针对 LLM 系统的风险识别流程。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Kiarash Ahi, Saeed Valizadeh

该论文是一篇关于大语言模型(LLMs)和生成式AI(GenAI)在网络安全与隐私领域中双用途风险的综述。研究背景指出,到2025年LLM生成的恶意软件已占检测威胁的50%,而2021年仅占2%,表明AI驱动的攻击自动化正在飞速发展。论文通过回顾70多篇学术论文、行业报告和技术文档,并结合来自Google Play Protect、Microsoft Defender、AWS、Apple App Store、OpenAI Plugin Stores、Hugging Face Spaces、GitHub等平台的实际案例,系统梳理了LLM在网络安全中的正面应用(如零日检测、DevSecOps、联邦学习、合成内容分析、可解释AI)和恶意应用(如网络钓鱼、漏洞利用、恶意代码生成)。该综述还分析了SAFE框架等新兴举措及AI驱动的异常检测。最终,论文提出了负责任部署LLM的建议,包括模型水印、对抗性防御、跨行业合作等,旨在为AI驱动的网络安全研究设定新基准。核心贡献在于全面勾勒了LLM双用途风险的当前图景,并为研究人员、工程师和安全领导者提供应对AI驱动安全挑战的路线图。适合网络安全研究员、AI从业者、SOC分析师及安全策略制定者阅读。

💡 推荐理由: 该综述系统揭示了LLM和GenAI在网络安全中的双用途风险,帮助安全从业者快速理解当前AI威胁态势及防御策略,对制定内部安全路线图具有重要参考价值。

🎯 建议动作: 阅读全文以获得系统理解,并评估组织内部AI安全策略。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Elham Pourabbas Vafa, Sayak Saha Roy, Shirin Nilizadeh

该研究系统地展示了如何滥用公开社交媒体数据和生成式AI(GenAI)来自动化、规模化地发起高度个性化且上下文感知的鱼叉式钓鱼攻击。研究者构建了一个模块化框架,涵盖多模态信号提取、沟通风格画像以及七种攻击策略(诱饵、恐吓软件、蜜罐、尾随、冒充、交换条件、个性化情感利用)的实例化。通过大规模多模型评估,对数千封生成邮件和八个安全相关性标准进行评测,并与真实钓鱼邮件语料库对比。结果表明,GenAI生成的邮件在个性化、上下文依据和说服力上显著更高。补充的用户研究进一步揭示,LLM生成的攻击在八个维度上持续优于APWG eCrimeX邮件,同时引发更低的怀疑。文章还分析了现有主动式提示层防御机制、策略增强的SOTA防护模型以及系统指令链式审核等补充防御方法,记录了这些防御如何响应上下文化和自适应攻击提示,强调了平台级防护考虑规模化上下文滥用的必要性。

💡 推荐理由: 本研究揭示了生成式AI和公开社交媒体数据结合可大幅降低自动化鱼叉式钓鱼的门槛和成本,对现有邮件安全防御构成新挑战,安全从业者需关注此类上下文感知攻击的检测与缓解。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)