#dual-use

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Pingyu Wu, Lingyao Zhu, Weiming Zhang, Nenghai Yu

该论文针对大型语言模型(LLM)安全防护机制的根本性局限展开研究。现有安全防护通常在模型回答前基于请求本身判断是否允许输出,但这种方式无法考虑回答的实际用途。对于双重用途任务,同一份答案既可能帮助授权专业人员,也可能被攻击者利用;而攻击者可以轻易模仿正常请求与交互历史,导致防护失效。论文将模型释放的能力与关于下游使用的可用证据分离,并指出当这些证据是可复制的(即攻击者也能构造相同上下文)时,可精确推导出模型仍能为攻击者提供协助的最差情况下限。由此得到一个安全三难困境:有用能力、可靠安全与开放访问三者无法兼得。进一步,论文提出通过可信凭证引入难以复制的信息,以预测真实的下游用途,从而补充现有防护机制,并指出消除该下限所需的更强条件。作者通过双重用途评估、自适应攻击实验以及已部署的可信访问程序实例,验证了这些条件在实践中的相关性。该工作为LLM安全防护设计提供了理论边界,并对访问控制机制(如凭证)给出了新的方向。适合关注大模型安全、双重用途风险及AI治理的研究人员与安全从业者阅读。

💡 推荐理由: 揭示了LLM现有安全防护的逻辑漏洞:基于可复制上下文无法可靠区分善意与恶意使用,为设计更稳健的防护机制提供了理论依据,直接影响大模型服务的安全架构。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Kiarash Ahi, Saeed Valizadeh

该论文是一篇关于大语言模型(LLMs)和生成式AI(GenAI)在网络安全与隐私领域中双用途风险的综述。研究背景指出,到2025年LLM生成的恶意软件已占检测威胁的50%,而2021年仅占2%,表明AI驱动的攻击自动化正在飞速发展。论文通过回顾70多篇学术论文、行业报告和技术文档,并结合来自Google Play Protect、Microsoft Defender、AWS、Apple App Store、OpenAI Plugin Stores、Hugging Face Spaces、GitHub等平台的实际案例,系统梳理了LLM在网络安全中的正面应用(如零日检测、DevSecOps、联邦学习、合成内容分析、可解释AI)和恶意应用(如网络钓鱼、漏洞利用、恶意代码生成)。该综述还分析了SAFE框架等新兴举措及AI驱动的异常检测。最终,论文提出了负责任部署LLM的建议,包括模型水印、对抗性防御、跨行业合作等,旨在为AI驱动的网络安全研究设定新基准。核心贡献在于全面勾勒了LLM双用途风险的当前图景,并为研究人员、工程师和安全领导者提供应对AI驱动安全挑战的路线图。适合网络安全研究员、AI从业者、SOC分析师及安全策略制定者阅读。

💡 推荐理由: 该综述系统揭示了LLM和GenAI在网络安全中的双用途风险,帮助安全从业者快速理解当前AI威胁态势及防御策略,对制定内部安全路线图具有重要参考价值。

🎯 建议动作: 阅读全文以获得系统理解,并评估组织内部AI安全策略。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Edwin H. Wintermute, Harmon Bhasin, Christina M. Agapakis, Dianzhuo Wang, Evan Seeyave, Arjun Banerjee, Daniel Fulop, Matthew C. Watson, Adam J. Meyer, Sandrine Boissel, Jens H. Kuhn, Rishi Jain, Noah D. Taylor, Helena Shomar, Patrick M. Boyle, Kenny Workman

该论文针对AI智能体在生命科学工作流中可能带来的双重用途风险,提出了一个用于评估模型安全拒绝行为的基准测试——BioSecBench-Refusal。基准包含61个日常任务(来自已发表文献的合法分析)和46个红队任务(虚构但模拟真实研究场景、隐藏生物安全风险的情景)。作者在16种模型-工具链配置上测试了不同模型的拒绝率,结果显示:日常任务的拒绝率在7%到74%之间,红队任务的拒绝率在1%到62%之间,许多配置对合法日常任务的拒绝率与对隐蔽风险任务的拒绝率相当甚至更高。分析表明,大多数拒绝是由模型提供商在智能体推理之前应用的API过滤器触发的。然而,给予更多推理空间的模型显示出识别真正威胁的潜力。论文发布了该基准,旨在帮助模型开发者校准用于智能体生物技术研发的能力与谨慎性。

💡 推荐理由: 首次系统评估AI智能体在生物研究中的安全拒绝行为,揭示了现有模型可能过度拒绝合法任务却放过真实风险的问题,对构建安全的科学AI代理至关重要。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)