#genai

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Christoph Nirschl, Magdalena Glas, Gerhard Messmann, Günther Pernul

本文是一篇关于生成式人工智能(GenAI)工具(如ChatGPT)在工作场景中隐私感知的实证研究。随着ChatGPT等工具在教育培训、医疗健康、IT等众多领域被越来越多地用于工作流程,其在提升效率的同时也引发了显著的隐私担忧。现有研究多关注技术本身,而对使用者隐私感知与实际使用行为之间的关系探讨不足,尤其缺乏对组织政策这一调节变量的分析。作者针对不同就业部门的224名在职人员展开用户研究,这些人员的日常工作已整合了ChatGPT。研究通过问卷调查测量了四个关键变量:ChatGPT的使用熟练度(proficiency)、一般隐私关注度(privacy concerns)、组织对GenAI的正式政策(organizational policies)以及实际使用频率和场景多样性。研究发现:(1)组织政策的存在与隐私相关的ChatGPT熟练度呈显著正相关,但总体熟练度水平偏低;(2)较高的隐私关注度会显著降低ChatGPT的使用频率和应用多样性,尤其是在没有GenAI政策的组织中的用户身上;(3)组织政策与个体隐私关注之间存在交互效应,表明制度保障对缓解隐私担忧至关重要。文章从人机交互(cs.HC)和网络社会(cs.CY)视角出发,研究方法上采用了定量统计分析。核心贡献在于揭示了组织层面的政策在调节个体隐私风险感知与实际GenAI工具采用之间的重要作用,并指出了当前用户隐私保护能力的不足。适合隐私政策制定者、企业管理者、安全与合规团队以及从事GenAI人机交互研究的学者阅读。需要注意的是,本文为预印本(arXiv),未经同行评审,且仅基于被试自报数据,存在一定的局限性。

💡 推荐理由: 对安全团队有参考意义:它揭示了组织级GenAI政策的缺失会放大员工隐私顾虑并降低工具合规使用意愿,而政策存在时员工在隐私相关技能上更熟练,这为设计内部AI治理和培训提供了行为学依据。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Kiarash Ahi, Saeed Valizadeh

该论文是一篇关于大语言模型(LLMs)和生成式AI(GenAI)在网络安全与隐私领域中双用途风险的综述。研究背景指出,到2025年LLM生成的恶意软件已占检测威胁的50%,而2021年仅占2%,表明AI驱动的攻击自动化正在飞速发展。论文通过回顾70多篇学术论文、行业报告和技术文档,并结合来自Google Play Protect、Microsoft Defender、AWS、Apple App Store、OpenAI Plugin Stores、Hugging Face Spaces、GitHub等平台的实际案例,系统梳理了LLM在网络安全中的正面应用(如零日检测、DevSecOps、联邦学习、合成内容分析、可解释AI)和恶意应用(如网络钓鱼、漏洞利用、恶意代码生成)。该综述还分析了SAFE框架等新兴举措及AI驱动的异常检测。最终,论文提出了负责任部署LLM的建议,包括模型水印、对抗性防御、跨行业合作等,旨在为AI驱动的网络安全研究设定新基准。核心贡献在于全面勾勒了LLM双用途风险的当前图景,并为研究人员、工程师和安全领导者提供应对AI驱动安全挑战的路线图。适合网络安全研究员、AI从业者、SOC分析师及安全策略制定者阅读。

💡 推荐理由: 该综述系统揭示了LLM和GenAI在网络安全中的双用途风险,帮助安全从业者快速理解当前AI威胁态势及防御策略,对制定内部安全路线图具有重要参考价值。

🎯 建议动作: 阅读全文以获得系统理解,并评估组织内部AI安全策略。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Elham Pourabbas Vafa, Sayak Saha Roy, Shirin Nilizadeh

该研究系统地展示了如何滥用公开社交媒体数据和生成式AI(GenAI)来自动化、规模化地发起高度个性化且上下文感知的鱼叉式钓鱼攻击。研究者构建了一个模块化框架,涵盖多模态信号提取、沟通风格画像以及七种攻击策略(诱饵、恐吓软件、蜜罐、尾随、冒充、交换条件、个性化情感利用)的实例化。通过大规模多模型评估,对数千封生成邮件和八个安全相关性标准进行评测,并与真实钓鱼邮件语料库对比。结果表明,GenAI生成的邮件在个性化、上下文依据和说服力上显著更高。补充的用户研究进一步揭示,LLM生成的攻击在八个维度上持续优于APWG eCrimeX邮件,同时引发更低的怀疑。文章还分析了现有主动式提示层防御机制、策略增强的SOTA防护模型以及系统指令链式审核等补充防御方法,记录了这些防御如何响应上下文化和自适应攻击提示,强调了平台级防护考虑规模化上下文滥用的必要性。

💡 推荐理由: 本研究揭示了生成式AI和公开社交媒体数据结合可大幅降低自动化鱼叉式钓鱼的门槛和成本,对现有邮件安全防御构成新挑战,安全从业者需关注此类上下文感知攻击的检测与缓解。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)