#generative-ai

共收录 11 条相关安全情报。

← 返回所有主题
👥 作者: Ruta Binkyte, Sharif Abuaddba, Chamikara Mahawaga Arachchige, Ming Ding 0001, Natasha Fernandes, Mario Fritz

该论文提出了一种名为“AI as a Research Object”(AI-RO)的新范式,旨在解决生成式人工智能在科学研究中的治理问题。作者认为,与其争论AI是作者还是工具,不如将AI交互视为研究过程中结构化、可检查的组件。基于Research Object理论和FAIR原则,他们设计了一个框架,通过交互日志和元数据包来记录模型配置、提示和输出。该框架特别适用于安全和隐私(S&P)研究场景,因为这些场景中的来源构件必须满足保密性、完整性和可审计性要求,而通用的披露做法无法满足。作者实现了一个轻量级的写作流水线,其中语言模型在显式约束下综合人类作者的结构化文献综述笔记,并生成可验证的来源记录。论文以立场陈述的形式呈现,并附带一个初始演示工作流,主张科学中生成式AI的治理可以通过结构化文档、受控披露和完整性保护来源捕获来实现。基于此示例,他们概述了未来发展的必要方向,以使此类实践实用且广泛采用。对于安全研究人员而言,该工作直接回应了AI辅助研究中的可归因性和可复现性挑战,为评估和信任AI生成内容提供了可审计的基础。

💡 推荐理由: 该论文为AI辅助科学研究的可审计性和完整性提供了具体框架,尤其直接关系到安全研究中的来源验证与机密性保护,是推动AI治理落地的重要一步。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Mao-Hsiu Hsu, Hsien-Chen Sun, Yu-Ting Hsu

未提供论文摘要,无法生成详细描述。本论文标题涉及隐私感知的视网膜图像生成,可能用于青光眼筛查,但具体方法不明。

💡 推荐理由: 本论文与网络安全无直接关联,但其中的隐私保护技术可能对安全领域的隐私计算有参考价值。

🎯 建议动作: 无需特别行动

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.3)
👥 作者: Gourab Das, Pavan Kumar C, Raghavendra Ramachandra

这篇综述系统地梳理了身份证件伪造攻击与检测方法的最新进展。随着生成式AI工具的普及,伪造能力发生了根本性转变:非专业人员也能借助AI生成高逼真度的证件或对现有证件进行字段级篡改,而现有的检测基准尚未跟上这一威胁。论文首次将物理呈现攻击(如印刷品翻拍)、数字注入攻击(如向数字验证流程插入伪造图像)和完全由生成式AI驱动的合成攻击统一在一个身份证件验证威胁模型下,揭示了不同攻击类型特有的取证失效模式。检测方法方面,论文从规则启发式方法、取证定位、注入感知流水线,一直追踪到大模型和少样本框架。通过对2019-2025年间公开数据集的系统审计,作者发现基准测试与真实部署之间存在持续的“现实差距”。此外,论文分析了大型多模态模型在证件篡改中的表现,识别出“脚本相关生成不稳定性”(SDGI)——一种非拉丁字母文本修补中反复出现的排版失败模式。最后,在未见过的合成身份证上的零样本基准测试显示,即使最强的公开模型在安全导向的操作条件下APCER值仍超过25%,暴露出跨域泛化的重大局限。论文最后指出了未来方向:构建基于取证、保护隐私并具有法律问责性的身份验证系统。

💡 推荐理由: 身份证件伪造威胁因生成式AI而急剧升级,现有检测基准严重滞后于实际风险,综述提出的统一威胁模型和现实差距分析对安全评估和防御策略制定具有直接指导意义。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jiefei Liu, Abu Saleh Md Tayeen, Pratyay Kumar, Qixu Gong, Wenbin Jiang, Huiping Cao, Satyajayant Misra, Jayashree Harikumar

该论文是一篇关于生成式人工智能(Generative AI)和联邦学习(Federated Learning)在入侵检测系统(IDS)中应用的综述。入侵检测系统是现代网络环境(如网络物理系统、物联网、企业网络和分布式网络)中监控流量、识别恶意行为的关键组件。然而,开发可靠的IDS模型面临诸多挑战:攻击行为不断演化、真实数据集难以获取、流量记录可能不完整、攻击类别不平衡、以及隐私限制导致数据无法集中收集。近年来,生成式AI(包括自编码器、生成对抗网络(GAN)、扩散模型和大语言模型(LLM))和联邦学习的进步为克服这些局限提供了新机遇。生成模型可用于异常检测、合成流量生成、数据增强、数据补齐、对抗流量生成以及IDS告警解释。联邦学习则能在不直接共享本地网络流量的情况下进行分布式IDS训练,特别适用于隐私敏感和地理分散的环境。本文首先总结了IDS研究的代表性方向,包括对抗机器学习、基于异常的检测、面向物联网的IDS、可解释IDS及基准数据集。然后,根据模型家族和任务目标对生成式AI在IDS中的应用进行了分类。最后,综述了将生成式AI与基于联邦学习的IDS相结合的新兴研究,并讨论了开放挑战,如合成数据质量、真实流量生成、双重用途对抗风险、非独立同分布客户端分布、通信高效模型共享、联邦IDS基准测试以及面向网络安全的领域特定大语言模型。该综述为网络安全研究人员和工程师提供了前沿技术的系统化梳理,有助于理解当前生成式AI和联邦学习在IDS领域的应用现状与未来方向。

💡 推荐理由: 该综述系统梳理了生成式AI和联邦学习两大前沿技术在入侵检测中的应用,为应对数据稀缺、隐私保护、类别不平衡等核心挑战提供了新思路,对设计下一代自适应、隐私保护的IDS具有重要参考价值。

🎯 建议动作: 纳入内部评估:安全团队可基于该综述中提到的生成式AI和联邦学习方案,探索适用于自身网络环境的IDS增强或原型验证。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.4)
👥 作者: Edward Raff, Maor Ashkenazi, Sagar Samtani, David J. Elkind, Sven Krasser

本文提出,网络安全领域是检验生成式AI(特别是基于大语言模型的代理系统)成功与否的真正前沿。作者指出,网络安全工作流需要协调数百种标准及定制工具,处理格式多样的数据,且数据规模巨大(例如单个恶意软件样本可视为数十亿token的序列)。标签成本高昂且劳动密集,因为攻击者(可能包括国家资助的行为体)刻意规避检测方法,即使是专家也可能对正确标签存在分歧。部署时,模型需在持续变化的环境中每天处理数十亿项,且低延迟对运营成功至关重要。此外,可解释性不可或缺:分析师需要清晰的推理来应对日常大量误报,并快速制定修复方案。作者认为,网络安全在复杂性上超越了自然语言处理和计算机视觉,因此是衡量通用AI进展更好的测试案例。本文主要贡献在于论证网络安全对AI系统的独特挑战,并呼吁更多研究关注该领域。适合AI安全研究者、安全运营从业者及大语言模型应用开发者阅读。

💡 推荐理由: 本文揭示了网络安全作为AI应用场景的极端复杂性,挑战了当前主流以NLP/CV为基准的AI评估体系,为生成式AI在真实高风险环境中的落地提供了关键视角。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Hung Dang, Tue Nguyen, Minh Vo

本文提出 EnclaveScale,一种分布式硬件辅助遥测架构,旨在解决数据中心电源遥测中传感器数据伪造和隐私泄露问题。现有加密技术对高频率(如10 Hz)流式数据扩展性差,且无法认证数据源,允许恶意主机注入虚假传感器输入。EnclaveScale 利用 Intel DCAP 远程认证、差分隐私噪声注入和拜占庭拒绝机制,构建了一个提取后(post-extraction)验证流水线。该架构在32个 GCP 机密虚拟机(Confidential VMs)上实现,达到0%的提取后攻击成功率。此外,为了缓解数据摄取前的漏洞,提出了基于 SPDM(Security Protocol and Data Model)认证的第一英里层。在全局聚合阶段,全局聚合飞地(Global Aggregation Enclave)在容量加权聚合前验证所有加密证明。实验评估显示,每个飞地的稳态吞吐量达131,406样本/秒,认证开销摊销至0.23微秒/样本。在基于 NVML 采样的 H100、A100 和 L4 真实轨迹上,EnclaveScale 的动态编排边际误差为1.3 MW,而诚实聚合器的中心差分隐私基线误差为0.1 MW。该架构为多租户动态电源编排提供了安全基础,通过边缘差分隐私在局部混淆亚秒级异常,并通过全局聚合时的空间稀释保护宏观工作负载的机密性。本文主要贡献包括:首次提出结合硬件辅助飞地与边缘差分隐私的电源遥测框架;设计并实现了提取后验证与拜占庭拒绝机制;通过实验证明了高吞吐、低开销和强大的安全保证。

💡 推荐理由: 数据中心电源遥测是保障 AI 基础设施可靠性的关键环节,EnclaveScale 通过硬件飞地和差分隐私创新性地解决了传感器欺骗与隐私泄露风险,为安全工程师提供了构建可信遥测管道的新范式。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Shuning Zhang, Eve He, Xiao Zhan, Shijing He, Robert Xiao, Xin Yi, Hewu Li

本文通过半结构化访谈(17名商家和13名平台工作人员),系统研究了生成式AI(GenAI)在中文电商退款欺诈中的新型威胁。传统电商纠纷解决依赖数字证据真实反映物理现实的假设,但GenAI能够以极低成本伪造高度逼真的产品缺陷证据,从而颠覆这一安全假设。研究定义了四种GenAI驱动的威胁向量,分别涉及交易、纠纷、物流和通信阶段,攻击者利用GenAI大规模合成物理上看似真实的产品缺陷。为应对这些威胁,平台和商家正在调整验证策略,依赖AI工具进行自动筛查和对抗性询问(例如要求多角度视频),以增加攻击复杂度。然而,研究发现了若干阻碍防御采用的挑战:包括平台结构性限制等实施障碍,以及GenAI技术本身带来的根本性限制。最后,论文提出了设计启示,包括隐私保护的跨平台欺诈数据库,以及将可验证材料锚点嵌入产品以实现可追溯性机制。本研究的贡献在于首次从多利益相关方视角刻画了GenAI在电商退款欺诈中的实际应用图景、现有防御策略及其局限性,并为安全设计提供了方向。

💡 推荐理由: 电商平台正面临GenAI带来的新型规模化欺诈威胁,传统证据验证机制失效;该研究揭示了攻击手法和防御挑战,指导安全从业者提前布局反制措施。

🎯 建议动作: 建议平台安全团队评估现行验证流程中的AI伪造脆弱点,并研究跨平台欺诈数据库的可行性。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 3.5
Conf: 50%
👥 作者: Abu Taib Mohammed Shahjahan, Mohammad Mannan, Abdessamad Ben Hamza, Amr Youssef

该论文聚焦于深度伪造图像检测器在对抗攻击下的鲁棒性问题。尽管近年来提升检测器对未见生成模型泛化能力的研究取得进展,但检测器仍易受对抗样本攻击。作者复现了Abdullah等人(IEEE SP 2024)对八种检测器的评估,并额外测试了七种最先进检测器,均发现攻击下性能显著下降。为此,论文提出一个不依赖对抗训练的统一框架,融合三种互补设计:1)基于离散余弦变换(DCT)的四阶矩池化,在频域建立高阶统计建模;2)从噪声残差中提取内容无关特征;3)通过分块语义破坏实现跨场景泛化。核心洞察是对抗攻击主要利用低阶统计和视觉语义,而高阶残差-频率特征(尤其是峰度)几乎不受约束。大量实验表明,该方法在六种不同架构的检测器上持续提升鲁棒性,在现有对抗基准测试中将召回率退化降低最多88.9%,并将最佳检测器(Yang等人,IEEE CVPR 2025)的攻击下准确率从81.9%提升至97.15%。该工作为提升深度伪造检测对抗鲁棒性提供了通用的、架构无关的解决思路。

💡 推荐理由: 深度伪造检测器在对抗攻击下脆弱性是实际部署的关键隐患;该方法无需对抗训练即可显著提升鲁棒性,对蓝队构建可靠检测体系具有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.4
Conf: 50%
👥 作者: Enoal Gesny, Eva Giboulot

随着扩散模型等生成模型的快速普及,数字水印技术已成为识别AI生成图像的关键手段。现代后处理水印方法通常采用神经网络,旨在实现极低的误报率,同时保持对常见图像变换的鲁棒性。然而,这些现代方法与经典水印方法(如Broken-Arrows方案)之间缺乏系统的比较,尤其是在鲁棒性和安全性优先于极低误报率的实际场景中。本文提出了一种公平的比较框架,评估现代与经典后处理水印方法在面对各种经典图像增强和最新复杂攻击时的鲁棒性与安全性。实验结果表明,在现实场景下,经典水印方法在保持同等鲁棒性的同时,在安全性方面优于现代技术。该研究为AI生成图像检测的水印方案选型提供了重要参考,提示安全从业者在实际部署中不应盲目追求低误报率而忽视经典方法的优势。

💡 推荐理由: 该研究揭示了经典水印方法在安全性上反超现代深度学习方法的可能性,对选择AI生成图像检测方案具有直接指导意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.4)
👥 作者: Gustav Olaf Yunus Laitinen-Fredriksson Lundström-Imanov, Nurana Abdullayeva

本文提出一个统一的证据框架,将密码学内容来源、鲁棒统计水印和零知识证明映射到三个法律体系(国际军事行动法、国内诉讼程序、产品监管)的证明要求中。该框架定义了一个五级威胁模型,涵盖从朴素再生、对抗性清洗、跨模型再生、主动水印移除到内部来源伪造。作者发布了包含12000个生成项(涵盖图像、音频、视频模态)的公开基准,并经过六种清洗管道处理,得到72000个评估样本。他们对四种代表性方案进行了评估,报告了在固定假阳性率下的真阳性率、鲁棒性曲线下面积、计算开销以及针对不同法律体系的条件法律充分性评分。最终将实证检测边界转化为法律充分性阈值,用于武装冲突法中的指挥决策、国内刑事和民事程序中的可采性,以及欧盟人工智能法案下的持久性审计。该成果提供了一个可复现的参考管道、公共基准和模型附件,可供律师、工程师和操作人员共同部署。

💡 推荐理由: 本文首次将AI生成内容的可验证来源与水印技术系统性地映射到法律证据要求,为安全从业者提供了跨学科的技术-法律评估基准,有助于在合规场景中设计可辩护的防御方案。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zelin Zhang, Qi Li, Jie Cao, Lingshuang Liu, Jianbing Ni

该论文系统性地研究了生成式AI系统从单纯的内容生成向具备数据检索、工具调用和动作执行能力的代理化转变过程中面临的安全与安全威胁。作者将威胁划分为三个层次:内容级(如生成虚假信息、有害内容)、模型级(如提示注入、模型提取)和代理级(如工具链滥用、外部API未授权操作)。论文重点分析了随着系统自主性增强,攻击者的访问要求(从黑盒到白盒)、潜在危害范围(从信息污染到物理世界破坏)如何演变。在防御方面,评估了当前主流对策包括内容检测、水印技术、安全对齐训练以及新兴的代理安全护栏,并指出其中多项措施依赖跨机构协调(如标准制定、信息共享),而现有治理架构尚无法提供充分支持。研究表明,随着生成式AI从生成静态内容转向执行实际动作,功能部署速度与攻击面扩展速度持续超越防御响应能力,形成持续的不对称态势。本文适合AI安全工程师、系统架构师以及政策制定者阅读,以理解代理化AI系统面临的系统性风险。

💡 推荐理由: 揭示了生成式AI从内容生成到代理动作转变中攻击面扩展与防御滞后的不对称趋势,为设计下一代AI安全体系提供了关键分析框架。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)