Adversarial Frontiers: Minimum-Norm Attack Ensembles for Robustness Evaluation
本文针对当前对抗鲁棒性评估方法的局限性,提出了一种新的评估框架。现有方法通常使用预定义的攻击集成(如AutoAttack)在单一扰动预算ε和少量范数下进行评估,存在三个根本问题:1) 模型间的鲁棒性-扰动曲线可能相交或以不同速率衰减,导致单
共收录 1067 条相关情报。
← 返回所有主题本文针对当前对抗鲁棒性评估方法的局限性,提出了一种新的评估框架。现有方法通常使用预定义的攻击集成(如AutoAttack)在单一扰动预算ε和少量范数下进行评估,存在三个根本问题:1) 模型间的鲁棒性-扰动曲线可能相交或以不同速率衰减,导致单
本文提出了一种针对AI智能体的侦察驱动渗透测试方法。传统渗透测试在每一步都使用侦察来发现隐藏的弱点、构建更强的攻击并推进目标,而作者认为AI智能体需要同样的处理。作者通过建模智能体侦察过程,识别其试图提取的知识资产:包括它们是什么、如何使用
联邦图神经网络(FedGNN)在分布式图数据学习中具有广泛应用,但面临后门投毒攻击的严重威胁。现有防御方法多基于规则,缺乏对攻击触发器的语义理解,容易受到隐蔽触发器的攻击,同时可能破坏良性图结构。为此,本文提出 FedLSG,首个将大语言模
本文提出了一种端到端差分隐私(DP)训练框架,用于深度神经网络分类器。现有的DP机器学习方法通常同时对训练输入和标签进行隐私保护,但在标签可公开或可安全公开的场景下,这种保护过于保守。因此,作者提出仅对训练输入进行私有化,同时保持标签公开。
随着AI代理开始自动化AI研发流程(如模型微调、CUDA内核优化、推理服务器优化等),如何确保其产出物安全部署成为一个关键问题。传统的信任代理方式存在风险,因为代理本身可能不可信。AI控制(AI control)作为一种替代方案,将代理视为
该论文研究了工具增强型大语言模型(LLM)Agent在面对静默基础设施故障时的行为,特别是当外部工具返回HTTP 200响应但payload为空、null或畸形时。现有评估框架主要关注能力指标或显式工具崩溃,忽略了这类静默失败。作者提出了一
该论文提出了一种名为 SFGA(Statistics-First Gating Architecture)的统计优先门控架构,用于解决监督微调(SFT)数据采购中的可信数据获取问题。在采购数据时,买方需要在尚未进行下游训练前判断候选数据集是
该论文首次系统性地研究了图基础模型(Graph Foundation Models, GFMs)中“对齐层”(alignment layer)这一独特攻击面。图基础模型通过将不同领域的图输入映射到一个共享表示空间,然后进行任务推理,这一映射
本文针对钓鱼邮件检测的对抗鲁棒性进行了系统比较研究。研究背景在于,当前机器学习分类器在钓鱼邮件检测中广泛应用,但其准确性往往仅在干净、分布内测试数据上评估,而忽略了对经过刻意修改以逃避检测的对抗性邮件的鲁棒性。为弥补这一空白,作者选取了两种
该论文提出一个针对LLM代理(agent)安全性的多轮自适应对抗攻击基准。现有安全评估通常使用固定的攻击池,在单轮或多轮场景下评估防御者,但忽略了攻击者能够根据防御者响应动态调整策略的能力。为此,作者构建了一个包含21个场景的基准,每个场景
大型语言模型(LLM)在学术写作中越来越普遍,但其生成的文献综述常包含虚构引用(幻觉引用)。GPTZero 发现 NeurIPS 2025 被接受的论文中有 53 篇存在此类问题。现有的基于规则和 LLM 的验证器缺乏统一的基准测试和详细的
本研究探讨了在视觉-语言-动作(VLA)模型中添加推理步骤对模型鲁棒性的影响。直觉上,先推理后行动的策略应能更好地吸收输入扰动,但本文通过实验验证了这一假设。作者选取了三种代表不同推理水平的模型:无推理、文本链式推理(CoT)以及潜在迭代循
该论文提出了一种端到端的解释性钱骡账户检测管道,旨在解决金融欺诈中钱骡账户难以大规模检测的问题。管道分为三个阶段:首先,使用LightGBM分类器在280个工程特征上训练,这些特征涵盖交易模式、账户人口统计、网络拓扑和时间行为;其次,引入T
本文研究了同态加密(HE)环境下神经网络推理的结构化剪枝对模型可靠性的影响,并提出了多项式敏感度感知剪枝方法(PSAP)。背景:同态加密允许对加密数据进行计算,但计算开销大,结构化剪枝是降低开销的关键技术,然而剪枝可能引入可靠性问题,如对位
该论文针对网络入侵检测系统(NIDS)面临的对抗性攻击威胁,提出了一种混合防御方法。NIDS是保护网络免受未知网络威胁的关键工具,但它容易受到对抗性攻击,攻击者通过构造对抗样本欺骗NIDS,将恶意流量误分类为良性。研究聚焦于两种强大的白盒对
本研究通过半结构化访谈的方式,深入调查了22名软件开发者、架构师和AI从业者在集成大语言模型(LLM)作为AI组件时的决策过程和安全考量。研究发现,从业者在选择AI模型时主要受功能标准驱动,如性能、准确率、成本和特定功能(例如工具调用或多模
该论文提出了一种新的群体公平性度量方法——Privacy-Cost Equity Ratio (PCER),用于评估差分隐私(DP)机器学习系统中的群体公平性。传统的公平性度量主要关注模型输出(如准确率)在不同群体间的差异,但忽略了隐私成本
本文提出了一种针对机器学习模型的新型隐私攻击——代码投毒属性推断攻击(CPPIA),这是首个在代码层面实施的属性推断攻击。现有属性推断攻击存在攻击性能不足、模型准确率严重下降、计算开销大、在防御下失效等四大局限性。CPPIA 利用代码托管平
该研究聚焦于语音识别模型的后门攻击,提出了一种利用自然或日常生活中的声音(如雨声、鸟鸣等)作为触发器的自然后门攻击方法。与传统的后门攻击不同,自然触发器不需要人工合成噪声,而是直接使用环境中存在的、看似正常的音频信号,从而攻击更具隐蔽性和危
本文提出 SpeechGuard,首个针对语音识别模型的在线后门防御流水线。后门攻击通过在训练阶段注入少量恶意样本,使模型在遇到特定触发器时输出攻击者指定的错误结果,这在自动驾驶语音交互等安全敏感场景中危害极大。SpeechGuard 针对