👥 作者: Jesson Wang, Shawn Li, Wei Yang, Franck Dernoncourt, Ryan A. Rossi, Charith Peris, Yue Zhao
该论文关注大模型安全对齐在解码阶段的脆弱性: 操纵生成过程中的下一个 token 概率分布可以绕过对齐约束。但已有方法普遍依赖模型权重或数值化的 token 概率(logprobs), 因此对只返回采样文本的黑盒接口完全无效。作者尝试从采样输出反向重建概率分布, 然而有限次采样得到的估计既稀疏又噪声大, 而若在每一个生成步都重复采样, 查询开销又高到不可接受。论文的经验观察指出, 在成功越狱的轨迹上, 分布层面的显著变化只集中在少数位置上, 因此无需全程控制, 只需在关键位置介入即可, 这构成了全文的核心动机——选择性控制。基于此, 作者提出一个面向纯文本续写接口的越狱研究框架, 适用于允许重复采样并提供 assistant 前缀续写能力的端点, 由三个组件构成: 其一是基于采样的分布重建, 将采样结果与关于未观测动作的先验相结合, 得到可用的控制信号, 以缓解采样稀疏与噪声问题; 其二是风险门控的残差控制, 利用不断演化的回复前缀估计当前步的风险, 决定何时执行分布重建与修改, 从而把昂贵的采样预算集中到少数被选中的位置; 其三是投机式多 token 执行, 通过校验并接受无需干预的草稿前缀来摊销对目标端点的调用次数, 进一步降低总体查询成本。实验覆盖四个目标端点与三个基准, 与多个基线对比, 该框架在多数比较中取得最高平均分。论文属于攻击面研究, 用以揭示黑盒部署形态下的对齐风险, 适合红队与对齐研究者、LLM 安全评测与防护工程团队, 以及对外提供模型 API 的平台风控方阅读。
💡 推荐理由: 它说明仅隐藏权重与 logprobs、只暴露文本采样接口并不足以形成防护: 攻击面可从数值概率转移到采样行为本身。防守方需要把重复采样频率、关键位置查询突增、前缀续写等行为纳入滥用检测与成本限流。
🎯 建议动作: 纳入内部评估
排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Weikang Ding, Binhao Ma, Hanqing Guo, Rui Duan
该论文关注学习型音频水印在真实对抗场景下的安全性, 提出了一种无需查询、也无需访问水印编码器 / 解码器 / 检测器的黑盒水印去除方法 DeMark。研究动机在于: 现有去除攻击要么依赖模型反馈(需要反复查询目标系统), 要么需要成对的干净-加水印样本, 要么借助生成模型重建波形, 因而普遍存在查询成本高、跨水印方法泛化差或语音感知质量明显下降的问题。作者的核心观察是, 水印嵌入虽然在人耳层面不可感知, 但会在时频域引入与自然语音不完全对齐的细微非语音伪影, 这些伪影正是水印可被检测的物理痕迹, 因此抑制伪影即可达到去除水印的效果。基于此, DeMark 设计了两阶段流程: 第一阶段 Diverse Artifact Learning 提取互补的非平稳与平稳伪影模式, 尽可能覆盖不同水印方法留下的痕迹; 第二阶段 Adaptive Artifact Scaling 在音质保持约束下自适应地组合并放大这些伪影估计, 从而在不破坏语音自然度的前提下压制水印。实验在两个语音数据集和四种主流先进水印方法上进行, 平均攻击成功率分别达到 0.92 与 0.96, 且在感知质量上稳定优于现有自适应攻击。论文结论指出现有音频水印系统在实际部署中面临被无查询去除的风险, 呼吁设计更鲁棒的水印方案。适合关注 AI 内容溯源、语音安全、版权保护与水印鲁棒性的研究者、防御工程师与合规评估人员阅读。
💡 推荐理由: 音频水印是语音内容溯源、版权保护与滥用追责的关键信任锚。若可被无查询黑盒去除, 攻击者成本极低且不产生可疑查询日志, 会直接削弱音频取证与深度伪造溯源能力, 安全团队需重新评估单靠水印的可靠性。
🎯 建议动作: 研究跟进并纳入内部评估
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jianyi Hu, Hangtao Zhang, Yi Liu, Yeqi Zeng, Li Zeng, Xianlong Wang, Rui Wang, Leo Yu Zhang
该论文研究的是「面向校准决策的强化学习」(RLCD, reinforcement learning for calibrated decisions) 模型的对抗鲁棒性问题,代表模型是 Jev。这类模型与常规生成式模型不同:它接收输入(称为 state)并回答一个带类型的(typed)问题,输出的是概率、选项或分数,随后由软件直接依据该答案自动采取行动,全程无人工阅读。作者指出,这类模型的鲁棒性此前从未被测量过,原因是评测范式不匹配——现有对抗基准衡量的是模型生成或执行了什么内容,而 typed 模型根本不生成自由文本,即使被操纵也只会返回一个格式良好、看似正常的答案。测量本身也很困难:相同请求可能返回不同答案(非确定性),可用标签大多由模型自身产生(自标注偏差),且 API 在不可见的预处理环节对每个请求做了改写。为此,作者提出关键思路:不拿标签当基准,而是把「受攻击后的决策」与「同一模型自身的干净决策」对比打分,并参照「同一请求原样重跑」所引起的变化(重跑基线)来解读结果差异,从而把攻击效应从模型的自然随机波动中剥离出来。基于该思路,作者构建了 JevAdvBench,据称是首个面向 RLCD 模型的对抗基准:包含覆盖 66 个场景的 812 个 typed 问题,以及 9,744 个单点编辑变体组成的黑盒攻击套件,每个变体只修改请求的一个部分,并通过计费输入 token 确认修改确实到达了模型。在 jev-1.13.0 上的实验显示:单纯换措辞的影响不超过重跑基线的 1.2 个百分点,schema 之外的字段永远不会到达模型;但仅向 state 追加一条未经核实的意见,就翻转了 12.1% 的决策,与最强注入命令的效果(10.1%)在统计上持平,并使 38% 的高置信回答跌破 0.8 置信阈值——该阈值本应把它们路由到人工复核。结论是:基于 RLCD 模型构建的应用必须把 state 视为不可信的、可能带有观点的输入。
💡 推荐理由: 大量自动化决策系统直接消费模型输出的分数/选项,无人工复核。该工作证明:仅追加一段无验证意见即可翻转约 12% 决策、把 38% 高置信答案打入人工复核区,且传统针对生成内容的评测完全看不到这类风险,为评测与防御提供了可复用的方法论。
🎯 建议动作: 研究跟进:纳入内部评测方法学评估,尤其关注以 typed 输出驱动自动化决策的系统
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Jiashuo Liu, Ruijie Ma, Manman Li, Yi Chen, Shaozhen Chen
该论文研究卷积神经网络(CNN)的密码分析式模型提取(cryptanalytic extraction),即在无法接触模型内部实现的前提下,仅通过黑盒查询反推网络结构与权重参数。此前的同类攻击普遍假设目标网络的架构已知,攻击目标仅限于恢复模型参数。本文首次证明,对于同时使用最大池化与平均池化的 CNN,这一"架构已知"前提可以被彻底移除。
作者的核心发现是:现有参数恢复攻击所得到的权重向量,其空间几何结构会自然泄露架构信息。论文对这种几何进行形式化,并建立其与卷积层架构知识的对应关系,具体包括三方面:(1) 权重向量与卷积感受野在稀疏性上的一致性,可揭示层类型、卷积核尺寸与步长;(2) 与卷积核参数在数值上的一致性,可揭示填充模式和输出通道数;(3) 与池化操作在结构上的一致性,可揭示池化类型、窗口大小与步长。
关键之处在于,无论攻击者获得的是原始输出(raw-output / logits)还是硬标签(hard label)反馈,虽然恢复权重所用的具体方法不同,但恢复出的向量空间几何保持一致,因此该架构恢复过程是反馈无关的(feedback-agnostic)。将其与参数恢复攻击结合,即可构成一个完整的黑盒密码分析提取框架,同时恢复网络架构与全部模型参数。
论文在多种 CNN 上开展了逐层与端到端实验,结果表明同时恢复架构与参数在实际中是可行的。该工作把 CNN 模型提取的攻击前提从"架构已知"降低到"完全未知",对模型知识产权保护与推理 API 侧防护提出了新的挑战。适合模型安全、AI 攻防与密码分析方向的研究者阅读。
💡 推荐理由: 模型提取此前被认为需要预先掌握网络架构,本文表明该前提可被消除:仅凭黑盒查询即可同时还原架构与权重。以"隐藏架构"作为主要防护手段的部署方式风险显著上升,模型窃取与知识产权流失门槛降低,API 提供方需重新评估限速、查询审计与输出最小化等策略。
🎯 建议动作: 研究跟进,并纳入内部模型 API 安全评估
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Fei Yuan, Yantian Shen, Qingyuan Yu, Yi Chen, Binghui Wang, Hongbo Yu, Anyu Wang, Xiaoyun Wang
该论文研究的是深度神经网络在黑盒设定下的定向对抗攻击问题,属于对抗机器学习领域兼具理论难度与工程意义的课题。背景是:DNN 对微小扰动敏感,而攻击按信息可见性可分为白盒与黑盒;黑盒中又以 decision-based(仅返回 top-1 标签)的定向攻击最为困难——攻击者既看不到梯度与置信度,又必须让模型在扰动受约束的前提下预测一个事先指定的目标类别。作者指出现有方法的主要瓶颈出现在扰动精修之前的初始化阶段:必须先找到一个能够把样本推入目标类决策区域的可行方向,而这一步往往消耗掉绝大部分查询预算,导致在低查询预算下成功率极低。为此论文提出 GuidedRay,一种基于多样性引导方向发现的定向 decision-based 攻击框架。其设计建立在两个观察之上:其一,目标类别的参考样本能够提供以目标为条件的方向先验,使搜索不再是盲目的;其二,候选样本越多样,命中某个真正指向目标区域的方向的概率就越高,从而避免在单一方向上反复浪费查询。方法上,GuidedRay 从一个或多个目标类参考样本出发生成多个风格各异的候选样本,再用一次查询即可完成的 Fast Test 快速筛选这些候选所诱导的符号方向,筛掉明显不可行的候选;一旦确认存在可行方向,就用 Ray Search 沿着该方向不断缩减到决策边界的半径,从而在有限的扰动预算内完成定向攻击,同时把查询开销集中于最有希望的方向上。实验部分在 CIFAR-10、CIFAR-100 与 ImageNet 三个数据集上展开,在 500 到 5000 四个查询预算档位上与五种当前最优的 decision-based 攻击进行对比,GuidedRay 在所有档位均取得更好的表现,尤其在初始化阶段的方向发现效率上优势显著,说明查询预算越紧张收益越明显;此外,面对采用对抗训练或 TRADES 加固的模型,它在四个查询预算下同样取得最高的攻击成功率,表明该方向先验与多样性策略对鲁棒模型也能奏效。整体而言,论文的核心贡献在于把黑盒定向攻击的瓶颈从“扰动精修”重新定位到“方向发现”,并给出了一个查询高效的工程化方案,适合对抗鲁棒性研究者、模型安全评估与红队人员阅读。
💡 推荐理由: 该工作说明仅凭 top-1 标签、在数百次查询的低预算下也能实现定向攻击,且对对抗训练与 TRADES 加固的模型依然有效。这意味着面向外部用户开放的模型推理接口在查询受限场景下的安全边界可能被高估,鲁棒性评测需要补充低查询预算的定向攻击基准,而不是只测白盒或高预算场景。
🎯 建议动作: 研究跟进:将其纳入内部对抗鲁棒性评估的方法清单,针对对外暴露的模型接口补充低查询预算定向攻击的基准测试与查询行为监测规则。
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Florian Krone, Elena Hoemann, Sven Hallerbach
本文关注深度视觉模型在对抗性扰动下的脆弱性问题。基于卷积网络或 Transformer 的神经网络已成为现代计算机视觉系统的核心组件,但已有研究表明,人眼几乎不可察觉的微小扰动即可显著改变模型预测结果,这对自动驾驶、医疗影像、工业质检等安全关键场景的落地构成实质性威胁。现有攻击方法大多假设白盒威胁模型,即攻击者能够完整访问目标模型的参数与梯度,这一前提在真实环境中往往不成立,导致其实际风险被高估、可操作性被夸大。作者提出在更贴近现实的 black-box 威胁模型下工作的新方法 RIBA(Reinforcement Learning Inspired Black-box Adversarial Attack),核心思路是把扰动优化问题建模为在不可微目标模型上的黑盒优化,并借用强化学习中已被充分优化的查询效率机制(依据模型反馈信号迭代地调整搜索策略)来驱动扰动生成,从而在只能通过有限次查询获得模型输出的条件下完成攻击。作者在 Cifar10 与 ImageNet 数据集上,针对多种目标模型与当前先进攻击方法进行了对比实验。结果显示:在 Cifar10 上攻击 ResNet-18 时,RIBA 生成对抗样本所需查询次数的中位数比基线方法减少 25.4%;在 ImageNet 上欺骗 ViT-B/16 模型时,中位查询次数减少 22.5%。此外,在经对抗训练加固的模型上,RIBA 的表现可与白盒攻击相当。该工作说明黑盒场景下攻击的查询成本正在快速下降,也提示仅依赖对抗训练并不足以抵御具备查询能力的自适应对手。适合对抗机器学习、模型安全评估与视觉系统鲁棒性方向的研究者与工程人员阅读。
💡 推荐理由: 它表明黑盒设定下的对抗样本生成成本正显著下降,且对抗训练加固模型亦可能被追平,直接影响视觉类模型的安全评估基线与加固策略选择。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Tan Xue, Huo Chang, Wang Changhui, Yang Sanrui, Li Heng, Chen Ping, Luo Xiapu
该论文研究的是针对检索增强生成(RAG)系统的知识库成员推断攻击(Membership Inference
💡 推荐理由: RAG 已被广泛用于企业内部知识库与医疗、法律等敏感场景,CIG-MIA 表明仅凭检索问答接口即可高精度反推某文档是否被收录,且黑盒条件下依然有效。这意味着知识库的"存在性"本身成为可泄露的隐私面,需纳入威胁建模与隐私评估。
🎯 建议动作: 研究跟进并纳入内部评估
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Yantian Shen, Yi Chen, Anyu Wang, Hongbo Yu, Xiaoyun Wang
本文研究神经网络模型窃取中的一个经典问题:密码分析式提取(cryptanalytic extraction)。这类攻击仅凭对模型原始输出(如 logits 或完整概率向量)的黑盒访问,就能恢复网络参数。然而,以往所有此类攻击都建立在一个根本性假设之上——攻击者已经知道目标网络的架构,例如对于基于 ReLU 激活的全连接网络,攻击者事先知道网络深度以及每个隐藏层的维度。本文要回答的核心问题是:这一架构先验假设能否被去掉?作者聚焦 ReLU 全连接网络,提出一个“猜测—确定(guess-and-determine)”框架,把架构恢复与参数恢复联合起来完成,而不是先知道架构再恢复参数。其核心是一组简单但有力的观察:对隐藏层维度进行猜测时,会在参数恢复流程中留下对维度和架构高度敏感的痕迹。作者识别出两类这样的痕迹:其一是在签名恢复(signature recovery)产生的合并权重向量中出现“零后缀(zero suffix)”,其后缀长度能够揭示猜测维度相对于真实维度的超出量;其二是在基于原像的符号恢复(preimage-based sign recovery)中出现的“等式模式(equality pattern)”,该模式仅在维度猜测正确时才出现。这两类信号分别对应两条互补的恢复路径,使攻击者既能判断猜测是否过大,也能确认猜测是否正确。此外,作者还提出两条用于识别倒数第二层的判定准则,因为只有准确定位该层,才能在正确深度上终止猜测过程。作者在大量 ReLU 网络上实现了端到端攻击,覆盖扩张型(expansive)与非扩张型(non-expansive)两类架构。据作者所述,这是首个去除了“已知网络架构”这一前提假设的密码分析式提取攻击。
💡 推荐理由: 模型提取此前多依赖“已知架构”这一不现实前提;本文将其移除,意味着仅凭黑盒输出即可同时还原架构与参数,直接抬高了模型知识产权泄露与下游对抗攻击的风险,对模型托管服务与 ML 平台的安全评估有参考价值。
🎯 建议动作: 研究跟进:纳入内部模型提取风险评估,复核对外推理接口的输出粒度与查询配额策略
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Rafael M. Mamede, Pedro C. Neto, Ana F. Sequeira
深度伪造(deepfake)检测器普遍面临基于迁移的黑盒攻击威胁:攻击者在一个本地替代模型(source surrogate)上构造对抗样本,再直接投放到未知的目标检测器(target)上,从而在不接触目标模型的情况下实现绕过。然而,源模型与目标模型之间的“兼容性”如何决定迁移成功率,此前一直缺乏系统认识——已有研究往往只评测少量检测器,且很少把网络结构因素与训练因素(预训练方式、训练数据)分离开来。本文针对这一问题开展受控评测:作者构建了覆盖 60 个检测器、6 种骨干网络、2 种预训练范式、5 种训练数据配置的评测矩阵,并采用两种攻击流程——AutoAttack(AA)与带期望变换的 Carlini–Wagner 攻击(CW–EOT)——进行成对(pairwise)迁移测试。匹配对照结果显示,当源与目标共享完全相同的骨干、同一架构家族、同一预训练范式或同一训练数据时,迁移成功率显著更高;而且这种兼容性结构依赖于攻击方式:AA 下“骨干完全相同”的增益最大,CW–EOT 下“共享预训练”与“共享训练数据”的影响最大。在跨所有非目标源取平均时,AA 的平均攻击成功率(ASR)为 7.21%,CW–EOT 为 19.52%;但若使用一个同时整合两种攻击的多源 oracle,在排除骨干与训练数据完全匹配的组合后,平均 ASR 仍可达 64.48%。这说明仅按单一源模型平均得到的 ASR 会严重低估目标模型的真实脆弱性。作者同时公开了 24 万张对抗扰动图像、完整的成对迁移结果、各检测器配置以及评测代码,并据此提出:源—目标兼容性与源模型选择,应当成为基于迁移的黑盒鲁棒性评测中不可回避的核心维度。
💡 推荐理由: 它提醒防御方:单源平均 ASR 会系统性低估检测器真实脆弱性,鲁棒性评测必须纳入源模型选择与源—目标兼容性维度,否则结论不可信。
🎯 建议动作: 研究跟进,并纳入内部 deepfake 检测器鲁棒性评估流程
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Rui Bao, Zheng Gao, Xiaoyu Li, Xiaoyan Feng, Yang Song, Jiaojiao Jiang
扩散模型水印技术通过在生成过程中嵌入可验证信号,并在验证时恢复与生成轨迹相关的证据来确认水印,因此对常规的像素空间扰动具有较强的鲁棒性。已有的水印去除攻击要么沿确定性轨迹执行再扩散,但这类轨迹往往保留了含有水印的潜在结构;要么需要对每张图像单独进行梯度优化,效率较低。本文研究者注意到,许多现有水印方案共同依赖一个可恢复的生成轨迹作为其验证基础,这构成了可被利用的共性攻击面。基于这一观察,他们提出了一种被称为DRIFT的黑盒攻击方法,其核心思想是将部分前向扩散(即向图像加入噪声到某个中间深度)与随机反向重采样相结合。前向重新加噪可以限制固定深度恢复管线能够获得的源信息,从而阻碍水印的提取;而随机的反向生成过程则提供了不同于原轨迹的替代噪声路径,通过对比不同采样器,研究者分离出了反向随机性对去除水印的贡献。进一步的,自适应DRIFT机制会为每一张图像在一个预设的扩散阶梯上搜索其第一个被验证器拒绝的梯级,并以此为基础,在仅接受同样被验证器拒绝的更新条件下对图像进行保真度优化。理论方面,作者给出了固定深度下信息论与Wasserstein距离的源依赖上界;在已实现的阶梯单调性条件下,第一个被拒绝的梯级是该阶梯上所有被拒梯级中失真度最小的,且经由验证器门控的细化步骤并不破坏水印去除的有效性。实验覆盖了三种典型水印范式的九种水印方案,DRIFT在无需任何秘密密钥、无需获取验证器内部细节、也无需逐图梯度优化的情形下,取得了98%至100%的攻击成功率,并在同类攻击中实现了最佳的输出图像质量。该研究清楚地揭示了扩散模型水印在轨迹依赖验证上的系统性弱点,对内容溯源与版权保护方案的设计具有重要警示意义。
💡 推荐理由: 此研究揭示扩散水印依赖可恢复生成轨迹作为共同攻击面,意味着基于轨迹验证的扩散水印存在系统性缺陷。防御者需关注水印方案的鲁棒性,并对高价值内容考虑辅助验证或取证手段。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Xiaoting Lyu, Yuhong Wu, Yufei Han, Shichang Liu, Liang Zhang, Bin Wang, Bin Wang, Xiaobo Ma, Wei Wang
本文提出一种针对大语言模型(LLM)智能体的新型黑盒能力克隆攻击方法 AgentLeak。研究背景是:LLM 智能体通过基础模型与显式技能(skills)及执行中获得的隐式程序性知识相结合,能够完成长期任务,这种任务解决能力已成为宝贵的商业资产。既有技能窃取攻击主要恢复显式技能工件,但本文发现工件泄露并不必然导致能力迁移:弱智能体即使获得相同技能,仍因缺少强智能体隐式展现的程序性行为而失败。核心洞察在于:技能执行差距本身构成泄露面——受害智能体成功执行与攻击者智能体失败执行之间的可观察差异,会暴露缺失的行为。基于此,AgentLeak 从这些执行差异中识别能力关键行为,并将其整合到攻击者侧技能中,同时保持攻击者的模型、框架和工具不变。实验涵盖 20 个任务场景、600 个实例、多种智能体系统和多个骨干模型,结果显示 AgentLeak 相比直接技能重用将任务通过率提升超过 40%,并恢复了受害者与攻击者能力差距的 80% 以上。这项研究揭示了 LLM 智能体中的机密性风险:仅保护显式工件是不够的,可观察的执行行为可能泄露重建专有任务解决能力所需的程序性知识,从而让低能力且受攻击者控制的智能体获得复制能力。本文适合关注 AI 安全、LLM 智能体攻防、模型知识产权保护的研究人员和安全从业者阅读。
💡 推荐理由: 该研究首次系统性地证明:即使不窃取显式技能,仅通过观测执行差异即可让弱智能体克隆强智能体的隐式程序性知识,对 LLM Agent 的知识产权和机密性构成新型威胁。
🎯 建议动作: 研究跟进,评估自身 Agent 是否暴露过多执行细节,并考虑混淆响应或限制可观察行为差异。
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Haoyang Li, Yaxin Xiao, Qingqing Ye, Huadi Zheng, Haibo Hu
该论文研究了个性化大语言模型(LLM)智能体的隐私泄露风险。随着LLM智能体将用户记忆转化为压缩或结构化表示(称为用户模型)以指导后续决策,尽管源文本在普通接口可达的状态中被移除,此类模型仍被视为具有更好的隐私保护性,因为直接的内存提取攻击无法获取原始文本。然而,作者指出用户模型暴露了新的攻击面:攻击者仍能从被其影响的个性化行为中恢复私有信息,即使源记录和后端状态不可访问。为此,论文提出UMPeek,一种基于假设引导的自适应探测黑盒攻击方法。UMPeek通过请求中留下的开放选择形成假设,在多个普通后续任务之间切换,并仅保留被可见行为支持且未被反驳的声明。作者在多种个性化任务和用户模型后端上进行了广泛的基准评估,并在真实系统中使用已确认保留的信息进行验证,同时评估了防御措施对自适应探测的抵抗能力。实验结果表明,UMPeek在基准测试和真实世界比较中均优于现有攻击,并能在响应级防御下继续恢复用户信息,证明当保留信息影响可见行为时,仅使记录和后端状态不可访问并不能保证语义隐私。
💡 推荐理由: 该研究揭示了个性化LLM智能体在无直接访问内部状态时仍可通过行为侧信道泄露隐私,为蓝队评估此类系统的隐私风险提供了新的攻击面认识。
🎯 建议动作: 研究跟进,评估内部个性化LLM系统对UMPeek类攻击的脆弱性,并研究行为级防御。
排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Qian Chen, Shiliang Xiao, Yuzhi Liang
本文介绍了一种名为 OASIS 的方法,旨在优化硬标签黑盒文本攻击中的攻击者序列。传统上,不同攻击方法遵循不同的搜索轨迹,且各自在不同样本子集上取得成功,但已有硬标签黑盒攻击主要关注改进单个攻击者,或通过手动方式简单组合多个攻击者。OASIS 的核心思想是:攻击者的组合方式本身就是一个可优化的目标,而非仅仅是一个实现选择。具体而言,OASIS 首先进行一次性的双目标攻击链搜索,在候选攻击者序列上同时平衡攻击成功率与扰动程度,从而选出最优的固定全局攻击链;随后在实际执行时复用一个参数固定的全局攻击链,避免了对每个样本重新搜索组合的额外开销。实验部分涵盖了多个数据集、受害模型以及大型语言模型(LLM)场景,结果表明 OASIS 在攻击成功率与扰动控制方面一致优于强基线个体攻击者以及简单人工构造的攻击链。该研究揭示了在多攻击者协作中,序列优化能够显著提升攻击效率,为后续研究提供了新的视角。论文属于计算语言学与对抗性机器学习交叉方向,适合关注文本对抗样本、黑盒攻击鲁棒性以及评估LLM安全性的研究者阅读。
💡 推荐理由: 硬标签黑盒攻击是评估文本模型鲁棒性的重要威胁;OASIS 表明攻击序列可被优化,意味着防御方不能仅防御单个攻击方法,而需考虑更复杂的组合攻击能力。
🎯 建议动作: 研究跟进,关注其攻击链优化思想以改进自身对抗鲁棒性评估。
排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yu-Lin Tsai, Yu-An Lu, Ci-Yang Tsai, Muxi Lyu, Raluca Ada Popa, Chia-Mu Yu
本文提出了一种名为 Daydreaming 的黑盒攻击方法,用于窃取托管在多文件技能(skill)中的智能体能力。在当代 AI 智能体系统中,技能包通常包含指令、参考数据和可执行辅助脚本,使通用模型能够执行特定任务。服务提供商可以保守这些文件为秘密,同时对外出售任务结果访问权限,从而将技能本身作为有价值的知识产权。现有的披露防御机制能够阻止直接索取技能文本或重现技能内容的请求,但无法阻止客户提交服务本身所设计的正常任务。Daydreaming 通过纯执行(execution-only)方式,仅凭黑盒任务交互即可窃取一个多文件技能。其核心思路是:不要求受害者透露技能内容或对重构结果进行评分,而是自适应地构造精心设计的问题,使得返回结果能够区分可能的隐藏行为。该方法逐一测试候选行为,利用攻击者控制的影子智能体(shadow agent)辅助设计方案,并通过存储的受害者结果和本地执行校验来逐文件完成重构。论文形式化了三种嵌套的访问威胁等级:Differential(差分)、Trace(轨迹)和 Output(输出),并重点研究最严格的 Output 场景,即攻击者只能看到最终响应和返回文件。在 7 个技能和 4 个受害者模型上的实验表明,Daydreaming 在 Output 级别能够恢复原始技能能力的 86.8%,比基线 SigLeak 方法性能提升近 4 倍。即使在披露防御开启的情况下,每个技能也只需中位数 32 次受害者调用即可生成可安装的技能。这些结果证明,仅仅隐藏技能文件和过滤直接披露并不能有效防止通过正常使用进行的功能性重建。该研究为 AI 智能体安全、技能知识产权保护和环境隔离设计提供了重要的警示。
💡 推荐理由: 该研究揭示了即使服务商隐藏技能实现并过滤直接披露,攻击者仍可通过正常任务调用重构出功能等价的技能,直接影响以技能为商业模型的 AI 服务安全性。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Heng Li 0008, Zhang Cheng, Bang Wu 0002, Liheng Yuan, Cuiying Gao, Wei Yuan 0001, Xiapu Luo
本文研究基于函数调用图(FCG)的Android恶意软件检测方法在面对对抗样本时的脆弱性,并提出了一种名为BagAmmo的新型黑盒对抗攻击方法。现有FCG检测方法(如MaMaDroid、APIGraph、GCN)虽性能优异,但攻击者可通过向恶意代码中插入“永不执行”的函数调用来扰动FCG特征,从而绕过检测。攻击面临两大挑战:一是保证恶意软件原始功能不受扰动影响,二是在完全未知目标系统内部信息(如图特征粒度和输出概率)的条件下实施攻击。为解决功能保持问题,BagAmmo采用try-catch陷阱机制插入函数调用,使注入的调用在运行时不会真正执行,从而不改变恶意行为。为解决信息缺失问题,BagAmmo借鉴生成对抗网络(GAN)架构,利用多种群协同进化算法(Apoem)生成期望的扰动;每个种群代表一种可能的特征粒度,当算法收敛时即可逼近真实特征粒度。作者在超过44k个Android应用和32个目标模型上进行了大量实验,评估了攻击的有效性、效率和鲁棒性。结果表明,BagAmmo在MaMaDroid、APIGraph和GCN上平均攻击成功率超过99.9%,并且在概念漂移和数据不平衡场景下仍表现良好;同时,BagAmmo在攻击成功率上优于当前最先进的攻击方法SRL。该研究揭示了FCG检测系统的安全隐患,为提升检测器的鲁棒性提供了新的对抗视角。
💡 推荐理由: 该研究揭示了主流FCG恶意软件检测模型的严重脆弱性,攻击者可在完全黑盒条件下以极高成功率绕过检测,对Android安全防御体系构成实际威胁。
🎯 建议动作: 研究跟进
排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Dongsu Song, DaeYun GO, Boseung Seo, Jay Hoon Jung
本文聚焦于语义分割任务中的决策黑盒稀疏攻击问题。尽管稀疏决策黑盒攻击在分类领域已有研究,但在语义分割中尚缺乏系统性探索。作者首先将分类域中最具代表性的决策黑盒稀疏攻击方法改编至语义分割场景,构建了该未充分研究区域的基准测试。通过基准分析,发现现有基于图像中心像素累积的方法在语义分割的广阔像素空间中会导致查询预算迅速耗尽,严重降低查询效率。为克服这一瓶颈,作者提出 SegPAR 框架,将攻击的探索范式从图像中心转向类别中心,即针对每个语义类别或其局部区域进行独立优化,从而更高效地分配查询资源。同时,为消除像素累积过程中标准决策奖励产生的误导性反馈,设计了一种新颖的差异奖励机制,该机制能够更精确地评估不同类别对攻击效果的贡献,降低无效查询。大量实验表明,SegPAR 在稀疏度效率和平均交并比(MIoU)降低幅度上显著优于所有黑盒基线,甚至与白盒稀疏攻击相比也展现出竞争力。代码已公开。该工作揭示了语义分割模型在决策黑盒威胁下的新攻击面,为鲁棒性评估和防御研究提供了重要参考。
💡 推荐理由: 语义分割是自动驾驶、医学影像等安全关键应用的核心技术。该研究表明,攻击者无需模型内部信息即可通过稀疏像素扰动显著降低分割性能,提示防御者需重新评估黑盒场景下的模型鲁棒性,并采取针对性防护措施。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Benjamin Bichsel, Samuel Steffen, Ilija Bogunovic, Martin T. Vechev
DP-Sniper 是一种实用的黑盒方法,用于自动发现差分隐私(Differential Privacy, DP)实现中的违规行为。差分隐私是保护数据隐私的严格数学定义,但实际实现常因浮点误差、算法简化或实现缺陷而违背其保证。DP-Sniper 的核心创新包括两个关键思想:(i) 训练一个分类器,用于判断某个观测到的输出更可能来自两个候选输入中的哪一个;(ii) 将该分类器转化为近似最优的差分隐私攻击。这种方法能够在无需访问算法内部机制或随机种子(即黑盒)的情况下,自动检测差分隐私是否被违反。实验评估表明,DP-Sniper 相比现有最先进技术,能获得高达 12.4 倍更强的隐私违规保证,同时速度快 15.5 倍。此外,DP-Sniper 能有效利用朴素实现中的浮点漏洞:例如,它检测到一个声称满足 0.1-差分隐私的拉普拉斯机制实现,实际上连 0.25-差分隐私都无法满足。该研究为安全审计和隐私验证提供了自动化工具,适合关注差分隐私实现正确性、机器学习隐私保护以及隐私验证技术的安全从业者。
💡 推荐理由: 差分隐私实现易因浮点漏洞等细节失效,DP-Sniper提供自动化黑盒检测手段,帮助审计真实系统隐私承诺,避免因实现缺陷导致的数据泄露风险。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Hanbin Hong, Xinyu Zhang 0016, Binghui Wang, Zhongjie Ba, Yuan Hong 0001
该论文提出了一种全新的黑盒对抗攻击范式——可认证黑盒攻击(Certifiable Black-Box Attacks),旨在从理论上保证攻击成功率(Attack Success Probability, ASP),而不像传统黑盒攻击那样依赖对目标模型的反复查询或从一个替代模型迁移对抗样本。作者首先指出现有最先进的防御手段(如检测查询模式或给模型输入注入噪声等)能够有效缓解当前黑盒攻击,而他们提出的新攻击能够以可证明的高概率击穿这些防御。核心方法包括:建立随机化对抗样本(Randomized Adversarial Examples)的ASP理论分析框架,从数学上保证攻击的有效性;在此基础上设计多种随机化样本生成算法,通过控制扰动强度来保持隐蔽性;最终在CIFAR-10/100、ImageNet和LibriSpeech等多个数据集上进行实验,与16种主流黑盒攻击和多种SOTA防御(涵盖视觉和语音识别)进行比较。实验证实,基于该算法构造的对抗样本在无需查询目标模型的情况下,即可获得理论保证的高ASP,并且攻击效果相对传统经验攻击更为可靠。该研究首次将“可认证”机制引入攻击侧,揭示了当前防御体系可能存在结构性盲区,为评估机器学习模型在对抗环境下的真实鲁棒性提出了新挑战。
💡 推荐理由: 该研究首次提出可认证黑盒攻击,赋予对抗样本理论上可证明的成功率,使现有依赖经验验证的防御难以有效应对。防御者必须重新审视鲁棒性评估体系,关注这种不受查询限制且具备数学保证的新型威胁。
🎯 建议动作: 研究跟进
排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Peichun Hua, Haoxuan Xu, Mengyuan Li
该论文提出了“行为技能重建”(Behavioral Skill Reconstruction, BSR)问题,聚焦于闭源 LLM Agent 技能(skill)的功能泄露风险。此前研究主要关注提示注入攻击,试图直接披露技能中隐藏的指令、脚本、常量或数据;相应的防御也集中于防止此类文件或内容的直接泄露。然而,作者指出,即使阻止了文件泄露,用户仍可能通过正常使用技能的行为观察来还原其功能,即“文件保密并不等于功能保密”。为此,论文提出一种黑盒攻击方法 SkillClone,其核心思路是:首先根据技能公开广告(如描述、示例)形成接口假设,然后向目标技能发送结构化的良性探测请求,收集合法的输入-输出对,再据此合成一个可执行的复刻版本,最后通过差分验证(differential validation)反复迭代修复该复刻版本,使其在更多测试输入上逼近原技能的行为。作者在 30 个覆盖规则、表格、流程和算法类技能上进行了评估,结果显示 SkillClone 对多个目标在留出测试输入上实现了完全或部分的功能恢复;迭代查询可以弥补单轮重建中的遗漏。实验还表明,仅依赖“防止内容泄露”的现有防御对这类攻击的覆盖有限,而更简略的技能描述也无法有效阻止行为层面的泄露。论文的核心贡献在于揭示了一种新型攻击面:攻击者仅通过合法交互即可克隆隐藏技能的功能,从而绕过传统披露型防护。该研究面向 LLM Agent 安全、AI 系统隐私保护、以及 AI 服务提供者,提醒防御方必须将“行为侧信道”纳入威胁模型,并设计限制累积信息泄露的机制。
💡 推荐理由: 该研究揭示了 LLM Agent 技能防护的新盲区:即使隐藏了底层实现,攻击者仍可通过正常的黑盒交互重建功能。这对依赖‘文件保密’的 AI 服务提供商构成实际威胁,也影响 Agent 生态中知识产权与敏感逻辑的保护设计。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: A. Krylov, D. Rakhov, V. Veselova, D. Bolokhov, Oleg Y. Rogov
该论文提出了一种基于大语言模型引导的演化框架(结合GigaEvo和OpenEvolve),用于对感知哈希算法(PHA)实施有针对性的黑盒第二图像攻击。感知哈希算法广泛应用于图像篡改检测,但对抗性扰动的鲁棒性研究不足。作者设计了一个复合评分函数,综合考虑攻击成功率(归一化汉明距离低于阈值的对抗样本比例)、对哈希函数的查询次数以及相对于原始图像的L2失真度。在pHash、PDQ、PhotoDNA和NeuralHash四种部署的PHA上,使用30对ImageNet图像进行实验,结果表明:与现有黑盒基线相比,该方法能以更少的查询次数达到相当或更高的攻击成功率,同时产生更低的L2失真。最佳演化程序将预定义的复合攻击评分降低了:NeuralHash 41.2%、PDQ 38.3%、pHash 34.0%、PhotoDNA 8.1%。该方法不需要PHA内部知识,能自然处理哈希输出的不可微离散性。这些结果揭示了广泛部署的内容审核流水线中此前未被报告的安全漏洞,并激励开发可证明鲁棒的感知哈希方案。适合安全研究员、内容审核系统开发者以及对抗性机器学习研究者阅读。
💡 推荐理由: 揭示了广泛部署的感知哈希算法(PhotoDNA、pHash、PDQ、NeuralHash)在黑盒攻击下的脆弱性,威胁内容审核和图像取证的安全性。
🎯 建议动作: 研究跟进并评估自身内容审核流水线中使用的哈希算法的鲁棒性
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yan Pang, Tianhao Wang 0001
本文针对近年流行的扩散模型(diffusion models)提出了一种新的黑盒成员推理攻击(Membership Inference Attack, MIA)框架。随着预训练扩散模型的高质量发布,越来越多的用户下载这些模型并使用下游数据集进行微调,这带来了显著的隐私泄露风险。作者首次基于分数(scores-based)设计了适用于扩散模型的成员推理攻击,并在更严格的黑盒访问设置下进行。该框架考虑了四种不同的攻击场景和三种攻击类型,能够针对任何流行的条件生成器模型,实现了高达0.95的AUC(Area Under Curve)精度。代码已开源。研究揭示了扩散模型在下游任务微调中的隐私脆弱性,为后续防御研究提供了基准。
💡 推荐理由: 首次系统性地针对扩散模型提出黑盒成员推理攻击,展示了微调下游任务中严重的隐私泄露风险,对模型安全部署和隐私保护研究具有重要警示意义。
🎯 建议动作: 研究跟进:将该攻击作为隐私风险评估的基线,开发相应的防御机制。
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Cheng-Yi Lee, Yichi Zhang, Yuchen Yang, Chun-Shien Lu, Jun-Cheng Chen
本论文针对潜在扩散模型(LDM)中语义水印的黑盒伪造攻击进行了重新思考。此类水印通过将信息嵌入到LDM的初始噪声中,但现有研究显示其在黑盒场景下易受伪造攻击,且缺乏对攻击成功条件的严格理论理解。为弥补这一空白,作者从潜在空间中的率失真理论视角出发,分析了伪造攻击的本质。研究发现,由于代理模型与目标模型之间存在结构不匹配,会产生一个不可约的失真下限,这从根本上限制了伪造水印的保真度。进一步,作者将这种失真表征为潜在流形上的结构化几何偏差,包括全局漂移和局部变形,而非随机噪声。基于这些洞察,作者提出了一种与具体方案无关的检测方法,能够在执行水印验证之前区分伪造样本。大量实验表明,该方法在多种黑盒场景下均有效,同时对常见失真保持鲁棒性。该工作为理解语义水印的安全性与设计可泛化的防御机制提供了理论依据。
💡 推荐理由: 语义水印是保护LDM生成内容版权的关键技术,但黑盒伪造攻击威胁其可靠性。本文提出的检测方法能有效识别伪造,对数字水印安全防御具有直接价值。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Pedram MohajerAnsari, Amir Salarpour, David Fernandez, Mert D. Pesé
本文提出了一种名为BAAA(Budget-Aware Adaptive Adversarial Patches)的新型黑盒对抗性补丁攻击方法,针对现代目标检测器(如YOLOv5、Faster R-CNN、YOLOS)。现有对抗性补丁攻击存在三个主要不足:1)在严格查询预算下,联合优化补丁位置、纹理和大小的基于评分的黑盒攻击较少;2)攻击成功与否很少与补丁的视觉占用面积(footprint)关联;3)评估常混淆EOT(期望变换)鲁棒性与纯图像抑制。BAAA结合了上下文Thompson采样定位器(Contextual Thompson-Sampling placer)和NES风格像素更新,并自适应地扩大补丁大小(仅在优化停滞时增长)。评估采用严格的纯图像抑制测试,EOT仅用于审计而非成功标准,并引入可选的外观/可打印性权重以揭示强度-可见性权衡。实验表明,BAAA在CNN-based检测器上实现强抑制,在transformer-based检测器上实现显著抑制,且相比固定尺寸和启发式基线,清晰展示了查询-占用面积权衡。物理打印-拍摄实验进一步验证了跨未见物理对象和视角的迁移性。本文适合AI安全研究者、对抗性攻击防御者及目标检测系统开发者阅读。
💡 推荐理由: 揭示了黑盒场景下对抗性补丁在有限查询预算内的可操作性,强调了补丁占用面积与攻击效果的关系,为设计更鲁棒的目标检测防御提供了新视角。
🎯 建议动作: 研究跟进
排序因子: 有可用补丁/修复方案 (+3) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yingzhe He, Guozhu Meng, Kai Chen 0012, Xingbo Hu, Jinwen He
本文提出了一种名为DRMI(基于互信息的数据集缩减技术)的方法,旨在优化黑盒攻击中的数据集使用效率。在黑盒攻击场景下,攻击者需要频繁查询目标模型以生成对抗样本,而数据集规模直接影响查询开销和攻击速度。DRMI通过计算样本与标签之间的互信息,量化每个样本对攻击成功率的贡献,从而筛选出最具代表性的子集,有效压缩训练数据集的大小。实验采用多种黑盒攻击算法(如遗传算法、基于梯度的替代方法)在CIFAR-10、ImageNet等标准数据集上进行验证,结果显示DRMI在缩减数据集至原规模的10%-30%时,仍能保持相近的攻击成功率(平均下降不超过2%),同时显著降低查询次数和时间成本。该方法的核心优势在于无需访问模型内部结构,适用于任意黑盒攻击流水线,并可作为预处理步骤集成到现有工具中。论文还探讨了不同互信息估计器的选择对结果的影响,并与随机采样、基于梯度的重要性采样等方法进行了对比,证明了DRMI在保持攻击效果方面的优越性。
💡 推荐理由: 研究揭示了攻击者如何通过数据筛选降低攻击成本,帮助蓝队理解黑盒攻击的经济性,从而针对性优化防御策略。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.4)