#black-box-verification

共收录 3 条相关安全情报。

← 返回所有主题
推荐 5.5
Conf: 50%
👥 作者: Haoyang Zou, Yao Wang, Jun Yao, Weiming Zhang, Han Fang

该论文关注的是 LLM Agent 作为商业服务被部署后所面临的「Agent 重打包(agent repackaging)」风险:攻击者通过 API 将受保护的 Agent 集成进自己的应用中,并以自己的品牌身份对外提供,同时可能对执行流程的某些环节进行修改以掩盖来源。服务所有方通常只能以黑盒方式访问被重打包的服务,因此黑盒场景下的所有权验证成为关键需求。Agent 水印(agent watermarking)的思路是在 Agent 的行为中嵌入所有权证据,以便事后验证。论文指出,一个有效的水印必须同时满足两个条件:其一是无损性(losslessness),即嵌入水印不能改变原有功能与性能;其二是鲁棒性(robustness),即在执行过程被部分修改后仍能恢复出所有权证据。作者认为现有方法存在明显不足:它们往往把水印信号嵌入到行为选择(behavior selection)或执行轨迹(execution trajectories)中,因而会干预 Agent 的正常决策过程,且对行为修改的鲁棒性有限。为此论文提出 LoRo-Mark,一种可证明无损且鲁棒的 Agent 水印机制。在无损性方面,该方法将水印逻辑隔离到一个经过密码学认证的「取证分支(forensic branch)」中:该分支在正常执行时不激活,仅由所有者授权的请求触发;作者通过将「未授权的分支激活」归约为标准 MAC 安全性问题,从形式上保证了原有性能不被影响(性能保持)。在鲁棒性方面,该方法将所有权信息冗余地分散编码在取证行为序列中,使得即使发生部分行为替换和序列截断,仍能可靠恢复所有权信息。实验在多个不同的 LLM Agent 上开展,结果显示正常任务上零性能退化,且在序列被修改的情况下仍能可靠完成所有权验证。

💡 推荐理由: 为 LLM Agent 商业化服务的知识产权保护提供了首个兼具「可证明无损」与「抗执行篡改」的黑盒水印思路,对模型/Agent 防重打包与溯源有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Teruki Sano, Minoru Kuribayashi, Masao Sakai, Shuji Isobe, Eisuke Koizumi, Zhang Zhang, Satoru Matsumoto

该论文针对 AI 模型经远程服务对外提供时日益突出的「模型被盗用/冒名」问题,提出了一种名为 TP-CRIV(Third-Party Challenge-Response Identity Verification,第三方挑战—应答身份验证)的框架。作者指出,现有的模型权属取证手段——水印(watermarking)、指纹(fingerprinting)以及模型相似度分析——大多依赖事先预置的证据,或直接对两个模型的行为做比对,并未显式回答一个关键问题:声称拥有某模型的一方,当下是否真的持有并能够使用与被主张的模型身份相关的、依赖模型本身的信息。TP-CRIV 面向的是一种受限的第三方验证场景:验证者既没有目标模型的白盒访问权限,也没有其 API 权限,只能通过可疑的已部署服务普通的黑盒推理接口与之交互,且不要求服务提供方为该协议做任何专门配合。在此约束下,框架使验证者能够获得经验性证据,判断声称方是否在本地持有满足某个预先声明的身份、并与已部署模型相对照的模型。为避免验证结果来自在线外部协助,验证在全新的、此前未公开的挑战要求下、且在网络隔离条件下进行,使被验证方在挑战披露后无法借助联网资源作弊。所得证据并非密码学意义上的证明,而是相对于独立指定并校准的「匹配 / 不匹配」运行情形进行统计解释。作者针对 CNN 图像分类器实例化了该框架,采用基于概率控制的见证生成方法(probability-control-based witness generation),并在十个 ImageNet 预训练的 TorchVision 模型上实验,结果显示同模型与跨模型之间存在清晰可分性,并能借助独立校准的阈值在有限次挑战内完成验证。

💡 推荐理由: 模型窃取与冒名托管是 AI 供应链的现实风险,但既往权属取证多依赖预置水印或行为相似度,难以回答「声称方此刻是否真的持有该模型」。该工作给出黑盒、无需服务方配合、可在隔离环境下完成的第三方验证思路,为模型权属纠纷取证提供可校准的统计框架。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jiaxin Hong, Yuxin Peng, Hongyao Yu, Hao Fang, Shuoyang Sun, Bin Chen

该论文关注开放权重大语言模型(Open-weight LLM)在发布后被复制、微调并通过黑盒 API 二次分发的场景下,原始模型所有者难以进行发布后归属验证的问题。现有黑盒指纹方案通常依赖「秘密查询—密钥对」:向可疑模型发送特定触发输入,检查其是否返回预先定义的固定响应。作者指出这类方案脆弱,因为微调、剪枝、量化、模型合并以及服务端的提示模板改写都容易破坏这种精确匹配关系,一旦响应被扰动,指纹即失效。为此论文提出 SimPrint——一个可恢复的语义指纹框架。其核心思路不是依赖孤立的精确匹配,而是将私有所有者签名编码到一个带纠错能力的语义指纹域中,把所有权证据分散到大量自然语言二值问答(binary QA)探针上,使证据具备冗余与容错性。植入阶段采用低干扰的批量更新,只植入「偏离基座模型」的探针,尽量保持模型原有行为与下游效用不退化;验证阶段将可疑模型的响应解析为可靠比特或「擦除」(erasures),再通过纠错恢复机制还原出签名。由于整个流程仅依赖输入—输出查询,SimPrint 在无法访问模型权重或激活值的黑盒条件下依然适用,适用于仅能调用 API 的场景。作者在三个开放权重 LLM 上进行了实验,结果表明:无论在干净环境还是经过修改的环境中,SimPrint 都能可靠恢复所有者签名;在微调、剪枝、量化、模型合并以及服务时提示扰动等条件下保持鲁棒性;同时模型的下游任务效用与基线相比保持可比水平。总体而言,该工作把模型水印/指纹问题从「点对点精确匹配」重构为「编码—擦除—纠错的信道问题」,为黑盒模型版权归属验证提供了一条更抗扰动的技术路线,适合关注 AI 供应链、模型窃取与版权合规的研究者和安全工程师阅读。

💡 推荐理由: 模型窃取与未授权二次分发是 AI 供应链的真实风险,但权重一旦离开所有者控制就难以追溯。该工作提供了在黑盒 API 条件下仍可用的归属验证思路,并明确对抗微调、量化、剪枝、合并等常见规避手段,对模型发布方与采购方都有参考价值。

🎯 建议动作: 研究跟进:精读论文中的编码与纠错机制,评估在自有模型发布流程中试点指纹植入与抽检的可行性

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)