#ai-forensics

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Kai Yao, Marc Juarez

该论文研究 AI 图像生成器以不透明 API 形式部署后的完整性审计问题。现实中,客户只能查询已部署的服务,无法检查模型权重或架构,这给"调包"(bait-and-switch)留下空间:供应商可能先以某个生成器通过治理认证,之后在部署阶段悄悄替换为更廉价、质量更低的模型,从而损害公众信任,在高风险领域甚至影响安全。作者聚焦"部署时"的完整性审计,提出 FARE(Forensic Acceptance Region Estimation,取证接受域估计)。其流程分为两个阶段:登记阶段,用被认证生成器采样得到的图像训练 FARE;部署阶段,仅凭一张生成图像即可判断其是否与登记的生成器一致,无需访问模型内部。FARE 的特征建立在面向取证应用提出的、与具体生成器相关的图像伪影(generator-specific artifacts)之上;在训练过程中,FARE 通过挖掘难样本(hard samples)来收紧接受域,从而提高对已认证生成器细微变化的敏感度。实验覆盖多种生成器替换场景,包括相似模型版本之间的替换以及模型变体之间的替换。结果显示,FARE 能有效检测替换,在严格操作点(低误报率)下持续优于现有基线,并且在本文所评估的"精确模型攻击"与"仅决策攻击"两种对抗设定下仍然保持有效。该工作适合从事 AI 供应链审计、模型治理与合规、多媒体取证以及平台内容可信度评估的研究者与安全工程师阅读。

💡 推荐理由: 黑盒模型即服务让"认证后调包"极难察觉。FARE 提出仅凭输出图像验证模型身份、无需权重访问的部署期审计思路,对 AI 供应链验收、治理认证的持续合规与取证具有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ali Dehghantanha, Sajad Homayoun

该论文系统性地探讨了人工智能系统的取证调查问题。随着AI系统越来越多地参与决策和行动,事后调查其行为原因、系统组件及供应链责任成为重要挑战。当前AI取证研究分散,多聚焦于特定系统类型、工件或分析技术,缺乏统一框架。作者提出以调查者的访问权限作为组织该领域的起点,区分白盒、灰盒和黑盒三种访问模式,并分析每种模式对证据收集、保存、分析和报告的影响。基于此,论文提出一个跨越收集、保存、分析和报告四个阶段的AI取证过程模型矩阵,并引入AI系统挥发性顺序(order of volatility),涵盖运行时状态、上下文窗口、日志、检索库、模型工件和训练谱系。进一步,作者推导出访问条件化的检查框架,并识别若干开放研究问题,包括黑盒证据保存、模型版本证明、基于替代模型分析的不确定性量化、以及可变AI工件的监管链。该论文的主要贡献在于:为AI取证建立一个结构化的研究议程,强调访问权限作为核心分类维度,并整合既有分散研究。适合数字取证研究者、AI安全工程师以及负责AI事故响应的蓝队人员阅读,可作为建立内部AI取证能力的理论起点。

💡 推荐理由: AI事故调查目前缺乏系统方法论,该论文提供的访问感知过程模型可直接指导蓝队构建AI取证流程,特别是黑盒场景下的证据保全与责任追溯,对实际安全运营有基础性价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)