#trustworthy AI

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Yuefang Lian, Longkun Guo, Zhongrui Zhao, Zhigang Lu, Yanan Cai, Shuchao Pang, Dachuan Xu, Jason Xue

本论文聚焦于可信AI中数据摘要环节的对抗鲁棒性问题。数据摘要作为上游组件,决定哪些信息被保留并传递给下游学习或决策模块,因此针对摘要过程的对抗扰动可能以“上游”方式破坏可信AI:它们可能改变选定的摘要、降低其代表性,并进一步损害后续学习任务的效果。本文在相似度层级扰动下,通过DR-子模优化研究连续数据摘要的对抗攻击。首先,作者证明一类多分辨率图像摘要目标可被建模为非负子模集合函数的多线性扩展,并满足具有m-弱单调性的DR-子模性质。然后,他们将多目标攻击生成形式化为一个极小极大问题,在该问题中优化一个相似度结构的可容许扰动,以同时破坏多个目标摘要模型。为了缓解此类扰动,他们将针对混合攻击类型的鲁棒防御形式化为一个正则化的极大极小问题。对这两个问题,作者均开发了具有理论保证的近似算法。在真实数据和受控聚类基准上的实验表明,所提出的攻击在具有代表性的低到中等预算范围内是有效的,并能导致下游任务性能下降。所提出的防御在结构化设置中改善了鲁棒性与缓解效果之间的权衡,同时也揭示了真实数据上鲁棒保护的参数敏感性。本文主要面向AI安全、对抗机器学习、以及数据摘要领域的研究者和工程师。

💡 推荐理由: 揭示了数据摘要环节作为AI管道上游组件的脆弱性,攻击可间接损害下游任务,为构建端到端可信AI系统提供了新的防御视角。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)