#generative-ai

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Gustav Olaf Yunus Laitinen-Fredriksson Lundström-Imanov, Nurana Abdullayeva

本文提出一个统一的证据框架,将密码学内容溯源、鲁棒的统计水印和零知识证明映射到国际作战法、国内程序和产品监管三类法律制度的证明要求中。研究背景是生成式AI能以极低成本合成逼真的图像、音频和视频,传统取证直觉失效,而现有研究仅孤立地考虑法律后果。核心方法包括:定义一个五层威胁模型(朴素再生、对抗性洗白、跨模型再生、主动水印移除、内部溯源伪造);发布一个包含12000个生成项(图像、音频、视频)的公开基准,通过六种清洗流水线产生72000个评估样本;评估四种代表性方案,报告固定假阳性率下的真阳性率、鲁棒性曲线下面积、计算开销以及基于制度条件的法律充分性得分。主要贡献在于将经验检测界限转化为法律充分性阈值:用于武装冲突法下的指挥决策、国内程序中刑事和民事证据可采性、以及欧盟人工智能法案及类似法规下的持久性审计。结果提供了一个可复现的参考流水线、公开基准和模型附件,可供律师、工程师和操作人员共同部署。

💡 推荐理由: 为生成式AI的法律合规提供可量化的技术-法律桥梁,安全从业者可借此理解水印与溯源方案的司法影响。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zelin Zhang, Qi Li, Jie Cao, Lingshuang Liu, Jianbing Ni

该论文系统性地研究了生成式AI系统从单纯的内容生成向具备数据检索、工具调用和动作执行能力的代理化转变过程中面临的安全与安全威胁。作者将威胁划分为三个层次:内容级(如生成虚假信息、有害内容)、模型级(如提示注入、模型提取)和代理级(如工具链滥用、外部API未授权操作)。论文重点分析了随着系统自主性增强,攻击者的访问要求(从黑盒到白盒)、潜在危害范围(从信息污染到物理世界破坏)如何演变。在防御方面,评估了当前主流对策包括内容检测、水印技术、安全对齐训练以及新兴的代理安全护栏,并指出其中多项措施依赖跨机构协调(如标准制定、信息共享),而现有治理架构尚无法提供充分支持。研究表明,随着生成式AI从生成静态内容转向执行实际动作,功能部署速度与攻击面扩展速度持续超越防御响应能力,形成持续的不对称态势。本文适合AI安全工程师、系统架构师以及政策制定者阅读,以理解代理化AI系统面临的系统性风险。

💡 推荐理由: 揭示了生成式AI从内容生成到代理动作转变中攻击面扩展与防御滞后的不对称趋势,为设计下一代AI安全体系提供了关键分析框架。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)