#diffusion-language-models

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Baixin Li, Haiyun He

该论文提出 SAC-Copula,一种面向扩散语言模型(DLM)的保质量水印方法。与自回归解码不同,DLM 采用迭代并行去掩码机制,现有基于采样的水印方法通常注入逐位置的独立同分布扰动,与 DLM 的解码动态不匹配,导致生成质量下降。SAC-Copula 通过高斯 copula 构造平滑、局部相关的 Gumbel 扰动场,并设计了 SAC-aware 检测器,利用协方差感知滤波和原生样本校准。机制分析表明,局部相关性降低了潜在扰动的粗糙度,更好地匹配迭代精化动态。在 LLaDA 上的实验显示,SAC-Copula 相比现有基线取得了更好的质量-可检测性权衡;在 Dream-7B 和更多数据集上的进一步评估表明,相比 i.i.d. Gumbel 基线,SAC-Copula 显著改善了困惑度(PPL)尾部分布的稳定性,同时保持低假阳性率下的强可检测性和有竞争力的整体生成质量。额外的 token 编辑压力测试评估了在受控同步偏移下水印的鲁棒性。该研究的主要贡献包括:提出了新的水印构造方法,使扰动与 DLM 解码过程更兼容;设计了配套的检测算法;并通过实验验证了其优越性。适合从事大模型水印、生成式 AI 安全、内容溯源和模型版权保护方向的研究人员阅读。

💡 推荐理由: 扩散语言模型作为新兴架构,其水印方案尚不成熟。SAC-Copula 解决了现有点式扰动破坏生成质量的痛点,为 DLM 内容溯源与模型版权保护提供了更实用的技术路径,值得关注生成式 AI 安全的研究者跟进。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Daniel Zhao

该论文提出了一种针对扩散语言模型的全局草图水印方法。与自回归模型中逐token顺序生成并依赖局部上下文的水印方案不同,扩散语言模型在生成过程中同时采样多个未确定位置的分布,使得整个序列的加性统计量在生成时是可处理的。作者利用这一特性,设计了一个控制文本全局向量草图表示的水印机制。该方法通过一个与顺序无关的统计量来检测水印,避免了传统上下文相关水印中表现出的简单令牌偏置问题。论文分析了该方法的失真性(对生成质量的影响)、可靠性(检测准确性)和鲁棒性(抗攻击能力),并提供了理论保证。实验部分(摘要未详述,但推测有)验证了该方法在保持文本质量的同时实现了有效的水印嵌入和检测。该工作为扩散语言模型的可追溯性和版权保护提供了新思路。

💡 推荐理由: 扩散语言模型在文本生成中日益普及,但缺乏有效的水印机制来追溯或防止滥用。该论文提出的全局草图水印方法具有顺序无关性,为检测AI生成内容提供了新工具,尤其适用于需要抗篡改和不可见水印的场景。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)